大数据流式计算系统存在诸多挑战，如资源调度、系统容错、动态时间窗口、高效索引策略等诸多方面。本文将从大数据流式计算系统架构的角度，针对当前大数据流式计算环境中存在的两个方面的典型问题进行系统化的分析，即在线环境下的资源调度问题和节点依赖环境下的容错策略问题，并原则性地分别给出了两类问题的解决策略。
1. 在线环境下的资源调度
资源调度是分布式系统中资源管理的关键与核心，也是NP难问题，制约着整个系统的高效运行。在大数据流式计算环境中，在线环境中的资源调度又更加困难，任何一个资源或要素的调整，都会对运行着的系统产生实时影响，也会对整个系统的稳定性带来一定程度上的波动。
Storm系统作为业界最具影响力的大数据流式计算系统，目前其所选用的资源调度策略为轮询方式，只是简单地将有向任务图中各个节点按照一定的拓扑序列放置到各个物理机器上去，这个调度策略没有考虑物理机器的性能以及物理机器间的拓扑结构，没有考虑有向任务图中各个节点的计算压力和节点间的通信压力。
在在线调整过程中，这个调度策略没有考虑当前各个节点的资源分配情况，也就是说在实现对新的环境优化和适应的过程中，没有考虑尽可能地减少系统中节点的变动，提升系统的稳定性。这些因素的缺失，对于Storm系统的性能必然带来一定程度上的损伤。
在资源调度方面，针对大数据流式计算环境中，应用均是通过有向任务图进行描述的客观事实，需要构建一个弹性、自适应的在线调度策略，满足大数据流式应用一旦开启将永远运行下去的在线场景下的资源调度需要，即一方面要有效地适应数据流、资源等各方面的动态变化，另一方面也要保持系统的稳定性，避免因调整导致的系统大幅度波动，影响系统的稳定性。
具体包括以下内容：在有向任务图节点计算量和节点通信量的量化方面，节点处理时延影响因素有逻辑节点的功能、数据处理功能、数据流流速大小等；节点间传输时延影响因素有节点间传输数据流大小、网络带宽，物理距离等。整个有向任务图在任何一个时刻都会存在一条关键路径，其时延也是由该图的当前关键路径决定的，关键路径将是整个有向任务图的核心和瓶颈，明确了当前的关键路径，就可以找到改善系统性能的要害。同时随着不同数据流压力的变化，各个节点的计算时延和传输时延也会发生变化，这样不同数据流压力情况下的有向任务图的关键路径也会动态变化。
在有向任务图到系统资源的放置策略以及在线调整方面，对于一个经过优化和调整后的任务拓扑结构的实例图，随着数据流和系统环境的在线和实时变化，以关键路径为核心，动态地调整任务拓扑图中各节点实例在各台物理机器间的分配策略（如图1所示），可以实现对系统响应时间的显著改善。同时，当数据流压力发生变化后，只需要调整关键路径上的部分节点，就可以实现对系统性能的改善，这样就可以在尽可能地保持系统稳定性的前提下，最大程度地改善系统性能，在动态调整和优化过程中，实现对历史成量信息的最大利用。
在多个有向任务图分别被提交到系统中后，需要保证在不同时间点提交的各个有向任务图可以公平地使用系统资源，这就需要明确各物理机器的计算压力和拓扑结构、各个有向任务图中节点的计算压力和传输压力，并通过一定的分配策略，实现资源的合理利用以及各有向任务图间的资源公平占有和动态调整。
图 1 资源分配和动态调整
2. 节点依赖环境下的容错策略
系统容错是分布式系统必不可少的一部分，特别是对于大数据流式计算系统而言，容错的价值显得尤为突出。在大数据流式计算环境中，数据流到来后往往只有一次处理的机会，重放数据流是很困难的，甚至是不可能的。这仅有的一次机会给容错带来了更高的挑战。另外，系统的实时性是大数据流式计算系统的首要目标，这也为容错策略提出了更高的要求，当高效的容错策略需要过长的时延时，会导致容错变得没有意义。
Storm系统通过系统级组件Acker实现对数据流的全局计算路径的跟踪，并保证该数据流被完全执行。错误的检查是通过超时机制实现的，默认的超时时间为30 s。很显然，这么长的时延在流式应用中显得毫无意义了。
在系统容错方面，针对大数据流式计算环境中数据到来后立即进行处理，重现数据往往很困难的客观事实，需要构建一个轻量级、快速的系统容错策略，满足大数据流式计算环境中对系统容错的要求。具体研究内容包括：研究在不同应用场景下的系统容错精度方案，并对具体案例进行分析方面，主要是考虑用户的具体应用场景对容错精度的需求，进行相应容错精度方案的设计；在建立有向任务图故障节点最小依赖集合的容错策略方面，当各个节点都进行了中间状态存储、检查点等信息的存储后，在具体的故障恢复过程中，可以选用更加高效的故障节点、最小依赖集合的容错策略，将容错的范围缩小到最小的节点集合中，如图2所示。
根据有向任务图中各个节点及节点间上下游的关系以及每个节点所在的物理机器性能特征等多方面因素，为不同的节点设置有区分的、有差异的检查点频率以及不同的全量和增量式容错策略。
图 2 故障节点最小依赖集合的容错策略
在大数据时代，随着越来越多的应用场景对时效性的要求不断增强，大数据流式计算作为大数据计算的一种形态，其重要性也在不断增强。
在以上三篇文章中，针对大数据环境中流式计算应用所呈现出的诸多鲜明特征进行了系统化的分析，并从系统架构的角度，给出了大数据流式计算系统构建的原则性策略。结合当前比较典型的流式计算平台，重点研究了当前大数据流式计算在在线环境下的资源调度和节点依赖环境下的容错策略等方面的技术挑战。在未来的工作中，将结合应用场景的需求，开展系统架构的优化，改善整个系统的可扩展性、稳定性等多方面的特征。同时，针对应用的要求，开展上层应用同系统架构、数据流之间的动态、弹性自适应性的优化。
参考文献：
孙大为. 大数据流式计算：应用特征和技术挑战[J]. 大数据. 2015年03期.
先荐是一款赋能媒体的AI产品，是集内容上传、内容管理、内容分发、推荐干预、前端渲染于一体的一站式推荐服务可视化平台，支持PC、WAP、APP全平台接入，帮助媒体从0到1搭建推荐系统，显著提升用户活跃、留存、观看时长等重要业务指标，在减少技术成本投入的同时，大幅提高媒体运营效率，从而实现业务智能化转型。目前已服务人民日报、环球网、花瓣网、果壳网、段友、36氪、简书等三百余家内容平台，其中在环球网web端的兴趣推荐项目上，实现了点击率58%的提升，同时访问量和营收分别增长了69%、20%。想要申请产品试用，请添加先荐小助手（recsysfc）。
