目前，关于大数据批量计算相关技术的研究相对成熟，形成了以谷歌的MapReduce编程模型、开源的Hadoop计算系统为代表的高效、稳定的批量计算系统，在理论上和实践中均取得了显著成果。现有的大数据流式计算系统实例有Storm系统、Kafka系统、Spark系统等。本节对这几款大数据流式计算系统进行实例分析。
3.3.1 流式计算的应用场景
流式大数据呈现出实时性、易失性、突发性、无序性、无限性等特征，对系统提出了很多新的更高的要求。2010年，Yahoo推出了S4流式计算系统，2011年，Twitter推出了Storm流式计算系统，在一定程度上推动了大数据流式计算技术的发展和应用。但是，这些系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等诸多方面仍然存在着明显不足。如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题。
大数据流式计算主要用于对动态产生的数据进行实时计算并及时反馈结果，但往往不要求结果绝对精确的应用场景。在数据的有效时间内获取其价值，是大数据流式计算系统的首要设计目标。因此，当数据到来后，将立即对其进行计算，而不再对其进行缓存，等待后续全部数据到来再进行计算。大数据流式计算的应用场景较多，按照数据的产生方式、数据规模大小以及技术成熟度高低3个不同维度，金融银行业应用、互联网应用和物联网应用是3种典型的应用场景，体现了大数据流式计算的基本特征。从数据产生方式上看，它们分别是被动产生数据、主动产生数据和自动产生数据；从数据规模上看，它们处理的数据分别是小规模、中规模和大规模；从技术成熟度上看，它们分别是成熟度高、成熟度中和成熟度低的数据。
（1）金融银行业的应用
在金融银行领域的日常运营过程中，往往会产生大量数据，这些数据的时效性往往较短。因此，金融银行领域是大数据流式计算最典型的应用场景之一，也是大数据流式计算最早的应用领域。在金融银行系统内部，每时每刻都有大量的结构化数据在各个系统间流动，并需要实时计算。同时，金融银行系统与其他系统也有着大量的数据流动，这些数据不仅有结构化数据，也会有半结构化和非结构化数据。通过对这些大数据的流式计算，发现隐含于其中的内在特征，可以帮助金融银行系统进行实时决策。在金融银行的实时监控场景中，大数据流式计算往往体现出了自身的优势。
●风险管理：包括信用卡诈骗、保险诈骗、证券交易诈骗、程序交易等，这些需要实时跟踪发现。
●营销管理：如根据客户信用卡消费记录，掌握客户的消费习惯和偏好，预测客户未来的消费需求，并为其推荐个性化的金融产品和服务。
●商业智能:如掌握金融银行系统内部各系统的实时数据，实现对全局状态的监控和优化，并提供决策支持。
第3章 数据
69