然而，数据管理不像数据分析挖掘那么光鲜亮丽，就像城市的“下水道工程”，短期只有投入而看不见产出。但长期又不得不做，这是战略层面的事，当前不做未来返工的成本巨大。以后每个企业都将成为数据驱动的企业，打基础的事情要尽早。
- 深化领域应用
虽然大数据的应用取得了一定进展，在互联网、金融、电信、交通等领域产生了实实在在的效益，旅游、环保、公安、医疗、工业领域也正在加速发展。但总体上只能说刚刚走出了小半步。一类是“平行替代”，如金融和电信行业用Hadoop来重构原来昂贵的数据仓库；另一类则是“补课”，如政务、医疗、工业、环保等领域，正在做的工作是在原有业务系统之外，新建本来早该建设的数据平台。
这些大数据应用显然还不够高大上，是量变而非质变，但的确也是发展必经的阶段。随着这些“替代”型或“补课”型应用的深入，未来业务与数据将加深融合，越来越多数据驱动的新模式、新业态值得所有人期待。也只有这样，数据强国战略才能落到实处。
3.3 大数据的计算模式
大数据的计算模式可以分为批量计算（batch computing）和流式计算（streamcomputing）两种形态。如图3-4左图所示，批量计算首先进行数据的存储，然后对存储的静态数据进行集中计算。Hadoop是典型的大数据批量计算架构，由HDFS分布式文件系统负责静态数据的存储，并通过MapReduce将计算逻辑分配到各数据节点进行数据计算和价值发现。
如图3-4右图所示，在流式计算中，无法确定数据的到来时刻和到来顺序，也无法将全部数据存储起来。因此，不再进行流式数据的存储，而是当流动的数据到来后，在内存中直接进行数据的实时计算。例如Twitter的Storm、Yahoo的S4就是典型的流式数据计算架构，数据在任务拓扑中被计算，并输出有价值的信息。
流式计算和批量计算分别适用于不同的大数据应用场景。对于先存储后计算，实时性要求不高，同时数据的准确性、全面性更为重要的应用场景，批量计算模式更合适；对于无须先存储，可以直接进行数据计算，实时性要求很严格，但数据的精确度要求稍微宽松的应用场景，流式计算具有明显优势。流式计算中，数据往往是最近一个时间窗口内的，因此数据延迟往往较短，实时性较强，但数据的精确程度往往较低。流式计算和批量计算具有明显的优劣互补特征，在多种应用场合下可以将两者结合起来使用。通过发挥流式计算的实时性优势和批量计算的精度优势，满足多种应用场景在不同阶段的数据计算要求。
人工智能与大数据技术导论
68