{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":68,"pdf_page":84,"physical_index":84,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"a619f5a5b4ffc7ead67937baff1793a43d4420f72e9742c03ac4041a94ed2c27"},"chapter":"第3章","content":"然而，数据管理不像数据分析挖掘那么光鲜亮丽，就像城市的“下水道工程”，短期只有投入而看不见产出。但长期又不得不做，这是战略层面的事，当前不做未来返工的成本巨大。以后每个企业都将成为数据驱动的企业，打基础的事情要尽早。\n\n3. 深化领域应用\n\n虽然大数据的应用取得了一定进展，在互联网、金融、电信、交通等领域产生了实实在在的效益，旅游、环保、公安、医疗、工业领域也正在加速发展。但总体上只能说刚刚走出了小半步。一类是“平行替代”，如金融和电信行业用Hadoop来重构原来昂贵的数据仓库；另一类则是“补课”，如政务、医疗、工业、环保等领域，正在做的工作是在原有业务系统之外，新建本来早该建设的数据平台。\n\n这些大数据应用显然还不够高大上，是量变而非质变，但的确也是发展必经的阶段。随着这些“替代”型或“补课”型应用的深入，未来业务与数据将加深融合，越来越多数据驱动的新模式、新业态值得所有人期待。也只有这样，数据强国战略才能落到实处。\n\n3.3 大数据的计算模式\n\n大数据的计算模式可以分为批量计算（batch computing）和流式计算（streamcomputing）两种形态。如图3-4左图所示，批量计算首先进行数据的存储，然后对存储的静态数据进行集中计算。Hadoop是典型的大数据批量计算架构，由HDFS分布式文件系统负责静态数据的存储，并通过MapReduce将计算逻辑分配到各数据节点进行数据计算和价值发现。\n\n如图3-4右图所示，在流式计算中，无法确定数据的到来时刻和到来顺序，也无法将全部数据存储起来。因此，不再进行流式数据的存储，而是当流动的数据到来后，在内存中直接进行数据的实时计算。例如Twitter的Storm、Yahoo的S4就是典型的流式数据计算架构，数据在任务拓扑中被计算，并输出有价值的信息。\n\n流式计算和批量计算分别适用于不同的大数据应用场景。对于先存储后计算，实时性要求不高，同时数据的准确性、全面性更为重要的应用场景，批量计算模式更合适；对于无须先存储，可以直接进行数据计算，实时性要求很严格，但数据的精确度要求稍微宽松的应用场景，流式计算具有明显优势。流式计算中，数据往往是最近一个时间窗口内的，因此数据延迟往往较短，实时性较强，但数据的精确程度往往较低。流式计算和批量计算具有明显的优劣互补特征，在多种应用场合下可以将两者结合起来使用。通过发挥流式计算的实时性优势和批量计算的精度优势，满足多种应用场景在不同阶段的数据计算要求。\n\n人工智能与大数据技术导论\n\n68","previous_page":67,"next_page":69}