{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":115,"pdf_page":131,"physical_index":131,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"d81b76f6e6fcc104b86cba2f6f77dd5733411178f9f43cf856be5b635bc52c21"},"chapter":"第3章","content":"不过，值得注意的是，即便外部数据越来越丰富，但可获取性还不够高，一方面受目前技术水平所限，车联网、可穿戴设备等数据采集精度、数据清洗技术和数据质量还达不到实用要求；另一方面，由于体制机制原因，导致行业和区域上的条块分割、数据割据和孤岛普遍存在，跨企业、跨行业数据资源的融合仍然面临诸多障碍。根据中国信息通信研究院对国内800多家企业的调研来看，有50%以上的企业把内部业务平台数据、客户数据和管理平台数据作为大数据应用最主要的数据来源。企业内部数据仍是大数据的主要来源，但对外部数据的需求日益强烈。当前，有32%的企业通过外部购买获得数据，只有18%的企业使用政府开放的数据。如何促进大数据资源建设，提高数据质量，推动跨界融合流通，是推动大数据应用进一步发展的关键问题之一。\n\n2. 分布式存储和计算技术夯实了大数据处理的技术基础\n\n大数据存储和计算技术是整个大数据系统的基础。在存储方面，2000年左右，谷歌等提出的文件系统以及随后的Hadoop分布式文件系统HDFS奠定了大数据存储技术的基础。与传统系统相比，GFS/HDFS将计算和存储节点在物理上结合在一起，从而避免在数据密集计算中易形成的I/O吞吐量的制约，同时这类分布式存储系统的文件系统也采用了分布式架构，能达到较高的并发访问能力。\n\n在计算方面，谷歌在2004年公开的MapReduce分布式并行计算技术是新型分布式计算技术的代表。一个MapReduce系统由廉价的通用服务器构成，通过添加服务器节点可线性扩展系统的总处理能力，在成本和可扩展性上都有巨大的优势。谷歌的MapReduce是其内部网页索引、广告等核心系统的基础。之后出现的Apache HadoopMapReduce是谷歌MapReduce的开源实现，目前已经成为应用最广泛的大数据计算软件平台。\n\nMapReduce架构能够满足“先存储后处理”的离线批量计算需求，但也存在局限性，最大的问题是时延过长，难以适用于机器学习迭代、流处理等实时计算任务，也不适合针对大规模图数据等特定数据结构进行快速运算。为此，业界在MapReduce的基础上提出了多种不同的并行计算技术路线。例如Storm系统是针对“边到达边计算”的实时流计算框架，可在一个时间窗口上对数据流进行在线实时分析，已经在实时广告、微博等系统中得到应用。此外，还出现了将MapReduce内存化以提高实时性的框架，针对大规模图数据进行优化的Pregel系统，等等。\n\n以Hadoop为代表的开源软件大幅度降低数据的存储与计算的成本。传统数据存储和分析的成本约为3万美元/TB，而采用Hadoop技术，成本可以降到300美元\\~1000美元/TB。新一代计算平台Spark进一步把Hadoop性能提升了30多倍，性能越来越高，技术门槛越来越低。目前，开源Hadoop和Spark已经形成了比较成熟的产品供应体系，基本上可以满足大部分企业建设大数据存储和分析平台的需求，为企业提供了低成本解决方案。\n\n第3章 数据\n\n115","previous_page":114,"next_page":116}