{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":88,"pdf_page":104,"physical_index":104,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"e806977f74a7b6aa7ce6a84913d17e5a3b429c3fb5c9fdd2b994a474ac3a4208"},"chapter":"第3章","content":"5. 数据吞吐量\n\n在大数据流式计算环境中，数据吞吐量呈现出了根本性的增加。在传统的流式数据环境中，所处理的数据吞吐量往往在吉字节（GB）级别，这满足不了大数据流式计算环境对数据吞吐量的要求。在大数据流式计算环境中，数据的吞吐量往往在太字节（TB）级别以上，且其增长的趋势是显著的。然而，当前流式数据处理系统（如Storm）均无法满足太字节（TB）级别的应用需求。\n\n大数据流式计算环境中的数据吞吐量问题的解决，一方面需要从硬件的角度进行系统的优化，设计出更符合大数据流式计算环境的硬件产品，在数据的计算能力上实现大幅提升；另一方面，更为重要的是，从系统架构的设计中进行优化和提升，设计出更加符合大数据流式计算特征的数据计算逻辑。\n\n3.5 数据平台\n\n企业要做AI和大数据分析，首先要考虑数据的准备，这其实就是数据平台的建设。有人也许会问：业务跑得好好的，各系统稳定运行，为何还要搭建企业的数据平台？企业一般在什么情况下需要搭建数据平台，从而实现对各种数据进行重新架构？\n\n从业务的视角来看：业务系统过多，彼此的数据没有打通。这种情况下，涉及数据分析就麻烦了，可能需要分析人员从多个系统中提取数据，再进行数据整合，之后才能分析。一次两次可以忍，天天干这个能忍吗？人为地整合出错率高怎么办？分析不及时效率低要不要处理？\n\n●从系统的视角来看：业务系统压力大，但很不巧，数据分析又是一项比较费资源的任务。那么自然会想到，通过将数据抽取出来，独立服务器来处理数据查询、分析的任务，从而释放业务系统的压力。\n\n从数据处理性能的视角来看：企业越做越大，与此同时，数据也会越来越多。可能是历史数据的积累，也可能是新数据内容的加入。当原始数据平台不能承受更大数据量的处理时，或者效率已经十分低下时，重新构建一个大数据处理平台就是必需的了。\n\n这三种情况有时并非独立的，往往是其中两种其至三种情况同时出现。这时，一个数据平台的出现不仅可以承担数据分析的压力，还可以对业务数据进行整合，从而从不同程度上提高数据处理的性能，基于数据平台实现更丰富的功能需求。\n\nAI和大数据分析的成功需要的不仅仅是原始数据，还需要好的且高质量的数据。更准确的说法应该是，AI的成功需要那些准备好的数据。对于分析，如果进来的是垃圾，那么出去的也是垃圾，这就意味着，如果你把大量参差不齐的数据放到分析解决方案中，你将会得到不好的结果。所以，大多数数据科学家和数据分析师花费大量时间来为AI准备数据。\n\n人工智能与大数据技术导论\n\n88","previous_page":87,"next_page":89}