{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":402,"pdf_page":418,"physical_index":418,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"0f35798508d256eee81ba2e9a74dc9801f9316fb49e80f7183f72b8314975c4e"},"chapter":"第13章","content":"3. 大数据平台选型要点\n\n在对产品化的发布版Hadoop平台选型的过程中，江苏银行总结了以下需重点考量的内容。\n\n性价比和扩展性\n\n前期，江苏银行在IOE传统架构上进行了大量投入，而城商行总体自主可控能力较弱、资产规模较小、盈利能力较低。因此，不论是从自主可控要求的目标出发，还是从降低软硬件成本投入的角度出发，都要求大数据产品需支持在x86虚拟化集群搭建开放和高度并行化的处理平台，既要适应高并发低时延的移动互联网实时数据检索需求，又要满足大体量数据的统计分析与业务建模要求，要求总体技术方案具备高性价比，能够实现在同一服务器集群上针对不同应用动态灵活分配内存、CPU等硬件资源并支持动态扩展，在出现资源瓶颈时能够快速解决。Hadoop产品具有支持x86和可动态扩展的性能，但目前大多数Hadoop平台在不同应用间的资源有效隔离方面都存在一定缺陷。\n\n对 SQL 的兼容性\n\n开源Hadoop对标准 SQL及 PL/SQL支持程度不高，许多常用函数都不支持，需要使用者编写程序实现。而银行以往的数据集市、数据仓库等应用大多基于SQL开发，根据江苏银行的数据架构规划，数据集市、数据仓库将迁移至Hadoop平台，为避免少则几百行多则上万行的程序编写，SQL兼容性成为Hadoop平台选择不可或缺的考虑因素之一。\n\n●对于通用开发框架和工具的支持程度\n\n江苏银行应用系统采用数据库+中间件+应用的三层模式，开发环境为JavaHibernate和Spring框架。为此要求Hadoop平台下的HDFS库、HBase以及内存数据库等组件能够通过ODBC或JDBC连接，以实现数据库对应用开发人员透明，并支持诸如BI、ETL、数据挖掘等工具，数据源可以根据实际需要选择配置Oracle或Hadoop。\n\n●具备事务的基本特性\n\n大数据平台不仅是关系型数据库数据转存储和统计分析的工具，更是一些新型应用，如客户线上行为等的原始数据库。为了确保数据的准确性，数据操作必须具备事务的基本特性：原子性、一致性、隔离性和持久性。Hadoop分布式计算的特点决定其本身不具备事务的基本特性，必须借助插件实现。\n\n● 图分析与流处理能力\n\n银行的实时营销和实时风险预警场景需要大数据平台具有历史数据快速统计、窗口时间内的信息流和触发事件及模型匹配、百毫秒级事件响应等性能，流处理技术是关键。目前，Hadoop平台通用的流处理引擎主要为Spark Streaming和Storm，两者各有千秋，Spark Streaming由时\n\n人工智能与大数据技术导论\n\n402","previous_page":401,"next_page":403}