{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":403,"pdf_page":419,"physical_index":419,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"cbc1b40c53e290145893608533506efdecd2bc98976aabef44fd9abc59093aa8"},"chapter":"第13章","content":"间窗口内的批量事件流触发，Storm由单个事件触发，单笔交易延迟方面，Spark Streaming高于Storm，但在整体吞吐量方面，Spark Streaming略有提升。在进行Hadoop产品选型时，江苏银行主要考量了经过优化的流处理引擎是否能够在流上实现统计类挖掘算法。\n\n●数据存储形式的多样性\n\n要求Hadoop产品至少支持3种数据存储形式：一是行式存储，用于数据由传统数据库向Hadoop数据库过渡；二是基于键值对的存储，用于大体量、高并发数据的实时查询；三是内存式数据库，用于交互式数据分析和挖掘，可通过构建分布式Cube加速性能，也可部分使用SSD代替，程序自动选择存储层。\n\n●多用户多数据库的隔离\n\n商业银行对数据安全非常重视，要求不同来源的数据在Hadoop平台上分库存放，并且为不同用户针对库、表、行的访问分配不同的权限。开源Hadoop平台不具有用户权限概念，许多使用者在Hadoop平台只建一个库，所有应用使用同一个用户名访问资源，数据资源完全开放。这种方式存在严重的安全隐患，预计随着平台重要性的提升，拆分数据库、细分用户权限的需求也将越来越迫切，为避免因前期规划不合理导致后期巨大的拆分工作量，江苏银行在大数据平台选型之初就将多用户多数据库的隔离作为重点考量的因素。\n\n●平台的研发能力和开放性\n\nHadoop作为创新型技术，与传统数据库相比，技术成熟度不够。江苏银行选择使用产品化的Hadoop，目的在于借助专业技术厂商的强大自主研发和服务支持能力，快速修复技术缺陷，在充分理解银行数据应用复杂需求的基础上，充分发挥产品特性，支持银行业务创新。\n\n●不同数据规模和应用场景下的性能表现\n\n银行业的应用场景及需求较其他行业更为复杂，一些典型的应用场景和主要技术如下：\n\n①用户行为采集分析：数据探头（JS、SDK、Nginx、ICE）、数据分发（Kafka）、离线数据存储及处理（HBase）、运营分析结果展现（MySQL）。\n\n②跨部门数据整合：数据桥接（Sqoop）、日志接入（Flume）、数据分发（FTP）、离线数据存储及处理（HBase、ES）。\n\n③离线用户画像和用户洞察（支持营销）：离线数据存储及处理（HBase、ES）。\n\n④实时用户画像及推荐：实时数据处理（Storm、Spark)、数据存储（Redis、MongoDB）。\n\n⑤实时反欺诈：数据接口（API）、数据分发（MQ）、实时数据处理（Storm）。\n\n此外，风险管理领域的应用场景包括实时反欺诈、反洗钱，实时风险识别、在线授信，等等；渠道领域的场景包括全渠道实时监测、资源动态优化配置等；用户管理和服务领域的场景包括在线和柜面服务优化、客户流失预警及挽留、个性化推荐、个性化定价等；营销领域的场景包括（基于互联网用户行为的）事件式营销、差异化广告投放与推广等。\n\n第13章 银行业大数据和人工智能\n\n403","previous_page":402,"next_page":404}