{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":397,"pdf_page":413,"physical_index":413,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"93d12667c413515e4c7c474a84b7b35d9895d2b7931fa8a28040b359abf7b66e"},"chapter":"第13章","content":"在大数据平台上，工商银行把它抽象成如下几层：\n\n●第一层是数据采集，统一针对外部和内部的数据进行相关的数据收集，包括日志信息、行为信息和业务信息。\n\n●往上一层是计算层，不仅提供了传统数据仓库的批量计算能力，也通过一些流数据的技术提供了实时计算能力。\n\n再往上一层是应用层，抽象了大数据相关的应用，包括用户可以自定义的查询功能。\n\n通过这些分层的服务，把它们抽象到业务系统中。通过管理会计系统、分析师平台、风险系统、营销系统，为工商银行在数据的运营、风险控制和营销方面都提供了相关的支持，这就是主要的大数据分层体系。\n\n分布式、开源、通用成为趋势。从大数据的起源开始，到目前的大数据应用新形势下，数据仓库已经在做非常大的升级换代和变化。2014年工商银行从高成本封闭的专业系统（如Teradata）开始向高性价比、通用设备和开放技术的系统转变。转型有两个原因：\n\n（1）数据量太大了。原来只需要处理TB级的数据量，已经转向需要处理PB级的数据量，甚至以后将要处理EB级的数据量。这么大的数据量，运用传统的设备没有办法进行相关的处理。\n\n(2)性价比。工商银行做过测量，通过开放式的弹性可扩展的普通PC服务器的方式，比传统设备在成本上可以节省十几分之一或者几十分之一。工商银行在新平台上一方面引进了Hadoop平台，基于普通的PC服务器进行搭建，短短一两年的时间已经扩展到几百个节点，存储空间已经超过1PB，超过建设了十几、二十年的Teradata的数据容量。\n\n另外，工商银行也在尽快落地分布式数据库。这是基于开源的底层架构，基于普通的PC服务器完成数据仓库体系的扩充。后续在大数据的处理加工方面、会基于分布数据库进行处理。工商银行会保留Teradata，着重于高端的分析师分析挖掘的探索性的工作方面。后续的大数据体系会采用多种技术路线、多种技术平台共存的方式。\n\n工商银行在大数据和人工智能应用方面主要侧重于风险防控。这是落地最快、最有成效的应用。工商银行通过大数据在事前、事中、事后三个环节的运用进行风险的柔性控制。\n\n●事前，比如银行卡的授信过程中，或者信贷要进行发放做尽职调查中，数据能给它一个支撑。\n\n●事中，比如银行卡最近比较多地发生盗刷行为，我们可以在事中通过大数据的方式发\n\n第13章 银行业大数据和人工智能\n\n397","previous_page":396,"next_page":398}