- 大数据技术平台架构分析
经过对主要大数据处理平台的深入研究，江苏银行将关注点聚焦在选择MPP还是Hadoop。为此，江苏银行更进一步从数据容量和数据处理能力的线性关系分析传统数据平台、MPP和Hadoop的关系，如图13-1所示。
传统观点认为，MPP的适用范围为1TB\~100TB的数据量，数据量超过100TB，Hadoop更具优势。当前，大中型城商行的数据量普遍在10TB级别，因此一些城商行选择MPP作为大数据处理平台。然而，近年来随着Hadoop开源社区的不断发展，特别是Spark的发布让Hadoop焕发了新的活力。Spark具有RDD（Resilient DistributedDatasets，弹性分布式数据集）和DAG(DirectedAcyclic Graph，有向无环图）两项核心技术，基于内存计算优化了任务流程，具有更低的框架开销，使得Hadoop在MPP擅长的100TB以下数据量的处理性能也大为改善。以目前的Hadoop技术，100GB以上的数据量处理性能不弱于传统关系型数据库和MPP，10TB以上的数据量性能优势更为明显。因此，如图13-1所示的混合架构的大数据处理平台模式逐渐淡出，形成了如图13-2所示的新型应用模式。
江苏银行从经济成本和未来数据的非线性增长趋势的角度分析认为，传统的交易系统运用关系型数据库处理OLTP事务操作，产生的交易数据通过异构数据的批量复制方式或消息队列的准实时方式更新至Hadoop平台，Hadoop平台进行大体量数据的分析和挖掘，并提供基于大数据的应用系统实时检索的模式，与城市商业银行目前的数据架构相适应，决定选择Hadoop平台。
第13章 银行业大数据和人工智能
401