人工智能与大数据技术导论

(5) 车联网

车联网V2X是自动驾驶和未来智能交通运输系统的关键技术。V2X是指联网无线通信技术，实现车对外界的信息交换，V2X包括V2V（车-车）、V2I（车-基础设施）、V2R（车-道路信息）、V2P（车-行人）等方式的车联网通信技术。它可以弥补单车智能的软肋，当车辆环境感知系统无法做到全天候、全路况的准确感知时，V2X可以利用通信技术、卫星导航对感知系统进行协调互补。

伴随着ADAS技术的不断更新，推断全球L1\~L5智能驾驶市场的渗透率会在接下来的5年内处于高速渗透期，然后伴随半无人驾驶的普及进入稳速增长期。到2025年无人驾驶放量阶段后，依赖全产业链的配合而进入市场成熟期。预测到2030年，全球L4/L5级别的自动驾驶车辆渗透率将达到15%，除了单车应用成本的显著提升之外，从L1\~L4级别的智能驾驶功能全面渗透会为汽车产业带来全面的市场机会。

按照IHSAutomotive保守估计，全球L4/L5自动驾驶汽车产量在2025年将达到接近60万辆，并在2025\~2035年间获得高速发展。在这个“无人驾驶黄金十年”内复合增长率将达到43%，并在2035年L4/L5自动驾驶汽车产量将达到2100万辆，另有接近7600万辆汽车具备部分自动驾驶功能，同时将带动产业链衍生市场的大规模催化扩张。

1. 自动驾驶趋势分析

（1）趋势1:低成本激光雷达方案

激光雷达作为自动驾驶最昂贵的配件，精度高，性能好，是最被看好的车载传感器。激光雷达未来趋于固态化、小型化、低成本，目前特斯拉尚未采用激光雷达方案，主要在于成本太高，因此作为将来自动驾驶的核心配件来说，如果能够提供低成本的激光雷达方案，将会快速推动自动驾驶市场。

(2)趋势2:多传感器融合方案

①融合感知是大势所趋

毫米波雷达能解决所有情况下30%左右的问题，激光雷达能解决60%\~70%的问题，单目配合雷达能够实现测距和预测碰撞时间，双目配合单目的识别技术也能够丰富双目在测距之外的感知能力，因此未来融合会是趋势。

②各类车厂的选择方案有所不同

技术实力弱的车厂更多依靠Tier1来集成，实力强的车厂会自己来做整合。国内车企对汽车部件的控制能力偏弱，例如长安、奇瑞等都无法接入刹车软件接口，都是通过Tier1来解决(如博世、电装）。协助Tier1进行多传感器算法融合的公司有一定机会，尤其是对摄像头+激光雷达算法融合擅长的计算机视觉团队。

（3）趋势3：深度学习算法应用于ADAS

传统算法仍然适用于ADAS阶段，深度学习满足最后关键5%的识别精度。深度学习出现以后，视觉识别任务的精度都进行了大幅度的提升。因此，大量公司会将算法模型开放，其背后的动机在于收集更多数据训练自身的算法模型，同时改进算法，最终将改进的算法与车厂合

人工智能与大数据技术导论

54

作，将算法的商业价值变现。对于开放算法，将深度学习直接用于ADAS领域的公司，将迎来一次机会，如Comma.ai、Driv.ai这样的公司。

（4）趋势4:自动驾驶深度学习专用集成电路处理器

专用集成电路（ASIC）是根据特定客户要求和特定电子系统的需要而设计、制造的集成电路。在批量生产时，与通用集成相比具有体积更小、功耗更低、可靠性更高、保密性更强、成本更低等优点。将深度学习算法应用在自动驾驶并且利用特定芯片实现深度学习功能的专用处理器，相比于FPGA，ASIC牺牲灵活性换取尺寸和功耗下降，ASIC去除了芯片中与算法实现无关的组件，在牺牲灵活性的同时，极大地提升了自动驾驶深度学习的效率。

(5)趋势5：物流行业的无人驾驶应用

物流领域的无人驾驶应用，使用物流无人驾驶能为物流行业解决以下三个问题。

①路线较为固定，降低了环境的复杂性，有利于提升无人驾驶的安全性。

②该细分领域司机疲劳驾驶情况比较明显，无人驾驶可以提高安全性。

③有效降低运营的人力成本，提升行业效率。

2.4 AI产业发展趋势分析

如图2-18所示，人工智能产业链可以分为基础设施层、技术层和应用产品层，各层的发展趋势如下。

基础设施层，主要有基础数据提供商、半导体芯片供应商、传感器供应商和云计算服务商。在过去的5\~10年，人工智能技术得以商业化，主要得益于传感器等硬件价格快速下降、云服务的普及以及GPIJ等芯片使大规模并行计算能力得以提升。人工智能产业在基础设施层面的搭建已经基本形成。

技术层，主要有语音识别、自然语言处理、计算机视觉、深度学习技术提供商。与其他技术相比，语音识别在技术和应用方面都已经较为成熟，谷歌、亚马逊、苹果、百度、阿里等巨头的布局很深，科大讯飞等企业也显示了良好的增长势头。另外，计算机视觉尤其是人脸识别、自然语言处理等方向也将是技术和应用发展较快的领域。

处于应用产品层的企业，主要是把人工智能相关技术集成到自己的产品和服务中，然后切入特定场景（金融、家居、医疗、安防、车载等）。未来数据完整（信息化程度原本就比较高的行业或者数据洼地行业）、反馈机制清晰、追求效率动力比较强的场景或将率先实现AI技术的大规模商业化。目前来看，自动驾驶、医疗、安防、金融、营销等领域是业内人士普遍比较看好的方向。

第2章 AI产业

55

AI产业发展还呈现了以下趋势。

(1）平台崛起，技术、硬件、内容多方面资源进一步整合

人工智能覆盖的行业及场景巨大，单一企业无法涉及人工智能产业的方方面面，厂商基于自身的优势切入产业链条，并与其他厂商进行合作，技术、硬件、内容多方面资源进行整合，共同推动人工智能技术落地。在技术、内容及硬件的发展下，平台进一步崛起，生态化布局日益重要。

(2)人工智能技术继续向垂直行业下沉

通用型人工智能技术已不能满足各行业的需求，不同行业在应用侧重点上有所不同，数据资源也同样不同，需要市场从业者针对行业特点，设计不同的行业解决方案。人工智能技术将继续从场景出发实现技术落地，在垂直行业中，医疗、金融、安防、环境、教育、家居等行业已初具规模，未来发展前景巨大。

(3)产学研相结合，人才仍是抢夺的重点

AI、物联网成为主流的发展趋势，人才在其中发挥的价值越来越大，而产业发展速度与人才培养速度之间的矛盾在产学研发展路径下将逐渐缩小，专业型人才开始增多，具有核心知识的专家仍然成为厂商抢夺的重点。在人工智能领域中，国内人才集中在技术层及应用层，基础层人才薄弱，国内高校在人工智能人才培养方面也持续缺失，专业布局较晚，专家有限，国内外在教育系统之间的差距较大，这也导致国内在人工智能领域基础层研究的薄弱。在意识到人才方面的缺失之后，国家及企业采取各类措施进行追赶，比如采取“千人计划”“新一代人工智能发展规划”等政策吸引优秀专业人才回国，企业围绕其核心业务抢夺人工智能人才。未来需要继续建立核心技术人才培养体系，加强人工智能一级学科建设，实现产学研的有效融合，为人工智能产业持续不断输送优质人才。

（4）厂商进入卡位战，不断发掘新的商业模式

人工智能将通过AI+的形式影响各行各业，技术厂商崛起，但应用才是技术落地的关键。技术被集成到各类产品中，技术厂商本身议价能力不强，所获得的利益有限，因此技术厂商积极搭建平台，或发展硬件、布局生态，以集成商的角色获取更多的行业红利。

人工智能与大数据技术导论

56

软件以及互联网对传统商业的冲击已呈颠覆之势，而AI所覆盖的领域更为庞大，冲击也更甚。随着人工智能的发展，由软件和互联网打造的流量价值被打破，数据为王成为新趋势，场景化消费成为用户诉求，云端服务、后端收费等依托智能硬件而发展起来的新兴服务模式逐渐兴起。人工智能产业中的入局者需要在推动技术落地的同时不断发掘新的商业机会。

（5)中国仍需加大在算力、算法、大数据领域的发展，弥补技术弱势

人工智能底层基础层技术仍旧掌握在欧美国家手中，尤其是芯片、先进半导体等核心零部件，以及算法、开源框架等核心技术，这些技术将直接影响人工智能技术的发展进程。虽然国家通过“中国制造2025”等战略推动先进技术的研发，但是国内研发基础相对薄弱，在基础算法研究领域仍处于劣势。教育不完善、人才短缺、研究领域集中、数据开放不足等问题成为限制中国人工智能发展的重要因素。因此，中国仍需加大在算法算力、大数据领域的布局，掌握核心技术能力。

(6)伦理之争不止，AI终将取代部分人工

由人工智能引发的伦理问题一直无法达成共识。目前，业内普遍认为人工智能将经历三个时间节点：第一个时间节点是这一波人工浪潮，其产业红利在3\~5年之内会尘埃落定；第二个时间节点是10年之内，一半以上的现有工作会被人工智能替代；第三个时间节点是30年之内，人工智能将具备自我觉醒的能力。在硅谷备受推崇的观点也是在未来30年内，90%的工作会因人工智能技术的进步而被淘汰。

伴随着人工智能的兴起，技术威胁论引发的一系列谈论从未停止过，技术裹挟着变革力量推动时代向前发展，这也意味着与时代脱离的观念和行为将会被抛弃：工业革命瓦解小农经济，互联网时代颠覆线下经济实体，人工智能技术将会取代传统耗时、重复性、机械化的运动，机器成为生产主力，同时与之相对应的新兴职业增多，专业技术人才的竞争力加大。

在人工智能取代人类或人工智能增强人类能力的讨论之余，用户所能做的只有强化自身的能力，发挥主体的不可替代性。而在人工智能领域中的基因重组、机器人学等超人类主义项目，仍需要政府加大监管力度。

第2章 AI产业

57

第3章

数据

人工智能如今处在发展早期的阶段，非常像十几年前互联网的成长。推动AI发展的三个动力是算法、算力和数据（见图3-1）。第一个是算法，人工智能，尤其是机器学习的算法在过去几年迅速发展，不断有各种各样的创新，深度学习、DNN、RNN、CNN到GAN，不停地有新的发明创造出来；第二个是计算能力，计算的成本在不断下降，服务器也变得越来越强大，我们已经在第2章中详细地介绍了人工智能芯片产业；第三个是数据，数据的产生仍然在以一个非常高的速度发展，它会进一步推动算法的不断创新，以及对计算能力提出更新的要求。数据是AI的根本和基础，AI和大数据密不可分。没有海量数据支撑的人工智能就是人工智障。

数据正在金融、广告、零售、物流、影视等行业悄悄地改变我们的生活。随着手机更大规模的普及，以及日新月异的可穿戴设备、智能家居，甚至是无人驾驶汽车，都在提醒我们，以互联网（或者物联网）、云计算、大数据为代表的这场技术革命正引领人类社会加速进入农业时代、工业时代之后的一个新的发展阶段—数据时代（DT时代）。前两个时代分别以土地、资本为生产要素，而正在我们面前开启的数据时代，正如其名，数据将成为最核心的生产要素。

大数据代表了一种现象，即数据的指数增长超过了人们管理、处理和应用数据的能力的增长。无论是对一个国家还是一个企业，谁能缩小这两个增长之间的差距，把数据用好，就能占有竞争优势。有人说，当“人工智能”和“大数据”的压路机压过来的时候，要么你成为压路机的一部分，要么你成为路的一部分。未来十年，人工智能和大数据是非常重要的一件事情。本轮AI浪潮是数据驱动的，算法就是“炼数术”。因此，AI面临的核心挑战之一依然是数据，尤其是做有监督学习时所需要的高质量训练数据源。本章从AI的角度来阐述大数据。需要指出的是，数据分析不等于大数据分析，简单的统计分析不是大数据分析。大数据是基础，大数据分析挖掘和AI是上端应用。本书中的大数据分析特指基于AI技术（机器学习或深度学习）的海量数据分析。

Te

3.1 什么是大数据

云计算、物联网、移动互连、社交媒体等新兴信息技术和应用模式的快速发展，促使全球数据量急剧增加，推动人类社会迈入大数据时代。一般意义上，大数据是指利用现有理论、方法、技术和工具难以在可接受的时间内完成分析计算、整体呈现高价值的海量复杂数据集合。

3.1.1大数据的特征

大数据呈现出多种鲜明的特征。

●在数据量方面，当前全球所拥有的数据总量已经远远超过历史上的任何时期，更为重要的是，数据量的增加速度呈现出倍增趋势，并且每个应用所计算的数据量也大幅增加。

●在数据速率方面，数据的产生、传播的速度更快，在不同时空中流转，呈现出鲜明的流式特征，更为重要的是，数据价值的有效时间急剧缩短，也要求越来越高的数据计算和使用能力。

●在数据复杂性方面，数据种类繁多，数据在编码方式、存储格式、应用特征等多个方面也存在多层次、多方面的差异性，结构化、半结构化、非结构化数据并存，并且半结构化、非结构化数据所占的比例不断增加。

在数据价值方面，数据规模增大到一定程度之后，隐含于数据中的知识的价值也随之增大，并将更多地推动社会的发展和科技的进步。此外，大数据往往还呈现出个性化、不完备化、价值稀疏、交叉复用等特征。

大数据蕴含大信息，大信息提炼大知识，大知识将在更高的层面、更广的视角、更大的范围帮助用户提高洞察力，提升决策力，将为人类社会创造前所未有的重大价值。但与此同时，这些总量极大的价值往往隐藏在大数据中，表现出价值密度极低、分布极其不规律、信息隐藏程度极深、发现有用的价值极其困难的鲜明特征。这些特征必然为大数据的计算环节带来前所未有的挑战和机遇，并要求大数据计算系统具备高性能、实时性、分布式、易用性、可扩展性等特征。

如果将云计算看作对过去传统IT架构的颠覆，云计算也仅仅是硬件层面对行业的改造，而大数据的分析应用却是对行业中业务层面的升级。大数据将改变企业之间的竞争模式，未来的企业将都是数据化生存的企业，企业之间竞争的焦点将从资本、技术、商业模式的竞争转向对大数据的争夺，这将体现为一个企业拥有的数据的规模、数据的多样性以及基于数据构建全新的产品和商业模式的能力。目前来看，越来越多的传统企业看到了云计算和大数据的价值，从传统的IT积极向DT时代转型是当前一段时间的主流，简单地解决云化的问题，并不能给其带来更多价值。

第3章 数据

59

3.1.2 大数据的误区

大数据有不少的误区。我们先看看大数据不是什么。

（1）大数据≠拥有数据

很多人觉得拥有数据，特别是拥有大量的数据，就是大数据了，这肯定是不对的，数据量大不是大数据，比如气象数据很大，如果仅仅用于气象预测，只要计算能力跟上就行，还远远没有发挥它的价值。但是保险公司根据气象大数据来预测自然灾害以及调整与自然灾害相关的保险费率，它就会演化出其他的商业价值，形成大数据的商业环境。所以，大数据要使用，甚至关联、交换才能产生真正价值，形成特有的大数据商业。

（2）大数据≠报表平台

有很多企业建立了自己业务的报表中心，或者大屏展示中心，就马上宣布已经实现了大数据，这是远远不够的。报表虽然也是大数据的一种体现，但是真正的大数据业务不是生成报表靠人来指挥，那是披着大数据外表的报表系统而已。在大数据闭环系统中，万物都是数据产生者，也是数据使用者，通过自动化、智能化的闭环系统自动学习、智能调整，从而提升整体的生产效率。

(3）大数据≠计算平台

我们经常看到一些报道，说某某金融机构建立了自己的大数据系统，后来仔细一看，就是搭建了一个几百台机器的Hadoop集群而已。大数据计算平台是大数据应用的技术基础，是大数据闭环中非常重要的一环，也是不可缺少的一环，但是不能说有了计算平台就有了大数据。比如我买了锅，不能说我已经有了菜，从锅到菜还缺原料（数据）、刀具（加工工具）、厨师（数据加工），才能最终做出菜来。

（4）大数据≠精准营销

我见过很多创业公司在做大数据创业，仔细一看，做的是基于大数据的推荐引擎、广告定投等。这是大数据吗？他们做的是大数据的一种应用，可以说已经是大数据的一种了。只是大数据整个生态不能通过这一种应用来表达而已。正如大象的耳朵是大象的一部分，但是不能代表大象。

3.1.3大数据交易难点

在未来，数据将成为商业竞争最重要的资源，谁能更好地使用大数据，谁将领导下一代的商业潮流。所谓无数据，不智能；无智能，不商业。下一代的商业模式就是基于数据智能的全新模式，虽然才开始萌芽，才有几个有限的案例，但是其巨大的潜力已经被人们认识到。简单地讲，大数据需要有大量能互相连接的数据（无论是自己的，还是购买、交换别人的），它们在一个大数据计算平台（或者能互通的各个数据节点上），有相同的数据标准能正确的关联（如ETL、数据标准），通过大数据相关处理技术（如算法、引擎、机器学习），形成自动化、智能化的犬数据产品或者业务，进而形成大数据采集、反馈的闭环，自动智能地指导人类的活动、工业制造、社会发展等。但是，数据交易并没有这么简单，因为数据交易涉及以下几个非常大的问题。

人工智能与大数据技术导论

60

（1）怎么保护用户隐私信息

在Facebook隐私泄露事件之后，其创始人兼CEO马克·扎克伯格(Mark Zuckerberg）称该公司没能保护好用户的数据，承诺这种事情永远不会再发生。扎克伯格为了挽回公司声誉，大量投放道歉广告，以及接受国会的洗礼（见图3-2）。隐私泄露事件使得该公司的市值在事件爆发的一周内蒸发了近580亿美元（约合3661亿元）。

欧盟已经出台了苛刻的数据保护条例，还处在萌芽状态的中国大数据行业，怎么确保用户的隐私信息不被泄漏呢？对于一些非隐私信息，比如地理数据、气象数据、地图数据进行开放、交易、分析是非常有价值的，但是一旦涉及用户的隐私数据，特别是单个人的隐私数据，就会涉及道德与法律的风险。

数据交易之前的脱敏或许是一种解决办法，但是并不能完全解决这个问题，因此一些厂商提出了另一种解决思路，基于平台担保的“可用不可见”技术。例如双方的数据上传到大数据交易平台，双方可以使用对方的数据以获得特定的结果，比如通过上传一些算法、模型而获得结果，双方都不能看到对方的任何详细数据。

（2）数据的所有者问题

数据作为一种生产资料，跟农业时期的土地、工业时期的资本不一样，使用之后并不会消失。如果作为数据的购买者，这个数据的所有者到底是谁？怎么确保数据的购买者不会再次售卖这些数据？或者购买者加工了这些数据之后，加工之后的数据所有者是谁？

（3）数据使用的合法性问题

大数据营销中，目前用得最多的就是精准营销。数据交易中，最值钱的也是个人数据。我们日常分析做的客户画像，目的就是给海量客户分群、打标签，然后有针对性地开展定向营销和服务。然而，如果利用用户的个人信息（比如年龄、性别、职业等）进行营销，必须事先征得用户的同意，才能向用户发送广告信息，还是可以直接使用？

所以，数据的交易与关联使用必须解决数据标准、立法以及监管的问题，在未来，不排除有专门的法律，甚至专业的监管机构，如各地成立大数据管理局来监管数据的交易与使用问题。如果真的到了这一天，那也是好事，数据要流通起来才会发挥更大的价值。如果每个企业都只有自己的数据，即使消除了企业内部的信息孤岛，还有企业外部的信息孤岛。

第3章 数据

61

3.1.4 大数据的来源

在下一代的革命中，无论是工业4.0（国内叫中国制造2025）还是物联网（甚至是一个全新的协议与标准），随着数据科学与云计算能力（甚至是基于区块链的分布式计算技术）的发展，唯独数据是所有系统的核心。万物互联、万物数据化之后，基于数据的个性化、智能化将是一次全新的革命，将超越100多年前开始的自动化生产线的工业3.0，给人类社会整体的生产力提升带来一次根本性的突破，实现从0到1的巨大变化。正是在这个意义上，这是一场商业模式的范式革命。商业的未来、知识的未来、文明的未来，本质上就是人的未来。而基于数据智能的智能商业，就是未来的起点。大数据的第一要务就是需要有数据。

关于数据来源，普遍认为互联网及物联网是产生并承载大数据的基地。互联网公司是天生的大数据公司，在搜索、社交、媒体、交易等各自的核心业务领域，积累并持续产生海量数据。能够上网的智能手机和平板电脑越来越普遍，这些移动设备上的App都能够追踪和沟通无数事件，从App内的交易数据（如搜索产品的记录事件）到个人信息资料或状态报告事件（如地点变更，即报告一个新的地理编码）。非结构数据广泛存在于电子邮件、文档、图片、音频、视频以及通过博客、维基，尤其是社交媒体产生的数据流中。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉，还包括电子商务购物数据、交易行为数据、Web服务器记录的网页点击流数据日志。

物联网设备每时每刻都在采集数据，设备数量和数据量都在与日俱增，包括功能设备创建或生成的数据，例如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信，还可以自动向中央服务器传输数据，这样就可以对数据进行分析。机器和传感器数据是来自物联网（IoT）所产生的主要例子。

这两类数据资源作为大数据金矿，正在不断产生各类应用。比如，来自物联网的数据可以用于构建分析模型，实现连续监测（如当传感器值表示有问题时进行识别）和预测（如警示技术人员在真正出问题之前检查设备）。国外出现了这类数据资源应用的不少经典案例。还有一些企业，在业务中也积累了许多数据，如房地产交易、大宗商品价格、特定群体消费信息等。从严格意义上说，这些数据资源还算不上大数据，但对商业应用而言，却是最易获得和比较容易加工处理的数据资源，也是当前在国内比较常见的应用资源。

在国内还有一类是政府部门掌握的数据资源，普遍认为质量好、价值高，但开放程度差。许多官方统计数据通过灰色渠道流通出来，经过加工成为各种数据产品。《大数据纲要》把公共数据互联开放共享作为努力方向，认为大数据技术可以实现这个目标。实际上，长期以来，政府部门间的信息数据相互封闭割裂是治理问题而不是技术问题。面向社会的公共数据开放愿望虽十分美好，但恐怕一段时间内可望而不可即。

对于某一个行业的大数据场景，一是要看这个应用场景是否真有数据支撑，数据资源是否可持续，来源渠道是否可控，数据安全和隐私保护方面是否有隐患；二是要看这个应用场景的数据资源质量如何，是“富矿”还是“贫矿”，能否保障这个应用场景的实效。对于来自自身业务的数据资源，具有较好的可控性，数据质量一般也有保证，但数据覆盖范围可能有限，需要借助其他资源渠道；对于从互联网抓取的数据，技术能力是关键，既要有能力获得足够大的量，又要有能力筛选出有用的内容；对于从第三方获取的数据，需要特别关注数据交易的稳定性。数据从哪里来是分析大数据应用的起点，如果一个应用没有可靠的数据来源，再好、再高超的数据分析技术都是无本之木。我们经常看到，许多应用并没有可靠的数据来源，或者数据来源不具备可持续性，只是借助大数据风口套取资金。这是很可悲的。

人工智能与大数据技术导论

62

3.1.5数据关联

数据无处不在，人类从发明文字开始，就开始记录各种数据，只是保存的介质一般是书本，这难以分析和加工。随着计算机与存储技术的快速发展，以及万物数字化的过程（音频数字化、图形数字化等），出现了数据的爆发。而且数据爆发的趋势随着万物互联的物联网技术的发展会越来越迅速。同时，对数据的存储技术和处理技术的要求也会越来越高。据IDC出版的数字世界研究报告显示，2013年，人类产生、复制和消费的数据量达到4.4ZB。而到2020年，数据量将增长10倍，达到44ZB。大数据已经成为当下人类最宝贵的财富，怎样合理有效地运用这些数据，发挥这些数据应有的作用，是大数据将要做到的。

早期的企业比较简单，关系型数据库中存储的数据往往是全部的数据来源，这个时候对应的大数据技术也就是传统的OLAP数据仓库解决方案。因为关系型数据库中基本上存储了所有数据，往往大数据技术也比较简单，直接从关系型数据库中获得统计数据，或者创建一个统一的OLAP数据仓库中心。以淘宝为例，淘宝早期的数仓数据基本来源于主业务的OLTP数据库，数据不外乎用户信息（通过注册、认证获取）、商品信息（通过卖家上传获得）、交易数据（通过买卖行为获得）、收藏数据（通过用户的收藏行为获得）。从公司的业务层面来看，关注的也就是这些数据的统计，比如总用户数，活跃用户数，交易笔数、金额（可钻取到类目、省份等），支付宝笔数、金额，等等。因为这个时候没有营销系统，没有广告系统，公司也只关注用户、商品、交易的相关数据，这些数据的统计加工就是当时大数据的全部。

但是，随着业务的发展，比如个性化推荐、广告投放系统的出现，会需要更多的数据来做支撑，而数据库的用户数据，除了收藏和购物车是用户行为的体现外，用户的其他行为（如浏览数据、搜索行为等）这个时候是完全不知道的。这里就需要引进另一个数据来源，即日志数据，记录用户的行为数据，可以通过Cookie技术，只要用户登录过一次，就能与真实的用户取得关联。比如通过获取用户的浏览行为和购买行为，进而可以给用户推荐他可能感兴趣的商品，看了又看、买了又买就是基于这些最基础的用户行为数据做的推荐算法。这些行为数据还可以用来分析用户的浏览路径和浏览时长，这些数据是用来改进相关电商产品的重要依据。

2009年，移动互联网飞速发展，随着基于Native技术的App大规模出现，用传统日志方式获取移动用户行为数据已经不再可能，这个时候涌现了一批新的移动数据采集分析工具，通过内置的SDK可以统计Native上的用户行为数据。数据是统计到了，但是新的问题也诞生了，比如在PC上的用户行为怎么对应到移动端的用户行为，这个是脱节的，因为PC上有PC上的标准，移动端又采用了移动的标准，如果有一个统一的用户库，比如登录名、邮箱、身份证号码、手机号、IMEI地址、MAC地址等，来唯一标识一个用户，无论是哪里产生的数据，只要是第一次关联上来，后面就能对应上。

第3章 数据

63