这就涉及一个重要的话题—数据标准。数据标准不仅用于解决企业内部数据关联的问题,比如一个好的用户库,可以解决未来大数据关联上的很多问题,假定公安的数据跟医院的数据进行关联打通,可以发挥更大的价值,但是公安标识用户的是身份证,而医院标识用户的则是手机号码,有了统一的用户库后,就可以通过ID-Mapping技术简单地把双方的数据进行关联。数据的标准不仅仅是企业内部进行数据关联非常重要,跨组织、跨企业进行数据关联也非常重要,而业界有能力建立类似用户库等数据标准的公司和政府部门并不多。
大数据发展到后期,当然是数据越多越好,企业内部的数据已经不能满足公司的需要。比如淘宝,想要对用户进行一个完整的画像分析,想获得用户的实时地理位置、爱好、星座、消费水平、开什么样的车等,用于精准营销。淘宝自身的数据是不够的,这个时候,很多企业就会去购买一些数据(有些企业也会自己去爬取一些信息,这个相对简单一点),比如阿里收购高德,采购微博的相关数据,用于用户的标签加工,获得更精准的用户画像。
3.1.6大数据生产链
如图3-3所示,大数据生产全链条覆盖数据采集、计算引擎、数据加工、数据可视化、机器学习、数据应用等。计算引擎包括Hadoop生态系统、底层计算平台、开发工具/组件,基于各自算法的计算引擎/服务,以及最上层的各种数据应用/产品。
3.1.7大数据怎么用
如何把数据资源转化为解决方案,实现产品化,是我们特别关注的问题。大数据只是一种手段,并不能无所不包、无所不用。我们关注大数据能做什么、不能做什么,现在看来,大数据主要有以下几种较为常用的功能。
追踪:互联网和物联网无时无刻不在记录,大数据可以追踪、追溯任何记录,形成真实的历史轨迹。追踪是许多大数据应用的起点,包括消费者购买行为、购买偏好、支付手段、搜索和浏览历史、位置信息等。
人工智能与大数据技术导论
64