--- schema_version: "library-reader-v1" source_type: "original_book" title: "大数据时代生活,工作与思维的大变革" author: null edition: null publisher: null year: null isbn: null library_document_id: "4e51e488-5704-438f-b921-0a77b3af1e73" source_sha256: "ee827419b671537936a1ca3e5a0d9b2b119b358e751ef2c5850e59fbd150cc76" pdf_physical_page_count: 141 pdf_physical_page_index_base: 0 range_start: 60 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73?start=60&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=60&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=50&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=70&limit=10" --- # 大数据时代生活,工作与思维的大变革 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=60 | PRINTED_PAGE=NOT_DETECTED 第二部分大数据时代的商业变革 04数据化：一切皆可“量化” 大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见，但是如今的信息技术变革的重点在“T”（技术）上，而不是在“I”（信息）上。现在，我们是时候把聚关灯打向“I”，开始关注信息本身了。 【大数据先锋】 日本先进工业技术研究所的坐姿研究与汽车防盗系统 谷歌的数字图书馆 多效地理定位与UPS的最佳行车路径 Foursquare，让用户在最喜爱的地方“check in” 用手机数据预测疾病传播和城市繁荣 英国对冲基金公司，用微博数据预测股市投资时机 睡眠活动数据库与睡眠模式预测 GPS感应器，判断环境因素对哮喘病的影响 莫里的导航图，大数据的最早实践之一 马修·方丹·莫里（Matthew Fontaine Maury）是一位很有前途的美国海军军官。1839年，在他前往双桅船“合奏号”（Consort）接受一个新任务时，他乘坐的马车突然滑出了车道，瞬间倾倒，把他抛到了空中。他重重地摔到了地上，大腿骨粉碎性骨折，膝盖也脱臼了。当地的医生帮他复位了膝盖关节，但大腿受伤过重，几天后还需要重新手术。直到33岁，他的伤才基本痊愈，但是受伤的腿却留下了残疾，变得有点儿跛，再也无法在海上工作。经过近三年的休养，美国海军把他安排进了办公室，并任命他为图表和仪器厂的负责人。 谁也想不到，这里竟成了他的福地。作为一位年轻的航海家，莫里曾经对船只在水上绕弯儿不走直线而感到十分不解。当他向船长们问及这个问题时，他们回答说，走熟悉的路线比冒险走一条不熟悉而且可能充满危险的路线要好得多。他们认为，海洋是一个不可预知的世界，人随时都可能被意想不到的风浪困住。 但是从他的航行经验来看，莫里知道这并不完全正确。他经历过各种各样的风暴。一次，他听到来自智利瓦尔帕莱索扩展港口的预警，亲眼目睹了当时刮成圆形的风就像钟表一样；但在下午晚些或日落的时候，大风突然结束，静下来变成一阵微风，仿佛有人关了风的开关一样。在另一次远航中，他穿过墨西哥蓝色海域的暖流，感觉就像在大西洋黑黢黢的水墙之间穿行，又好像在密西西比河静止不动的河面上挺进。 当莫里还是一个海军军官学校的学生时，他每次到达一个新的港口，总会向老船长学习经验知识，这些经验知识是代代相传下来的。他从这些老船长那里学到了潮汐、风和洋流的知识，这些都是在军队发的书籍和地图中无法学到的。相反，海军依赖于陈旧的图表，有的都使用了上百年，其中的大部分还有很重大的遗漏和离谱的错误。在他新上任为图表和仪器厂负责人时，他的目标就是解决这些问题。 ## PDF_PHYSICAL_PAGE_INDEX=61 | PRINTED_PAGE=NOT_DETECTED 他清点了库房里的气压计、指南针、六分仪和天文钟。他发现，库房里存放着许多航海书籍、地图和图表；还有塞满了旧日志的发霉木箱，这些都是以前的海军上尉写的航海日志。刚开始的时候，他觉得这些都是垃圾，但当他拍掉被海水浸泡过的书籍上的灰尘，凝视着里面的内容时，莫里突然变得非常激动。 这里有他所需要的信息，例如对特定日期、特定地点的风、水和天气情况的记录。大部分信息都非常有价值。莫里意识到，如果把它们整理到一起，将有可能呈现出一张全新的航海图。这些日志是无章可循的；页面边上尽是奇怪的打油诗和乱七八糟的信手涂鸦，与其说它们是对航海行程的记录，还不如说它们是船员在航海途中无聊的娱乐而已。尽管如此，仍然可以从中提取出有用的数据。莫里和他的20台“计算机”——那些进行数据处理的人，一起把这些破损的航海日志里记录的信息绘制成了表格，这是一项非常繁重的工作。 莫里整合了数据之后，把整个大西洋按经纬度划分成了五块，并按月份标出了温度、风速和风向，因为根据时间的不同这些数据也有所不同。整合之后，这些数据显示出了有价值的模式，也提供了更有效的航海路线。 有经验的海员有时依靠经验能安全航海，但有时也会陷入危险之中。在从纽约到里约热内卢这条繁忙的航线上，水手们往往倾向于与自然斗争而不是顺应自然。美国船长一直被劝导前往里约热内卢不能通过海峡，因为那样存在很大风险，所以船长会选择在东南方向的航线上航行，再穿过赤道驶向西南方向。而这样一来，航行的距离就相当于穿越大西洋两次。这是很荒谬的，其实直接沿着海峡向南航行就可以了。 为了提高精确度，莫里需要更多的信息，因此他创建了一个标准的表格来记录航海数据，并且要求美国所有的海军舰艇在海上使用，返航后再提交表格。商船也拼命地想得到他的图表，莫里就要求以他们的航海日志作为回报（病毒型社交网络[1]的早期版本）。他宣称：“每艘航行在公海上的船舶从此以后都可以被视为一个浮动的天文台，一个科学的殿堂。”为了改进和完善图表，他需要寻求更多的数据（正如谷歌利用网页排名来获得更多的数据）。莫里让船长定期向海里扔掷标有日期、位置、风向以及当时洋流情况的瓶子，然后再来寻找这些瓶子。许多船挂了一面特殊的旗帜，表明它参与了这个信息交流计划。这些旗帜就是出现在一些网站上的友情链接的前身。 通过分析这些数据，莫里知道了一些良好的天然航线，这些航线上的风向和洋流都非常利于航行。他所绘制的图表帮助商人们节省了一大笔钱，因为航海路程减少了三分之一左右。一个船长感激地说：“我在得到你的图表之前都是在盲目地航行，你的图表真的指引了我。”有一些顽固的人拒绝使用这个新制的图表，而当他们因为使用旧方法航行到半路出了事故或者花费的航行时间长很多的时候，他们反而帮助证明了莫里系统的实用性。 1855年，莫里的权威著作《关于海洋的物理地理学》（The Physical Geography of the Sea）出版，当时他已经绘制了120万数据点了。莫里写道，在这些图表的帮助下，年轻的海员们不用再亲自去探索和总结经验，而能够通过这些图表立即得到来自成千上万名经验丰富的航海家的指导。 他的工作为第一根跨大西洋电报电缆的铺设奠定了基础。同时，在公海上发生了一次灾难性的碰撞事件之后，他马上修改了他的航线分析系统，这个修改后的系统一直沿用至今。他的方法甚至应用到了天文学领域，1846年当海王星被发现的时候，莫里有了一个好点子，那就是把错把海王星当成一颗恒星时的数据都汇集起来，这样就可以画出海王星的运行轨迹了。 ## PDF_PHYSICAL_PAGE_INDEX=62 | PRINTED_PAGE=NOT_DETECTED 这个土生土长的弗吉尼亚人在美国历史上并不受关注，这也许是因为他在美国内战期间不再为海军效力，而是摇身一变成为了美国联邦政府在英国的间谍。但是多年前，当他前去到欧洲为他绘制的图表寻求国际支持的时候，四个国家授予了他爵士爵位，包括梵蒂冈在内的其他八个国家还颁给了他金牌。即使到今天，美国海军颁布的导航图上仍然有他的名字。 数据，从最不可能的地方提取出来 庞大的数据库有着小数据库所没有的价值，莫里中校是最早发现这一点的人之一。大数据的核心就是挖掘出庞大的数据库独有的价值。更重要的是，他深知只要相关信息能够提取和绘制出来，这些脏乱的航海日志就可以变成有用的数据。通过这样的方式，他重复利用了别人眼里完全没有意义的数据信息。从这个意义上讲，莫里就是数据化的先驱。就像奥伦·埃齐奥尼对Farecast所做的事情一样，用航空业过去的价格信息催生了一个大有赚头的新公司；也像谷歌的工程师所做的一样，通过过去的检索记录预测到了流感的爆发；而莫里则是发挥出了单纯用于记录航行位置的数据的其他用途。 虽然与今天的大数据技术大体类似，但是一想到他是通过人工一笔一画完成的图表绘制，就让人不禁感到惊叹。这说明在远在信息数字化之前，对数据的运用就已经开始了。如今我们经常把“数字化”和“数据化”这两个概念搞混，但是对这两个概念的区分实际上非常重要。我们来看一个更加现代的例子，帮助我们理解数据其实可以从看上去最不可能的东西中提取出来。 大数据先锋 日本先进工业技术研究所的坐姿研究与汽车防盗系统 日本先进工业技术研究所（Japan's Advanced Institute of Industrial Technology）的教授越水重臣（Shigeomi Koshimizu）所做的研究就是关于一个人的坐姿。很少有人会认为一个人的坐姿能表现什么信息，但是它真的可以。当一个人坐着的时候，他的身形、姿势和重量分布都可以量化和数据化。越水重臣和他的工程师团队通过在汽车座椅下部安装总共360个压力传感器以测量人对椅子施加压力的方式。把人体屁股特征转化成了数据，并且用从0\~256这个数值范围对其进行量化，这样就会产生独属于每个乘坐者的精确数据资料。 在这个实验中，这个系统能根据人体对座位的压力差异识别出乘坐者的身份，准确率高达98%。 这个研究并不愚蠢。这项技术可以作为汽车防盗系统安装在汽车上。有了这个系统之后，汽车就能识别出驾驶者是不是车主；如果不是，系统就会要求司机输入密码；如果司机无法准确输入密码，汽车就会自动熄火。把一个人的坐姿转化成数据后，这些数据就孕育出了一些切实可行的服务和一个前景光明的产业。比方说，通过汇集这些数据，我们可以利用事故发生之前的姿势变化情况，分析出坐姿和行驶安全之间的关系。这个系统同样可以在司机疲劳驾驶的时候发出警示或者自动刹车。同时，这个系统不但可以发现车辆被盗，而且可以通过收集到的数据识别出盗贼的身份。 越水重臣教授把一个从不被认为是数据、甚至不被认为和数据沾边的事物转化成了可以用数值来量化的数据模式。同样，莫里中校从看上去没什么用处的事物中提取出了信息，转化成了极其有用的数据。这样创新性的应用创造出了这些信息独特的价值。 ## PDF_PHYSICAL_PAGE_INDEX=63 | PRINTED_PAGE=NOT_DETECTED 数据化，不是数字化 “数据”（data）这个词在拉丁文里是“已知”的意思，也可以理解为“事实”。这是欧几里得的一部经典著作的标题，这本书用已知的或者可由已知推导的知识来解释几何学。如今，数据代表着对某件事物的描述，数据可以记录、分析和重组它。我们还没有合适的词用来形容莫里和越水重臣教授所做的这些转变，所以我们姑且称其为“数据化”吧——这是指一种把现象转变为可制表分析的量化形式的过程。 数据化和数字化大相径庭。数字化指的是把模拟数据转换成用0和1表示的二进制码，这样电脑就可以处理这些数据了。数字化并不是计算机改革的开始，最初的计算机革命是计算能力的飞跃。我们通过计算机计算过去需要耗费很长时间的项目，比方说导弹弹道表、人口普查结果和天气预报。直到后来才出现了模拟数据和数字化。所以1995年，当美国麻省理工学院媒体实验室的尼古拉斯·尼葛洛庞帝（Nicholas Negroponte）发表他的标志性著作《数字化生存》（Being Digital）的时候，他的主题就是“从原子到比特”。20世纪90年代，我们主要对文本进行数字化。随着过去的几十年里存储能力、处理能力和带宽的提高，我们也能对图像、视频和音乐等类似的内容执行这种转化了。 大数据洞察 今天，技术专家都默认大数据的发展和计算机的变革是同步的。但事实并不是这样的。毫无疑问，是现代信息系统让大数据成为了可能，但是大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见，但是如今信息技术变革的重点在“T”（技术）上，而不是在“I”（信息）上。现在，我们是时候把聚光灯打向“I”，开始关注信息本身了。 为了得到可量化的信息，我们要知道如何计量；为了数据化量化了的信息，我们要知道怎么记录计量的结果。这需要我们拥有正确的工具。计量和记录的需求也是数据化的前提，而我们在数字化时代来临的几个世纪前就已经奠定好了数据化的基础。 量化一切，数据化的核心 记录信息的能力是原始社会和先进社会的分界线之一。早期文明最古老的抽象工具就是基础的计算以及长度和重量的计量。公元前3000年，信息记录在印度河流域、埃及和美索不达米亚平原地区就有了很大的发展，而日常的计量方法也大有改善。美索不达米亚平原上书写的发展促使了一种记录生产和交易的精确方法的产生，这让早期文明能够计量并记载事实情况，并且为日后所用。计量和记录一起促成了数据的诞生，它们是数据化最早的根基。 计量和记录能够再现人类活动。比如通过记录建筑物的建筑方式和原材料，我们就能再建同样的建筑，或进行实验性的操作，比如通过改变一些方式保存其他部分而建造出新的建筑物，然后再记录这些新建筑物。交易情况一旦得到记录，我们就可以知道一块地丰收时稻谷的产量是多少、需要上缴多少政府税收。计量和记录为预测和计划奠定了基础，虽然这建立在假定明年的收成和今年一样的基础上。有了记录，交易双方才会知道他们赊账的情况，而如果没有这些凭证的支持，欠债的一方则完全可以不用还钱。 几百年来，计量从长度和重量不断扩展到了面积、体积和时间。公元前的最后一个千年，西方的计量方法已经基本准备就绪，但是还是有着比较严重的缺陷。早期文明的计量方法不太适合计算，哪怕是比较简单的计算。比如罗马数字的计算系统就不适合数字计算，因为它没有一个以10为底的记数制或者说是十进制，所以大数目的乘除就算是专家都不知道该怎么算，而 ## PDF_PHYSICAL_PAGE_INDEX=64 | PRINTED_PAGE=NOT_DETECTED 大约公元1世纪的时候，印度发明了一种自己的数字系统。它传播到了波斯，并在那里得到改善，而后传入阿拉伯国家，得到了极大的改进。这也就是今天使用的阿拉伯数字的前身。十字军东征给当地人民带来了彻头彻尾的灾难，但同时也把西欧文明带到了地中海东部，而其中最重要的引入就是阿拉伯数字。公元1000年，教皇西尔维斯特二世开始倡导使用阿拉伯数字。12世纪，介绍阿拉伯数字的书籍被翻译成拉丁文，传播到了整个欧洲地区。这也就开启了算术的腾飞。 早在阿拉伯数字传播到欧洲之前，计数板的使用就已经改善了算术。计数板就是在光滑的托盘上放上代币来表示数量，人们通过移动代币到某个区域进行加减。但是，这种计数板有着严重的缺陷，即过大和过小的计算无法同时进行。最主要的缺陷还在于，这些计数板上的数字变化很快，不小心的碰撞或者是摆错一位都会导致完全错误的结果。而且，即便计数板勉强可以进行计算，它也不适合用来记录。因为一旦需要将数字记录在计数板以外的地方，就必须把计数板上的数字转化成罗马数字，这可就费时费力了。[2] 算术赋予了数据新的意义，因为它现在不但可以被记录还可以被分析和再利用。阿拉伯数字从12世纪开始在欧洲出现，而直到16世纪晚期才被广泛采用。到16世纪的时候，数学家们大肆鼓吹他们使用阿拉伯数字计算能比使用计数板快6倍。但最终让阿拉伯数字广为采用的还是复式记账法[3]的出现，它也是数据化的一种工具。 公元前3000年，会计手稿就出现了。但是，记账法在接下来的几百年里发展缓慢，基本上一直保持在记录某地的某个特定交易的阶段。记账人和他的雇主最关心的就是判断某个账户或者自己所从事的行业是否赚钱，而这正是当时的记账手法无法轻易做到的事情。到了14世纪，随着意大利的会计们开始使用两个账本记录交易明细，这种尴尬的境地开始发生改变。这种记账法的优势在于，人们只需要将借贷相加，就可进行制表并得知每个账户的盈亏情况。如此，数据骤然发声了，虽然仅限于读出盈亏情况。 如今，复式记账法通常被看成是会计业和金融业不断发展的成果。事实上，在数据利用的推进过程中，它也是一个里程碑似的存在。它的出现实现了相关账户信息的“分门别类”记录。它建立在一系列记录数据的规则之上，也是最早的信息记录标准化的例子，使得会计们能够读懂彼此的账本。复式记账法可以使查询每个账户的盈亏情况变得简单容易。它会提供交易的记账线索，这样就更容易找到需要的数据。它的设计理念中包含了“纠错”的思想，这也是今天的技术人才们应该学习的。如果一个账本看着不对劲，我们可以查询另一个相对应的账本。 但是，和阿拉伯数字一样，复式记账法也没有立即取得成功。直到200年之后，一个数学家和一个商业家族才让它大受欢迎，他们也改变了数据化的历史。 这个数学家就是方济各会的修士路萨·帕西奥利（Luca Pacioli）。1494年，他出版了一本为普通读者和商人所写的数学教材。这本书大获成功，成为盛行一时的数学教科书。这是第一本全书都使用阿拉伯数字的书籍，因此也促进了阿拉伯数字在欧洲的传播。当然，这本书最大的贡献在于它对复式记账法的详尽论述。接下来的几十年间，这个论述复式记账法的部分被分别译成了6种语言，并且成为几个世纪的通用范本。 而所谓的一个商业家族，就是指美第齐家族——威尼斯商人和艺术资助人。16世纪，这个家族能成为欧洲最有影响力的银行家族，很大一部分要归功于他们使用的一种高级数据记录方法——复式记账法。帕西奥利的著作和美第齐家族的成功奠定了复式记账法成为标准数据记录法的基础，也奠定了阿拉伯数字在此之后不可取代的地位。 ## PDF_PHYSICAL_PAGE_INDEX=65 | PRINTED_PAGE=NOT_DETECTED 伴随着数据记录的发展，人类探索世界的想法一直在膨胀，我们渴望能更精准地记录时间、距离、地点、体积和重量，等等。到了19世纪，随着科学家们发明了新工具来测量和记录电流、气压、温度、声频之类的自然科学现象，科学已经离不开定量化了。那是一个一切事物都需要被测量、划分和记录的时代，人们理解自然的热情甚至高涨到通过分析测量人的颅骨来试图分析人的心智能力。好在，对颅相学这类伪科学的热情最终淡去了，但是人类对于量化一切的热情却始终没有减退。 新工具和开放的思维促进了测量事物和记录数据的繁荣，而现代数据化就诞生于这片沃土之中。数据化的基础已经奠定完好，只是在模拟时代这依然是费时费力的。有时候似乎需要无穷无尽的激情和耐心，或者说，起码也要有奉献一生的准备，比如16世纪的第谷·布拉赫（TychoBrahe）就夜夜细心观察天体运动。数据化在模拟时代成功的例子并不多，因为这需要很好的运气——一大串的偶然巧妙地结合在一起。中校莫里就很幸运，他因伤坐进了办公室，但是却在那里发现了珍贵的航海日志，可不是每个人都能这么幸运的。然而，数据化的实现有一点必不可少，那就是要从潜在的数据中挖掘出巨大的价值，然后揭示出新的深刻洞见。 计算机的出现带来了数字测量和存储设备，这样就大大提高了数据化的效率。计算机也使得通过数学分析挖掘出数据更大的价值变成了可能。简而言之，数字化带来了数据化，但是数字化无法取代数据化。数字化是把模拟数据变成计算机可读的数据，和数据化有本质上的不同。 当文字变成数据 数字化和数据化的差异是什么？回答这个问题很容易，我们来看一个两者同时存在并且起作用的领域就可以理解了，这个领域就是书籍。2004年，谷歌发布了一个野心勃勃的计划：它试图把所有版权条例允许的书本内容进行数字化，让世界上所有的人都能通过网络免费阅读这些书籍。为了完成这个伟大的计划，谷歌与全球最大和最著名的图书馆进行了合作，并且还发明了一个能自动翻页的扫描仪，这样对上百万书籍的扫描工作才切实可行且不至于太过昂贵。 刚开始，谷歌所做的是数字化文本，每一页都被扫描然后存入谷歌服务器的一个高分辨率数字图像文件中。书本上的内容变成了网络上的数字文本，所以任何地方的任何人都可以方便地进行查阅了。然而，这还是需要用户要么知道自己要找的内容在哪本书上，要么必须在浩瀚的内容中寻觅自己需要的片段。因为这些数字文本没有被数据化，所以它们不能通过搜索词被查找到，也不能被分析。谷歌所拥有的只是一些图像，这些图像只有依靠人的阅读才能转化为有用的信息。 虽然这是一个现代的、数字化的亚历山大图书馆，比历史上任何一个图书馆都要强大，但谷歌依然希望它能做得更多。谷歌知道，这些信息只有被数据化，它的巨大潜在价值才会被释放出来。因此谷歌使用了能识别数字图像的光学字符识别软件来识别文本的字、词、句和段落，如此一来，书页的数字化图像就转化成了数据化文本。 如今，不仅人类可以使用这些文本信息，计算机也可以处理和分析这些文本数据了。通过检索和查询，我们可以对它进行无穷无尽的文本分析；也可以揭示一个词以及词组第一次出现的时间及其成为流行词的时间，据此发现几百年来人类思维发展和思想传播的轨迹。这种分析支持好几种语言。 大数据先锋 谷歌的数字图书馆 ## PDF_PHYSICAL_PAGE_INDEX=66 | PRINTED_PAGE=NOT_DETECTED 你可以自己试一试。输入网址http：//books.google.com/ngrams，打开Google Ngram Viewer，它利用谷歌所拥有的所有图书作为数据资源，为你提供单词和短语历年使用次数的展示图表。眨眼之间，我们就能发现“causality”（因果关系）这个词在1900年之前的使用频率比“correlation”（相关关系）高；而在1900年之后，情况就与之前相反了。对于作者存在争议的书籍，我们自己也可以进行作品风格鉴定。数据化的实现让抄袭学术作品的行为越来越无处藏身，因此，很多欧洲政客（包括一名德国国防部长）的抄袭行为被曝光，最终不得不引咎辞职。 15世纪中叶，人类发明了印刷机，在这之后大约出版了1.3亿册图书。到2010年为止，也就是谷歌的数字化图书计划实行7年之后，大约有2000万图书被扫描成了数字图书，这几乎相当于人类所有书写文明的15%，这是多么惊人的数字！这诱发了一个新的学术方向——文化组学[4]。“文化组学”是一个计算机专业词汇，指的就是通过文本的定量分析来揭示人类行为和文化发展的趋势。 在一项研究中，哈佛大学的研究员们对几百万册书籍和超过5000亿个单词进行了深入研究，发现这些书中出现过的单词有一半以上在字典中是无法找到的。[5]他们写道，这些因为不够规范而没有录入正规词典中的词汇如此之多，是一个巨大的宝藏。通过系统分析人们如何提及纳粹德国时期的犹太画家马克·夏加尔（Marc Chagall）[6]，他们发现对于思想或是个人的审查和压制会留下“可量化的痕迹”。词语就像是藏于书中而非沉积岩中的化石；信奉“文化组学”的人可以像考古学家一般，挖掘它们所蕴藏的财富。当然，这可能会导致一些可能的偏差，比如图书馆的书籍是不是真实地反映了现实呢？还是反映的只是作者和图书管理员看到的世界？尽管如此，“文化组学”还是会为人们带来很多惊喜的发现。 当文字变成数据，它就大显神通了——人可以用之阅读，机器也可用之分析。但是作为典型的大数据公司，谷歌自然知道收集信息并进行数据化的价值，因为这些数据有非常多的潜在用途。所以，谷歌精明地利用这些数据化了的文本来改进它的机器翻译服务。就像第3章介绍过的一样，这个系统会自动扫描译本，然后找出译语的单词和词组在源语中的对应词和词组是什么。一旦得到答案，系统就可以把翻译看成是一个简单的数学问题，只需要用电脑找出两种语言之间最恰当的对等词和词组。 当然，谷歌并不是第一个梦想在计算机时代唤醒书写文明所蕴含的财富的公司，它也不是第一个吃螃蟹的人。1971年，一个志愿者提出倡议把公共领域的书籍放上网络，制成电子书，方便更多的人阅读，这就是古登堡计划（Project Gutenburg）。这是非常有意义的，但是这个计划没有把书籍数据化，也没有开发出书籍的其他功能；它关注的是阅读，而不是扩充书籍用途。同样地，出版社多年来也一直致力于电子书领域的开发，但是他们都只是把书籍内容作为核心价值，而没有把书籍看作一种数据并纳入自己的商业模式中。因此，他们没有做到把书籍的数据价值挖掘出来，也不允许别人这样做。他们没有看到数据化的需求，也意识不到书籍的数据化潜力。 现在很多公司都在电子书领域激烈地竞争着，亚马逊连同它的Kindle电子书就是这个领域的先驱者。同样在这里，亚马逊和谷歌的发展策略差异显而易见。 亚马逊拥有数据化的书籍，却不曾挖掘书籍数据化之后的附加价值。该公司创始人兼执行总裁贝索斯说服了上百家出版社在Kindle上发布它们的图书，所以Kindle的图书并不是数字图像，人们可以更改字体大小和用黑白以及彩色两种方式看书。这些书籍是数据化了的，不只是数字化。事实上，亚马逊把上百万的新书都数据化了，而谷歌却在费力地数据化很多旧版本的数据。然而，亚马逊把它的眼光聚焦于用来阅读的书籍内容上，而不是分析数据化文本上。当然，有可能它面对了来自传统出版社的压力，后者可能限制了书籍内容的使用方法，毕竟版权在人家手中。谷歌，作为一个喜欢跨界的叛逆的大数据公司，就没有这样的压力了，毕竟谷歌的资源来源于用户点击，而不关出版社什么事。至少现在，可以不失公允地说，亚马逊深谙数字化内容的意义，而谷歌触及了数据化内容的价值。 ## PDF_PHYSICAL_PAGE_INDEX=67 | PRINTED_PAGE=NOT_DETECTED 当方位变成数据 地球本身构成了世界上最基础的信息。但是，历史上它几乎从来没有被量化和数据化过。其实，人和事物的地理定位自然是信息的组成部分，不然我们如何能够吟唱“所谓伊人，在水一方”，但是，这些信息需要转变为数据。 大数据洞察 对地理位置的数据化需要满足一些前提条件。我们需要能精确地测量地球上的每一块地方；我们需要一套标准的标记体系；我们需要收集和记录数据的工具。简而言之，就是地理范围、标准、工具或者说量化、标准化、收集。只有具备了这些，我们才能把位置信息当成数据来存储和分析。 在西方，对位置信息的量化起源于希腊。公元前200年，埃拉托色尼发明了用格网线来划分区域的系统，类似于经纬度法。但是，如同很多古代的好想法一样，它也在历史长河中被慢慢遗忘了。大约1500年之后，也就是公元1400年，托勒密著成的《地理学》（Geographia）的复印本从君士坦丁堡传到了佛罗伦萨，那正是文艺复兴和贸易船点燃了对科学和古典知识的热情的时候。著作轰动一时，而书中提到的系统现在仍被用来解决航海导航的难题。从那以后，地图上标上了经纬度和比例尺。这套系统在1570年得到了佛兰德制图师墨卡托的改善，至此海员们就能利用它画出笔直的航线了。 虽然那时就出现了记录地理方位的方法，但却缺乏广为认可的标记标准，使得信息共享依然难以实现。人们急需一套标准的标记系统，就像互联网需要有域名才能正常运行一样。经纬度的标准化是一个漫长的过程。直到1884年，在美国华盛顿召开的国际子午线会议上，25个与会国家中的24个国家一致同意将英格兰格林尼治定为本初子午线和零度经线所穿过的地方（只有自命不凡的法国投了弃权票）。20世纪40年代，墨卡托方位法把世界划分成了60个区域，提高了地理定位的精确性。 这样一来，地理定位信息终于能在标准化的数值范式下进行标记、记录、测量、分析和共享了。但是因为在模拟数据时代，测量和记录地理位置信息耗费很大，人们很少执行。因此，发明能低成本测量地理方位的工具迫在眉睫。到20世纪70年代，进行地理位置定位还只能依靠地标、天文星座、航位推测法和尚显欠缺的无线电定位技术。 1978年见证了一个伟大的转变，当时构成全球定位系统（GPS）的24颗卫星第一次发射成功。无论是汽车上的导航系统还是智能手机，地面上的接收器都能通过计算接收信号所需时间的差异对它们进行三角定位，而这些信号就来自于距离我们20372千米的天空。20世纪80年代，这个系统第一次对民用开放，到90年代才完全投入使用，而同时为了实现商业运用，它的精确度在十年后得到了大幅提升。如今，全球定位系统的地理定位能精确到米，就这样，它实现了自古以来无数航海家、制图家和数学家的梦想。通过与技术手段的融合，全球定位系统能够快速、相对低价地进行地理定位，而且不需要任何专业知识。 定位时时刻刻都可能生成信息。只要愿意，埃拉托色尼或者墨卡托大可以每时每刻都对他们所处的位置进行定位，这谁也管不着。但就算这是可行的，也不现实。同样地，早期的接收器非常复杂和昂贵，适用于潜艇而不是出租车。幸好，改变发生了，这多亏了数字设备中廉价芯片的普及。GPS导航的价格由20世纪90年代的上百美元骤降到了今天的1美元以下。用GPS进行定位一般仅需要几秒钟的时间，它使用的是标准化坐标表示法；所以37°14′06″N 115°48′40″W说明这个人一定是位于内华达州偏远的51号区域（Area 51），一个美军超高安全、超级保密的军事基地——传说那里面关的都是外星人呢！ ## PDF_PHYSICAL_PAGE_INDEX=68 | PRINTED_PAGE=NOT_DETECTED 如今，GPS已经只是众多定位系统中的一种了。中国和欧洲也正在研发新的卫星定位系统来与之抗衡。这些新系统通过对电塔和无线路由器的信号强度进行三角测量来定位地理位置，从而弥补了GPS无法在室内和高楼之间进行定位的缺陷，这也是谷歌、苹果和微软需要自己研发地理定位系统来辅助GPS的原因。谷歌的街景车（Street View Cars）边拍照边收集无线路由器信息；iPhone本身就是一个“移动间谍”，一直在用户不知情的情况下收集位置和无线数据然后传回苹果公司；当然，谷歌的安卓手机和微软的手机操作系统也在收集这一类数据。 除了人以外，我们也可以跟踪事物的地理位置信息。随着汽车装上了无线传感器，地理位置信息的数据化深刻变革了保险的概念。这些数据提供了关于时间、地点和实际行驶路程的详细信息，使保险公司能更好地为车险定价。在英国，车主可以根据他的实际驾驶地点和时间购买汽车保险，而不是只能根据他的年龄、性别和履历来购买年险。这种保险定价法激励投保人产生更好的行为习惯。同时，这改变了保险的基础，从考虑一个群体的平均风险转变为个性化的分析。通过汽车定位每个人的地理方位也改变了一些固定资产投入的模式，比方说公路和其他基础设施可以让使用这些资源的司机和其他人分担一部分投入。当然，在实现对所有人和事以数据形式保持持续定位之前，这显然还无法实现，但这是我们的发展方向。 大数据先锋 多效地理定位与UPS的最佳行车路径 UPS快递多效地利用了地理定位数据。为了使总部能在车辆出现晚点的时候跟踪到车辆的位置和预防引擎故障，它的货车上装有传感器、无线适配器和GPS。同时，这些设备也方便了公司监督管理员工并优化行车线路。就像莫里的图表是基于过去的航海经验一样，UPS为货车定制的最佳行车路径一定程度上也是根据过去的行车经验总结而来的。 UPS的过程管理总监杰克·莱维斯（Jack Levis）认为这个分析项目效果显著。2011年，UPS的驾驶员们少跑了近4828万公里的路程，节省了300万加仑的燃料并且减少了3万公吨的二氧化碳排放量。系统也设计了尽量少左转的路线，因为左转要求货车在交叉路口穿过去，所以更容易出事故。而且，货车往往需要等待一会儿才能左转，也会更耗油，因此，减少左转使得行车的安全性和效率都得到了大幅提升。 莱维斯说，“预测给我们知识，而知识赋予我们智慧和洞见。”他很确信，有一天，这个系统一定能在用户意识到问题之前预测到并且解决问题。 数据化实时位置信息在人身上的运用最为显著。多年来，无线运营商通过收集和分析这些信息来提升移动互联网的服务水平。不过，这些数据越来越多地被用于其他事情上，第三方也开始利用这些数据来提供新的服务。比方说，一些智能手机的应用程序也不管它本身是否具有定位功能，就收集位置信息；还有一些应用程序就是为了获得用户的位置信息而存在的，比如Foursquare，它让用户在最喜爱的地方“checkin”，通过忠诚度计划、酒店推荐和“checkin”地点附近的其他推荐而获得好处。 毋庸置疑，收集用户地理位置数据的能力已经变得极其具有价值。从个人层面上来说，根据他所居住的地点和他要去的地方的预测数据，可以为他提供定制广告。而且，这些信息汇集起来可能会揭示事情的发展趋势。[7]比方说，公司可以利用大量的位置数据预测交通情况，你也许无法想象，这是通过高速公路上的手机而不是汽车的数量和移动速度预测出来的。AirSage每天通过处理来自上百万手机用户的150亿条位置信息，为超过100个美国城市提供实时交通信息。其他两个位置数据服务商Sense Networks和Skyhook使用位置数据揭示城市夜生活最繁荣的地方或者游行队伍聚集了多少人。 ## PDF_PHYSICAL_PAGE_INDEX=69 | PRINTED_PAGE=NOT_DETECTED 不过，位置数据在商业以外的用途或许才是最重要的。麻省理工学院媒体实验室人类动力学[8]实验室主任亚历山大·彭特兰（Alexander “Sandy”Pentland）和他的学生南森·伊格尔（NathanEagle）是所谓的“现实挖掘”研究的先驱。“现实挖掘”这里指的是通过处理大量来自手机的数据，发现和预测人类行为。在一项研究中，他们通过分析每个人去了哪里、见了谁，成功地区分出了感染了流感的人群，而且在感染者还完全不知道自己已经患病之前就做出了区分。如果出现非常严重的流感疫情，这可以挽救无数人的生命，因为我们会知道应该隔离谁，而且随时都知道去哪里找到他。但是这些数据一旦落入坏人之手，后果将不堪设想，这个问题我们将在后文中继续讨论。 伊格尔是无线数据科技公司Jana的创始人，他使用了来自100多个国家的超过200个无线运营商的手机数据——覆盖了拉丁美洲、非洲、欧洲的大约35亿人口。伊格尔的研究既关注家庭主妇平均每周去几次洗衣店这样的肥皂问题，也试图回答关于疾病如何传播和城市如何繁荣这样的重大问题。在一项研究中，他和同事结合分析了非洲预付费用户的位置信息和他们账户的资费金额，发现资费与收入成正比：越富有的人一次性预付费越多。然而，他们还得出了一个与直觉判断相反的结果，那就是贫民窟不仅仅是永恒不变的贫困中心，还是经济繁荣的跳板。关键就在于，我们要意识到这都是手机所提供的位置信息的间接利用，而和移动通信自身业务没有丝毫关系，但是这些数据最初又是为了更好地开展移动通信而生成的。总之，位置信息一被数据化，新的用途就犹如雨后春笋般涌现出来，而新价值也会随之不断催生。 当沟通变成数据 数据化的另一个前沿更加个人化，直接触摸到了我们的关系、经历和情感。数据化的构思是许多社交网络公司的脊梁。社交网络平台不仅给我们提供了寻找和维持朋友、同事关系的场所，也将我们日常生活的无形元素提取出来，再转化为可作新用途的数据。正因此，Facebook将关系数据化——社交关系在过去一直被视作信息而存在，但从未被正式界定为数据，直到Facebook“社交图谱”的出现。Twitter通过创新，让人们能轻易记录以及分享他们零散的想法（这些在以前，都会成为遗忘在时光中的碎片），从而使情绪数据化得以实现。LinkedIn将我们过去漫长的经历进行了数据化处理，就像莫里转化旧航海日志那样，把信息转化为对现在和将来的预测：我们可以认识谁，或者哪里存在一份心仪的工作。 然而，数据的使用还远未成熟。就Facebook的情况来说，因为知道太早泄露用户数据的许多新用途会让用户反应过激，所以它精明地选择了忍耐。另外，公司仍然在为其收集的数据数量和类型，包括隐私问题进行商业模式和政策上的调整。目前，它所面对的指责都集中在能采集到什么，而并非它实际用这些数据干了什么。 大数据的力量 Facebook2012年拥有大约10亿用户，他们通过上千亿的朋友关系网相互连接。这个巨大的社交网络覆盖了大约10%的全球总人口。[9]想想这所有的关系和活动在数据化之后都为一家公司所掌控，这些指责和质疑就不能算作空穴来风。 不可否认，其潜在用途非比寻常。一些消费者信贷领域的创业公司正考虑开发以Facebook社交图谱为依据的信用评分。FICO，信用评分系统，利用15个变量来预测单个借贷者是否会偿还一笔债务。但一家获得了高额风险投资的创业公司（很遗憾这里必须匿名）的一项内部研究显示，个人会偿还债务的可能性和其朋友会偿还债务的可能性呈正相关。正应了一句老话：物以类聚，人以群分。因此，Facebook也可以成为下一个FICO。显然，社交媒体上的大量数据也许能形成放飞想象的新型商务基础，其意义远不止表面上我们看到的照片分享、状态上传以及“喜欢”按钮。 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/4e51e488-5704-438f-b921-0a77b3af1e73.md?start=70&limit=10)