--- schema_version: "library-reader-v1" source_type: "original_book" title: "数据资本时代" author: null edition: null publisher: null year: null isbn: "9787508694313" library_document_id: "fa2211c7-60b5-424b-a841-a97c7196aed1" source_sha256: "8dfd76f8a229ff851688e437b0a26ddf2082deffc2cf8b80b8e93acb79b50020" pdf_physical_page_count: 278 pdf_physical_page_index_base: 0 range_start: 90 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/fa2211c7-60b5-424b-a841-a97c7196aed1?start=90&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/fa2211c7-60b5-424b-a841-a97c7196aed1.md?start=90&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/fa2211c7-60b5-424b-a841-a97c7196aed1.md?start=80&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/fa2211c7-60b5-424b-a841-a97c7196aed1.md?start=100&limit=10" --- # 数据资本时代 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=90 | PRINTED_PAGE=070 传统市场的关注点主要集中在价格上，买卖双方的个人偏好匹配是相对次要的。所有的个人偏好都被压缩成买方愿意支付的价格和卖方愿意接受的价格。人们觉得，只要买家和卖家能说出自己在价格上的偏好，而且市场上也有足够多的各类参与者，双方的交易就会自动发生。而事实上，在这样的交易中，一些有价值的个人偏好信息却丢失了。这也许是因为市场参与者没有把自己所有的个人偏好全部正确地体现在价格上，但其他人错误地从价格中推断别人的个人偏好也是一个原因。在这种情况下，一些看起来很相配的东西，实际上却并不匹配。我们可能认为这样的市场也是有效的，从中我们也能买到自己想要的东西，但事实并非如此。而且，这样的市场还可能让我们花的钱更多。 海量数据市场具有的优势之一，就是不会让价格焦点贬低个人偏好的地位。比起传统市场，海量数据市场还具有另一个优势:对一笔潜在的交易，一个人不但可以有多种偏好选择，而且可以用不同的方式来权衡不同的个人偏好。在个人偏好被压缩成价格时，两个同样重要的个人偏好可能会产生大相径庭的价格（一个价格非常高，一个价格非常低)，就像两个重要性特别不一样的个人偏好那样。在海量数据市场中，原始的个人偏好数据，包括相对权重，都是可以被利用的，但它需要经历一个足够聪明的匹配过程，才能将这些偏好的多重维度和相对权重考虑进来。手工操作这个过程对于大多数人来说都是一种挑战，也很少有人愿意花费完成这个过程所需要的时间和精力。如果关于个人偏好的数据中的那些细节，没有被用来识别最佳匹配，那么数据的丰富性将毫无意义。 数据资本时代 070 ## PDF_PHYSICAL_PAGE_INDEX=91 | PRINTED_PAGE=071 幸运的是，在过去的几十年里，数学家和经济学家一直都在努力开发一些算法，来评估各类偏好和它们的相对权重，并据此确定最佳匹配。尽管实际上这个过程是相当技术性的，但是从本质上讲，它与分析和匹配数据模式并没有太大不同。我们使用同样的技术来管理照片库（以方便自己寻找具有某些功能的图片)，或者让我们的智能手机“理解”语音指令，或者让智能手表上的健康应用程序检测出心脏的危险迹象。由于个人偏好数据只是形成某种特定模式的数据流，所以我们可以采用匹配算法来帮助自己确定最优交易伙伴。这绝不简单(确切地做出选择，将哪些东西进行比较，这些可不是琐碎的小事)，不过由于出现了更好的算法这在很大程度上归功于大量的训练用数据，任务变得相对容易了。在海量数据市场中，这些算法是交易伙伴找到彼此的方法。 这是对基于价格的交易决策所做出的重大改进，它使买卖双方能够充分利用现有的完整数据流，并帮助他们有效且高效地将数据转化为交易。由于市场具有分散性，市场参与者之间的信息交易是二元的:潜在的买家与潜在的卖家做沟通，并在交换了个人偏好的信息后，双方都了解了对方的情况，但他们并不了解整个市场。此外，市场参与者可能不想透露他们所有的个人偏好，这种行为以及类似行为，导致了我们前面提到的信息不对称。海量数据市场并没有消除这种不对称，但是，因为在海量数据市场上，更多的个人偏好信息通常会带来更好的匹配，所以人们对个人偏好信息秘而不宣的动力就减少了：因为改善匹配情况的目的，就是要识别出在交易中可以让我们获得最大价值的交易伙伴，也就是出价最高的交易伙伴。通过匹配信息而得到的交易，很多时候比我们在自已的信息多于对方时，通过谈判来达成的交易还要有利。在海量数据市场中，潜在交易伙伴之间的每一次信息互动，都能显示出更多的关于市场上商品的信息。即使最终双方没有交易，它也会对商品的最终交易结果产生正面影响。而且通过我们精心编排匹配过程，提高共同利益，优质匹配甚至可以为很多信息难以对称的领域提供帮助。当然，这个过程是不断迭代的，即使信息的流动是快速且廉价的，我们也依然还有努力提升的空间。这是因为，没有哪个人会知道每一个人的每一项偏好，交易决策虽然得到了很大改进，但它还并不完美。 第4章 市场的复兴 071 ## PDF_PHYSICAL_PAGE_INDEX=92 | PRINTED_PAGE=072 匹配算法带来企业竞争优势 有些市场参与者可能会达成这样的交易:交易双方都受益了，但让其他人蒙受了损失。在有些情况下，交易结果尽管对个人有益，但它可能“削减公共福利”—这是经济学家对毁掉而不是创造共同利益的概括描述。当然，随着海量数据市场的出现，个人偏好匹配获得了巨大改善，在这个过程中，偶尔无法达到最大的共同利益，也可以算作我们为此付出的一个小小的代价。然而，对某些特定类型的交易，特别是那些对非直接交易伙伴（经济学家称之为“外部性”）产生巨大影响的交易，我们可能需要借鉴现有市场的一些经验，这里所说的市场只包括不以价格运作的市场。这类市场通过巧妙的市场设计和一种不同类型的匹配算法来运转。举个例子，我们怎么做出哪个病人应该得到供体肾的选择？捐赠的肾脏并没有被出售（至少在法律上是这样的，尽管一些经济学家建议它应该被出售)，所以偏好不能被浓缩和简化成一个公开的价格。在这样的市场中，负责运营的信息中心通常会收集所有市场参与者的偏好信息，并使用先进的匹配算法连通合适的市场参与者来进行交易，其目标就是尽可能多地实现合适的匹配。这类匹配最近得到了显著的改善，这得益于算法的改进，以及人们对“不同匹配算法最适合的类型市场”的更好的理解。 数据资本时代 072 ## PDF_PHYSICAL_PAGE_INDEX=93 | PRINTED_PAGE=073 2012年，两名世界一流的匹配专家劳埃德·沙普利和阿尔文·罗思，因他们在这方面的研究成果获得了诺贝尔经济学奖。所以，对具有巨大外部性的交易，我们可以让海量数据市场采用类似的方法。丰富的数据流将有助于原本由负责运营的信息中心来完成的复杂的四配，但它要求市场上的每一个人都要预先就一套匹配原则达成一致，并且严格遵守这些原则(以免市场参与者失去对匹配系统的信任)。因此，这种借助集中权威来进行匹配的方法(尽管参与者保留最终是否加入市场的权利)，只适用于极少见的特定情形，在绝大多数市场中，我们将使用数据丰富、算法优化、不断迭代和分散的匹配流程。 基于海量数据的模式化匹配，正在以不同的形式在各种不同的环境中出现。声破天（Spotify）和AppleMusic这样的音乐平台所做的，就是将听众的个人喜好与每首歌曲进行匹配。网飞（Netflix）和亚马逊的产品推荐也是如此。①但这仅仅是个开始，并不是所有这些主流算法都尽可能地利用了个人偏好的所有维度。这就为创新型初创企业带来了令人兴奋的机遇。他们争相成为下一个在匹配领域取得重大突破的公司。例如，总部位于伦敦的初创公司Saberr提出，基于个性的算法可以帮助人们建立高效的工作团队。Saberr的联合创始人阿利斯泰尔·谢泼德利用有关人类个性的调查结果，创建了一种算法，它可以发现团队成员之间的兼容度。他在一项企业家的竞赛中测试了这种算法。彼此不认识的参赛者被分成很多小组分别进行调查。此次调查没有询问参与者的工作经历或教育情况。在第一次演示中，该算法预测了哪个团队将赢得比赛，以及其他八个团队当天将会到达什么位置。谢泼德在后来预测持续时间长达八个月的微软创新杯（MicrosofImagine Cup）的获胜者时，以及在预测风险投资基金Seedcamp的投资选择时，都曾运用了上述结果。德勤（Deloitte）、奢侈品企业集团路威酩轩（LVMH）、联合利华（Unilever）等公司，都是Saberr的客户。 第4章 市场的复兴 一①个性化推荐，即给不同消费者按照其喜好推荐最符合他们口味的个性化产品列表，是这本书所提到的四配算法最常见的应用场景。具体介绍和主流算法请参考文献L.Lü,et al.,RecommenderSystems,Phys.Rep.519(2012)1。—译者注 073 ## PDF_PHYSICAL_PAGE_INDEX=94 | PRINTED_PAGE=074 匹配将变成一种基本服务 更好的匹配不仅有利于市场参与者，而且有利于整个市场。所以我们倾向于将个人偏好匹配算法看作市场提供的服务改进。这也是苹果和亚马逊、亿贝和阿里巴巴、网飞和声破天正在追求的目标。当不同的企业在为争夺潜在客户竞争时，我们很容易发现，更好的算法可以转化为企业的竞争优势。市场越是远离价格关注，接近海量数据市场，它在更好的匹配算法方面的竞争就会越激烈。因此，我们可以预见，匹配服务将会成为区别市场的关键因素。然而，从长远来看，随着大多数市场开始采用更智能的匹配技术，匹配算法所带来的竞争优势可能会减少。到那时，匹配将变成一种基本服务，一种市场本应提供的基本功能。 数据资本时代 074 ## PDF_PHYSICAL_PAGE_INDEX=95 | PRINTED_PAGE=075 出于同样的原因，匹配服务不一定只由市场提供。我们可以设想一下，新型的中介机构会获得哪些机会。如果市场参与者愿意与其分享个人偏好以及相关信息，中介机构就可以为他们提供更好的匹配服务。我们可以把这些机构当作提供匹配服务的信息中心。如果发生这种情况，市场匹配的价值创造者就从市场的提供者变成最优匹配的供应商。这样，市场可能就会变成一种商品化的服务，大部分价值（当然也是大部分利润）被中介机构获得。①很多商家可能会发现，他们不仅是在相互竞争，而且要与一群专注于匹配服务的颠覆者竞争。在金融服务领域，我们看到了这种趋势。新的数据中介机构，例如PeepTrade提供了比现有交易平台更全面的信息和更好的匹配服务，市场参与者要获得他们针对性的见解，需要额外付费。看到这些新机构在帮助顾客买卖证券等方面所提供的服务后，我们发现传统的市场平台转向了低价商品。 机器学习系统登上舞台 但是，海量数据市场的运转还需要另一因素配合。海量数据流和改进的匹配能力就像一辆没有引擎的汽车，我们还需要一套高效合理的方法，来帮助市场参与者表达他们的个人偏好（并将其转化为数据)。 第4章 市场的复兴 。①译者在厦门参加一次校友会的时候，曾听一位做连锁酒店的校友抱怨：酒店相当部分的收入都必须分给携程、艺龙等信息平台，而如果他拒绝和这类信息中介平台合作，那么没有客人会找到他的酒店。—译者注 075 ## PDF_PHYSICAL_PAGE_INDEX=96 | PRINTED_PAGE=076 有了海量数据市场，市场参与者就可以了解其他人的个人偏好并使用匹配算法对他们进行配对。但是市场参与者如何表达他们的个人偏好及其权重？他们又如何相互交流?这是一个巨大的挑战，找到解决办法至关重要。没有人愿意在需要花费数小时回答调查问卷的市场上进行交易。幸运的是，近期的技术进步再次发挥作用，使我们更接近可行的解决方案。我们再考虑一下亚马逊的产品推荐引擎:乍一看，它是一个匹配系统，可以成功地将我们的个人偏好与可用的产品配对，并对我们应该订购的产品提出建议。但这只是整个故事的一半。亚马逊捕获了我们的个人偏好，但它并不是直接从我们这里获取了信息，而是从综合数据流中收集到我们与网站的每一个互动环节我们看的是什么产品，什么时候看的，看了多长时间，读了什么评论。亚马逊是在数据中寻找能够显示我们个人偏好的独特模式。通过识别这些模式，它可以从统计学角度推断出我们的需求，而不必直接询问我们。当然，亚马逊并不能完全确切地了解我们的个人偏好，它只是近似确切(所以有时它也会提出错误的建议)；并且它也不知道为什么我们喜欢一样东西而不喜欢另一样东西，它只是考虑了我们实际做过的事情。但这足以让亚马逊满足其个人偏好匹配算法的数据需求，并搜索到我们最可能购买的产品。 亚马逊的策略并非独一无二，它是大数据分析的代表做法，是一种数据分析方法，其目的是全面收集关于某特定现象的数据，并寻找嵌入数据中的复杂模式。亚马逊的策略集中于模式分析，与传统的统计数据不同，后者集中于将数据压缩到本质从计算平均值到回归分析都是如此。很多大数据分析方法的一个特点是，人们所寻找的模式并不是从一开始就被定义了的，它是经过分析大量的用于训练的数据后才出现的。举个例子，在亚马逊的推荐系统中，系统并不是一开始就知道哪个数据模式会显示某特定客户的个人偏好，只有通过筛选过去多年的与客户的互动和购买数据，系统才会发现最有可能的一个模式。①由于该系统通过筛选用于训练的数据来学习，所以它通常被描述为“人工智能”方法，尽管这个术语最初主要指的是那些安装了普遍规则的系统，而不是通过利用用于训练的数据来学习的系统。这些系统并不能以人类的理性来理解数据，它们所做的只是识别自已所“看到”的模式，就像Libratus在德州扑克上打败那些职业玩家时所做的那样。 数据资本时代 076 ## PDF_PHYSICAL_PAGE_INDEX=97 | PRINTED_PAGE=077 要使这样一个机器学习方法有效运行，机器学习系统必须满足两个条件。首先，机器学习系统一开始需要大量的数据来训练自己，并且要搞清楚嵌入数据里的内容。②例如，谷歌利用其Web（万维网)上的所有文本，来找出谷歌翻译工具的单词使用概率模式。其次，机器学习系统必须得到频繁的反馈，以便随着时间的推移，它能够根据具体的情况变化进行自我调整，以超越最初的训练成绩。新一代机器学习系统在数据中寻找的不仅是模式—它们以一种更微妙、更具有识别作用的方式来使用反馈数据。例如，它们可以像人类的记忆一样降低旧数据的价值。 第4章 市场的复兴 ①实际上，推荐系统并不需要真正了解消费者的偏好。例如消费者甲买了商品A，然后系统发现买了商品A的乙和丙都买了商品B，于是系统就把商品B推荐给甲。这种通过发现和目标消费者购买行为相似的消费者，并把他们购买过而目标消费者没有购买的商品推荐给目标消费者，或者推荐经常与目标消费者购物车里的商品一起被购买的商品，就是推荐系统中最主流的算法之一—协同过滤(collaborativefiltering)。在该算法中，系统不需要真正了解消费者的偏好或者为什么要买某商品。亚马逊自身就是协同过滤的先驱研究者，读者可以参考著名论文 G. Linden, B. Smith, J. York, Amazon. com recommendations:Item-to-itemcollaborative filtering, IEEE Internet Computing7(1)(2003)76.——译者注 2这个条件不必然，它取决于算法。例如谷歌的翻译算法更多的是发现模式而非挖掘内容。一译者注 077 ## PDF_PHYSICAL_PAGE_INDEX=98 | PRINTED_PAGE=078 自适应机器学习系统 反馈是这类系统的核心，特别是在系统被用来辅助关键决策时。特斯拉的首席执行官埃隆·马斯克在2016年年底的时候曾在推特上夸耀，所有斯特拉汽车都拥有来自其Autopilot（自动驾驶系统）的数亿英里里程记录。很可能，马斯克在推特上发文不是为了简单的数字炫耀。自动驾驶系统启动后，会生成并积累有价值的反馈数据，这些数据会发送给特斯拉，并被用来训练出自动驾驶系统的下一个更好的版本。毫不夸张地说，只要斯特拉车主使用自动驾驶系统，特斯拉汽车每走1英里，其自动驾驶系统就会得到改进。 与可以让特斯拉自动行驶在道路上一样的数据反馈过程，也可以被用来了解市场参与者不断改变的个人偏好。如果一个客户反复地从最高质量的供应商那里购买一种特定的墨盒，而不管它的价格高低，那么这就表现出这个买家对质量的个人偏好。该系统不需要知道为什么这个买家相对来说对价格不太敏感。当此客户开始购买最便宜的墨盒时，这表示他的偏好可能已经改变了，系统也会做出相应调整。 在目前最强大的自适应机器学习系统中，有一些系统最初是经过大量数据训练的，然后它才开始学习如何适应特定的个体。例如，内置在一些设备上的智能助手，比如亚马逊的Alexa和苹果的Siri，可以将语音转换为文本，因为系统已经进行了数十亿个音频数据点的分析训练，而且覆盖了各种各样的发音。一旦你开始使用这些助手，它们就会根据你的语言使用习惯和偏好反馈来调整自己。世界各地的创业公司都专注于用基于反馈数据的自适应机器学习算法，来识别客户的个人偏好。比如Infi，一个以色列开发的个人偏好助手软件，就对更多种类的智能手机和社交媒体上的数据进行了分析。 数据资本时代 078 ## PDF_PHYSICAL_PAGE_INDEX=99 | PRINTED_PAGE=079 基于数据的大规模训练以及随之而来的自适应反馈，与个性化学习相结合，激发了市场显著提高效率的潜能。自适应机器学习系统可以减少决策过程中认知偏差对我们的影响，同时它仍然允许我们做真实的自己。这是因为，自适应机器学习系统依赖大量的用于初始训练的数据，这些数据代表了非常广泛的个体反馈信息。尽管每个人都会有一些独特的认知偏差，但是来自不同个体的大量信息，可以降低那些极端偏差出现的可能性。虽然我们的个人偏好所隐含的认知限制不会消失，但是系统可能会帮助我们回归均值如果我们希望如此。 随着反馈机制的发展，自适应机器学习系统可能会做到从偏差较小的资源中识别出个人偏好数据，而且给予这部分数据更高的权重。毕竟，与人类不同，自适应机器学习系统能够学到的东西是没有边界的。最终可能会出现一种已经预先安装了一套强大、全面的个人偏好优先级的系统—一种聪明的、平稳的决策代理，当你不相信自己的判断时，它就会介入。但是，它也可以通过观察我们的决定，以及我们对系统的建议所做出的反应，来适应我们特定的个人偏好（还有我们的偏见)。随着时间的推移，这样一个系统可能会变得更像我们自己。该系统也可以通过分析我们对其决策建议的反馈，默默地认识到它到底需要与我们有多少相像：当它试图转变我们的偏见时，如果我们表示愿意接受，它就会注意到；反之亦然。简言之，这样的系统可以在两个领域为我们提供最优选择：让我们既能够了解并遵循自己的个人偏好和优先顺序，也可以让我们从成千上万名其他市场参与者那里学习到决策技能。 第4章 市场的复兴 079 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/fa2211c7-60b5-424b-a841-a97c7196aed1.md?start=100&limit=10)