人工智能时代：破解人机共存密码（套装共10册）

近年来，智能手机的普及，使得网络信息迅速增长而且更加碎片化，微信消息、微博、商品评论等短文本大量出现，并逐渐成为网络文本信息的主流形式。短文本的稀疏性、不标准化、数据规模大且标注少等特征，给传统的基于长文本的数据处理带来了新的挑战。而词嵌入具有两个作用：维度缩减和语义扩充。词嵌入的维度缩减消解了短文本不标准、规模大的难题。词嵌入将语义相似的短文本投影到向量空间中的同一区域，这样产生的语义特征又可以作为补充信息，解决短文本语义稀疏、难以理解的局限性。词嵌入的应用提高了短文本分类的精度，为人工智能理解现在大量泛滥的短文本信息提供了帮助。

文本分类

文本分类是对文本内容的识别。通过我们上文提到的文本特征化方法，再结合机器学习方法，就可以实现对文本数据的分门别类，例如每天发生的新闻铺天盖地，但是利用文本分类我们就能迅速地将其归为娱乐类、体育类、经济类新闻等。我们每天所接收到的信息也十分泛滥，比如每天都会收到来自四面八方的邮件，里面不乏垃圾邮件。这时，文本分类就派上了用场，一般的电子邮箱都会有文本分类的功能，将收到的邮件分为正常邮件和疑似垃圾邮件两类。

作为一种特殊的文本分类，情感分析是对带有感情色彩的主观性文本进行处理和分析的过程。情感分析可对不同文本进行处理，其中包括基于新闻评论的情感分析和基于产品评论的情感分析。新闻评论是指在关于新闻热点事件的评论中，发表观点的人包括社会中各个层次的人，不同层次的人表达的情感态度或观点不同，这能够反映出很多信息。对于新闻评论的情感分析，可以掌握大众对于新闻事件的思想动向，有利于政府和新闻媒体机构舆情监控工作的展开。

产品评论表达了消费者对一件商品各种功能的满意程度，是一种重要的市场反馈信息。通过基于产品评论的情感分析可以了解某一产品在用户心目中的口碑和用户的关注点等，为产品销售提供科学、可供决策的信息，而且有利于指导商家改善商品，提高用户体验。

例如现在要对某手机的产品评论做出情感分析。这个分析是从用户评论数据出发的，但是这些产品评论都是用户自由发表的，不能保证每一条都有意义，所以我们要对数据进行清洗，以此来保证获取的商品信息的质量。数据清洗后我们就要对评价对象和评价观点进行分析。对于手机来说，评价对象就是价格、系统、处理器、内存这些内容，当然也包括快递、售后等其他服务。评价观点一般分为积极、消极、中性这三类。例如“人脸识别和指纹识别速度非常快”可以标记为积极评论，“不好用，手机烫得要命”可以标记为消极评论，“也没有说的那么好，没啥特别的，也就还行吧”就可以归入中性评论。然后统计每一个评价对象所对应的三类评价观点各有多少，然后我们就可以对这些评论进行情感分析。比如该手机总评论数最多的对象是“外观”，这说明用户在购买手机时十分注意手机的外观，商家在开发新的手机产品时可以重点提高手机的美观度。假如用户对该手机外观的评论有80%是积极的，那说明用户对于该手机的外观比较满意，这是该手机的一个优势，商家在开展营销时可以以此为重点。

开发新产品时，也可以借鉴该手机外观上的一些特质，保持用户对手机品牌的满意度，相反，如果对该手机外观的评论有80%是消极的，就说明用户对该手机的外观不满意，这是该手机的劣势，那商家在开展营销时就要学会避重就轻，重点突出该手机的其他优势，开发新产品时还要及时改进。同理，对于其他评价对象的情感分析也是这样进行的，这样就可以全面地掌握这款手机的市场反馈信息，为商家不论是开展营销活动，提升用户体验，还是后续研发新产品提供参考。

文本情感分析还可以用在哪里呢？文本情感分析还可以预测股票价格的变动。这其中的奥秘是，人工智能可以从社交媒体中获取大众情绪变化的特征，利用这些特征，可以通过情感分析大致预测出大众情绪的变化。而事实上，公众情绪的变化又能在一定程度上影响股票价格的变动。就是说，文本情感分析可以根据大众情绪的波动预测股票价格的变动。

论文《推特情绪预测股票市场》（Twitter Mood Predicts theStock Market），讲的就是公众情绪对股票价格变动的影响，由于其思维的先进性和研究的科学性，被大量引用。推特在美国是类似于微博这样的平台，用户可以在这个平台上记录分享自己每天的故事和情绪。这篇论文的主要研究思路是利用推特用户发表的内容数据，通过两种情绪分析方法OpinionFinder和GPOMS（谷歌情绪状态简况），来抓取和分析公众的情绪变化。其中OpinionFinder是将人的情绪区分为正面和负面两类，而GPOMS将情绪分成六类，分别是平静（calm），警觉（alert），有信心（sure），活力十足（vital），友好（kind）和高兴（happy）。通过分析，文章发现公众情绪与股票价格指数有一定相关性。因此，该文作者大胆假设：公众情绪的某些指标可以有效地预测股价的变动。他们对此展开了一系列的研究，在一个复杂神经网络模型的基础上，将公众情绪的时间序列输入到该模型中，得到的预测效果比较理想，其预测股票价格指数收盘价涨跌方向的准确率高达86.7%。

随着人工智能的普及，基于文本分析的应用涉及各个领域，而文本数据在日常生活中又随处可见，比如你随手拿起的一本书，你无意中瞥到的广告词，你无聊时刷到的朋友圈，都可以是人工智能理解的文本数据。机会都是留给会思考有准备的有心人的，所以你在平时也可以想一想，你所了解和接触到的这些文本数据，能不能用起来，可以产生怎样的实际价值，说不定就可以成为人工智能的下一个风口。

实体识别

随着互联网的高速发展，人们获得信息的渠道越来越多，获取信息的方式日益简单。但是，随之而来的是信息的数量呈指数级增加，而且混乱无序，真假难辨。要想仅仅使用人力从海量的文本数据中获取所需要的信息，也变得难如登天。人工智能的出现解决了这一难题。人工智能通过一系列自然语言处理模型能够提取出复杂文本数据中的关键信息，而自然语言理解的关键步骤就是实体识别。

实 体 识 别 又 叫 命 名 实 体 识 别 （ Named Entity Recognition ，NER），是指识别文本中具有特定意义的实体，比如说人名、地名、产品名、属性名、日期、数字等。实体识别要做的就是从非结构化的输入文本中抽取出上述实体，并且可以按照业务需求识别出更多类别的实体。在应用过程中，实体识别的确切含义需要根据实际情况来确定，比如，在面向生物的实体信息抽取时，还包括细胞、蛋白质、基因、核糖核酸、脱氧核糖核酸等特殊生物实体。

实体识别在信息提取、问答系统、句法分析、机器翻译等领域应用广泛，在人工智能自然语言处理模型的应用过程中具有重要意义。例如在机器翻译中，有些人的名字在翻译成英文时把名放在前、姓放在后，而有些人的名字就直接用中文的汉语拼音来表示。实体识别可以准确识别出文本中是哪一种形式，大大提高了机器翻译的准确性。作为信息检索系统的一种高级形式，问答系统能用恰当的自然语言回答用户用自然语言提出的问题。当用户提出问题时，问答系统能够对可能的答案进行实体识别和深度分析，然后将最适合的答案呈现给用户，为用户营造一个信息丰富、答案准确、反应迅速的信息获取环境。

由于数量、时间、日期、货币等实体具有统一形式，我们通常可以对它们用模式匹配的方式取得较好的识别效果。但相比之下，人名、地名、机构名较复杂，识别难度很大，普遍存在嵌套和缩写的识别问题。例如“清华大学第一附属医院”这个组织机构名称里面还嵌套着同样可以作为组织机构名称的“清华大学”，再比如，有时人们会把“河北大学”缩写为“河大”，但是“河南大学”的缩写也是“河大”，这就对进行实体识别造成了很大的困难。而且新词汇也在不断涌现。例如随着互联网的发展，一些没有任何规则的网名昵称也为实体识别的进行带来了新的挑战。因此，近年来的实体识别主要以人名、地名、机构名这几种比较复杂的实体识别为主要的突破方向，由原来的单独针对人名、地名等进行识别的方式，发展到用更优化的方法同时进行各类实体的识别。近几年来，实体识别的效果有了显著提高，在各个领域得到普遍应用。

比如说，实体识别在旅游行业有着很大的发挥空间。实体识别在旅游行业的主要应用是对旅游景点的识别。例如，游客可以通过在旅游网站上检索来了解景点的信息，这个过程就涉及了对旅游景点的实体识别。目前对于旅游景点识别的困难主要有：旅游景点数量众多，建立旅游词库工作量大。据不完全统计，仅北京这一个城市的旅游景点就有6 000多个，幅员辽阔、地大物博的整个中国大地，旅游景点更是不计其数。旅游景点名称没有固定的格式和规律可循，给实体识别造成了困难，比如北京地安门大街附近的一个湖叫作“后海”，天坛公园里有一个小的景点叫作“皇穹宇”；景点名称经常采用缩写形式，也提高了实体识别的难度，比如“八达岭长城”“居庸关长城”都简称为“长城”。但现在的实体识别模型已经可以很好地解决这些难题了。还是以北京为例，我们首先需要构建一个北京旅游景点词库，词库建立之后经过一系列去重操作和人工审核，得到有效的景点词表。在此之后，通过该词表对旅游文本进行标注，并构建模型训练集和预测集。通过对训练集的反复学习训练，最终，对旅游景点实体识别的预测准确率可以做到很高，有人通过上述方法得出了95%的准确率。这样，游客想要了解各种旅游景点时就不会出现检索不到的情况了。

除此之外，实体识别在新闻传播领域的应用也很有前景。由于新闻报道会涉及体育、财经、科技、时尚、教育等社会生活的各个领域，所以对涉及领域的常见专有名词都需要有一定的识别精度。此外，新闻报道都具有时效性，所以也需要关注与热门资讯和突发事件相关联的实体，例如2019年5月，华为注册了“华为鸿蒙”商标，以及之前大火的电视剧《陈情令》等，这些新产生的、具有很大热度的实体都是需要识别的。现在的实体识别能够自动识别那些未被收录到词表中的词，并且从中发现新词，不仅满足了新闻传播领域精准识别实体的需要，还能帮助媒体行业进行更精准的内容挖掘、对内容进行更有效的监督管理，推动了新闻朝智能化方向发展。

我们已经讲过了人工智能对于图片、视频和文本这些非结构化数据的识别。在人工智能出现之前，这些数据就似汪洋大海一般一直存在，但人工智能的出现，才真正赋予了它们价值。AI思维就是这样，在已有数据基础上挖掘其未竟的巨大的隐含价值，给予我们做出更好判断和决策的能力。人工智能对于非结构化数据的理解是AI思维的一个重要组成部分，我们只有充分理解了这些数据处理的方法论，才能更好地利用人工智能支持决策。

AI理解商业数据

前面我们讲到了人工智能可以理解图像，具有人脸检测、商品检测等功能；可以理解视频，具有动作识别、社交分析等功能；可以理解语音和自然语言，具有语音识别、文本分类、实体识别等功能。这些都是从具体的某一类型的数据出发的，人工智能对这些非结构化数据的理解是为了更好地为我们的实践提供帮助。下面我们要具体讲解人工智能是如何通过其理解和学习能力直接为商业实践赋能的。

商业实践的基础是商业数据。所谓商业数据，是指在一个行业内各个环节中涉及数据的集合，包括企业内部数据、分销渠道数据、消费市场数据等。通过人工智能对商业数据的理解和分析，我们就可以知道在这个行业中，用户的需求是什么，哪些需求已经被满足了，哪些需求还没有被满足，整个行业还有什么“处女地”没有被挖掘，行业的创新点和决胜点在哪里，以及自己公司的优势、劣势和独特点在哪里。只有这样，我们才能准确地进行市场细分，确定目标用户，制定更加个性化、精准化的营销方案；也只有这样，我们才能准确地进行产品定位，提供让客户更加满意的服务。

人工智能可以通过SIFT特征等对图像进行理解，可以通过光流模型等对视频进行理解，可以通过N-gram模型等对语言进行理解，那么人工智能是如何理解复杂的商业数据的呢？

你被标签化了吗？

我们在注册一个新软件时，软件会让我们勾选一些标签来更好地了解我们的喜好。在许多平台发文章前，平台也会让我们为文章勾选标签，因为这样可以帮助我们更好地定位内容与读者。我们每天都在被贴标签，我们也在给别人贴标签。当我们谈论起80后时，我们总认为他们是“叛逆”的一代；当我们谈论起90后时，我们觉得他们是“问题青年”；当我们谈论起00后时，我们说他们是“新新人类”。不管是哪个年代的人，我们都对他们有相对应的标签，甚至连“80后”“90后”都成了一种标签。这些标签都是人们根据他们的性格特点、人生经历做出的总结概括，在一定程度上反映了真实现象。有了这些标签，我们就可以更好地理解对方，甚至被贴上相同标签的人还能迅速拉近距离。现在很多人也通过贴标签的方式被大众熟知，比如网络上有的人因为和一些知名演员长得相像，就给自己贴上诸如“小林志玲”“小吴彦祖”等标签，迅速提升了知名度；还曾有某歌手凭借“四千年一遇的美女”的标签登上热搜成为“国民女神”。人工智能也是通过为数据打标签的方式来理解商业数据的。

标签是一种用来描述业务实体特征的数据形式。比如在描述一个用户时，我们会使用性别、年龄、地区、兴趣爱好、产品偏好等标签来反映该用户的特征。商业数据标签的生成过程以发生在时间和空间中的行为为媒介，将物的特征传递到人，人的特征传递到物。在这个过程中，物包括实物、商品、文本、图像等。标签传递过程形成了一个由人和物为节点，以行为为边的关系网。如图4-20所示，在很多实际商业场景下，需要把人打上标签，比如他经常和一些讲诚信的人合作，这样的社交行为多了，他也会被打上“诚信”标签；若他和一些经常毁约的人交往比较多，那和他合作就有一定的风险；他平时购买的运动用品比较多，他就会被贴上“运动”的标签；又或者是他平常喜欢收听科技类音频课的话，他就会被打上“科技”的标签。除了对人打标签外，对物也需要打标签。物包括自然语言的语料，比如说一部英文原声大片，其台词转录成文本以后，也可以打上标签。

数据标签化

为数量巨大的商业数据打标签是一个庞大的工程。它有什么必要性呢？首先，根据上述分析我们知道，数据标签化，无论在理解人的属性行为还是理解对应内容的属性上，都是一套非常重要的方法论。其次，在信息爆炸的现在，商业数据的体量也是巨大的，而且它们结构十分复杂，分布在许多不同的数据库中。在实际场景中要应用这些数据时，我们发现很难把这些规模巨大结构复杂的数据直接分析或者用于模型训练。但是在实践中发现，通过分类，可以将杂乱无章的数据条理化，将数据标签化其实就是一种分类。标签化的数据结构更加简单，而且非常容易管理。标签本身就是在分析系统中产生的，所以具有较好的兼容性，可以直接作为训练数据导入训练模型，减少建模的数据准备时间，也极大地提高了数据使用效率。所以，不管是从人工智能理解数据的难易程度还是数据使用效率角度，数据标签化都有优越性。

标签通常是人为规定的高度精练的特征标识，如年龄、性别、兴趣爱好、产品偏好等，将这些标签集合在一起就能抽象出一个用户的信息全貌。首先我们要知道，标签体系基本上都是层级化的。每个标签体系都分为几大类，每个大类底下分别有几个小类，逐层分布。在标签体系中，最高层级的那一级标签称为“一级标签”，以此类推，底下是“二级标签”“三级标签”等。底层标签一般能捕捉到更细的特点信息，所以经常用于精准的广告投放和营销活动，比如说某个用户被贴了一个三级标签“购物方式—支付方式—信用卡”，在这个标签中，信用卡是底层标签，说明了该用户在购物时经常使用信用卡支付，信用卡对他的生活很重要，所以此时信用卡相关的广告投放对他就很有吸引力，又或者我们可以对应他信用卡支付的习惯向他推荐各种分期付款或者刷信用卡支付的商品。这样就满足了该用户的需要，还迎合了他的习惯，对提高广告投放效果和营销的精准度有很大作用。一般而言，每一个标签都只有一个含义，这样就不会发生同一层级的标签重复或者冲突的现象了。另外，信息粒度是指信息的相对大小和粗糙程度，不同层级的标签对应的信息粒度不同。一般来说，底层标签的信息粒度会相对更细。下面是一些常见类别下的细粒度标签。

表4-3 常见类别下的细粒度标签