API）带来的延时和隐私问题，以及庞大的训练数据和计算量与终端硬件限制的矛盾。
2.1.5 TPU
随着人工智能革新浪潮与技术进程的推进，AI芯片成了该领域下一阶段的竞争核心。2016年5月，谷歌发布了一款特别的机器学习专属芯片：张量处理器(TensorProcessingUnit,TPU)，2017年又推出了它的第二代产品（CloudTPU）。这是一种被认为比CPU，甚至GPU更加高效的机器学习专用芯片。2018年2月13日，谷歌云TPU机器学习加速器测试版向外部用户开放，价格大约为每云TPU每小时6.50美元。此举意味着这种曾支持了著名AI围棋程序AlphaGo的强大芯片将很快成为各家科技公司开展人工智能业务的强大资源，谷歌第二代TPU从内部项目迈向外部开发者、企业、专有领域走出了关键的一步。
据谷歌称，第一代TPU仅能够处理推理任务，而第二代TPU还可以用于机器学习模型的训练，这个机器学习过程中重要的部分完全可以在单块、强大的芯片上进行。2017年4月，谷歌曾通过一篇论文《In-Datacenter Performance Analysisof a Tensor Processing Unit》介绍了TPU研究的相关技术以及第二代芯片与其他类似硬件的性能比较结果。TPU可以帮助谷歌的各类机器学习应用进行快速预测，并使产品迅速对用户需求做出回应。谷歌称，TPU已运行在每一次搜索中：TPU支持谷歌图像搜索（Google Image Search）、谷歌照片（Google Photo）和谷歌云视觉API（Google Cloud Vision API）等产品的基础精确视觉模型，TPU也帮助了谷歌翻译质量的提升，而其强大的计算能力也在DeepMindAlphaGo的重要胜利中发挥了作用。谷歌正式涉入人工智能专属芯片领域，这是一个包含数十家创业公司，以及英特尔、高通和英伟达这样的传统硬件厂商的重要市场。随着时代的发展，谷歌、亚马逊和微软已不再是纯粹的互联网企业，它们都已或多或少地开始扮演起硬件制造者的角色。
谷歌其实也并不是TPU的唯一使用者，美国出行服务公司Lyft在2017年底开始参与了谷歌新型芯片的测试。Lyft希望通过使用TPU加速自动驾驶汽车系统的开发速度：TPU在计算机视觉模型的训练速度上具有优势，可将原先耗时数日的任务缩短至几小时内完成。
谷歌在其云平台上宣布了TPU服务开放的消息（见图2-4）。通过谷歌云平台（GCP）提供的CloudTPUbeta版自2018年2月12 日起可用，其旨在帮助机器学习专家更快地训练和运行ML模型。CloudTPU是谷歌设计的一种硬件加速器，旨在优化以加速和扩大使用TensorFlow编程的机器学习工作负载。Cloud TPU使用4个定制化 ASIC 构建，单个CloudTPU的计算能力达到180万亿次浮点运算，具备64GB的高带宽内存。这些板卡可单独使用，也可以通过超快的专门网络联合使用，以构建数千万亿次级别的机器学习超级计算机(TPUpod）。CloudTPU的目的是为TensorFlow工作负载提供差异化的性能，使ML工程师和研究者实现更快迭代。无须花费数日或数周等待商用级机器学习模型，就可以在一系列CloudTPU上训练同样模型的不同变体，而且第二天就可以将准确率最高的训练模型部署到生产过程。使用单个Cloud TPU并遵循教程（https://cloud.google.com/tpu/docs/tutorials/resnet），就可以在不到一天的时间内训练ResNet-50，使其在ImageNet基准挑战上达到期望的准确率。
第2章 AI产业
29