数字化生存 20周年纪念版

我们没有采用手指输入的真正原因是，我们还没有研究出能够感应手指附近范围的高明技术，也就是说，没法做到当手指离屏幕很近，但是还没有碰触屏幕的时候，计算机就能感应出来。而如果显示器只能感应到手指“碰触”和“没有碰触”这两种状态，则这样的应用往最好的地方说也是笨拙不堪的。然而，假如当你的手指伸到了显示器前1/4英寸以内时，光标就会显示在屏幕上的话，触摸屏幕的输入方式就会像按鼠标器一样方便了。

手指还有一个特性：指纹就好像防滑轮胎上的纹路一样，会在手指皮肤碰触到屏幕玻璃时，产生摩擦。这种附着性能让你施力于屏幕表面并使力量透过表面作用于屏幕之内。

20年前，我们在麻省理工学院制造了一个试验手指触控的装置，我们发现当人的手指用力压在屏幕上时，不需移动手指，就会产生足够的摩擦力，让画面上的物体动起来，可以推、拉，甚至让它转起来。有一次在演示中，示范者用两三根手指触摸屏幕，然后借着手指对显示器的黏着力，转动屏幕上出现的把手。把手不仅真的旋转了，而且还发出喀啦喀啦的声音，使效果显得更加逼真。这种技术可以应用的范围很广，从儿童电子游戏直到简化的飞机驾驶舱都可以使用。

界面的反击

遥控装置通常都用在像核反应堆这样的有毒环境中。反应堆内安装了机械手臂(robotarm)，而人类在外面对它进行控制。通常，主设备和从属的机械手远远隔开，而操作员则从电视屏幕上观察反应堆内的景象。操作员在主设备端以大拇指和食指来操纵末端的机械手伸缩十指，抓起物体，并由此感应到铀的重量和弹性（如果有的话)。

Part 2|个性化界面

129

美国北卡罗来纳大学(University ofNorth Carolina)的弗雷德·布鲁克斯（FredBrooks）和他的同事们想到一个绝妙的主意：想象那个机械手根本不存在，而把通往机械手的电线连接到一台计算机上，让计算机来模拟整个过程，你在屏幕上看到的物体不是真的，而是计算机根据其重量和弹性的特点而造出并显示给你看的模型。

在我们眼中，计算机的触觉感应性差不多完全是指人去触摸计算机，而不是计算机去触摸人。

我曾经参与制造一部原型机。这部机器有个强力反馈（forcefeedback）的设计，你想怎么移动这部机器都可以，但是机器也会出现反推的力量，跟你对抗。在计算机控制下，机器能从自由移动的状态，变得好像被推着在蜜糖中移动一样，简直寸步难行。在其中的一次试验中，我们使用了马萨诸塞州（Massachusetts）的地图和人口统计数据库。用户只要移动强力反馈的数字转换器（digitizer）从地图上穿过，就能规划出新公路路线。然而，推动数字转换器需要的力量会随着需要搬迁的家庭户数而改变。因此，你可以闭上眼睛，然后顺着阻力最小的那条路，实实在在地画出最容易建设的新公路路线。

当IBM在它的“思考本”(ThinkPad)笔记本型计算机键盘的中央，设计了小小的红色操纵杆（joystick，鼠标的替代产品）时，它实际上向这种强力反馈的应用张开了双臂(因为操纵杆是靠感应力量而不是靠移动位置来操作的)。日后，当各种应用的发展日新月异，用户也习惯于感受“思考本”操纵杆的反推力量时，高级触控式的计算机信息处理将会很快风行市场。

130

|being digital|数字化生存

另外一个例子是由苹果计算机的阿伦·凯伊(AlanKay，通常被认为是个人计算机之父）向人们展示的。他手下的一个研究人员设计了一种“顽固的”鼠标，利用可变的磁场控制鼠标移动的难易程度。当磁力很大时，鼠标会完全停下来，动弹不得，光标无法越雷池一步。

你的眼睛会说话

设想一下一面读着计算机屏幕上的文字，一面问：那是什么意思？她是谁？我怎么到了那个地方？问题中的“那”、“她”和“那个地方”是由当时你眼睛注视的方向决定的。这些问题牵涉你的眼睛和文件的接触点。我们通常都不把眼睛当作输出装置，但我们却总是以眼睛来输出信息。

人类能够觉察彼此目光的方向，并且进行视线的交流，这种本领当真神奇不已。想象一下，站在20英尺以外的一个人有时候直视你的眼睛，有时目光却从你肩膀的上方穿过，注视着远方。即使此人目光注视的方向和你的视线只有不到1°的差距，你也能立刻感觉到其中的差异。这究竟是怎么回事呢？

Part2|个性化界面

131

你当然不是用三角学的方法算出来的，换句话说，并不是计算另外一个人的视线是否与你的视线相交。不，其中另有蹊跷。你的眼睛和那人的眼睛之间一定传递了一个信息，但我们还不清楚个中奥妙。

跟踪眼球的运动

总之，我们总是用眼睛来指示物体，当有人问你，某某人到哪里去了，你的回答可能只是注视着敞开的房门。当你说明要带什么东西时，可能会盯着一个旅行箱，而不是另一个。这种视线的指示，加上头部的动作，可以是非常有力的沟通渠道。

今天，已经有一些技术可以跟踪眼球的运动。我最早看到的一种技术，是戴在头上的眼球跟踪器（eye tracker)。当你读文件内容时，跟踪器会把屏幕上的文字从英文变成法文。当你的中心视线不断地从一个字移到另一个字的时候，你看到的每个字都是法文，于是整个屏幕看起来是100%的法文。但是，眼球没有被跟踪的旁观者看到的屏幕，却大约99%都是英文（也就是说，除了戴着跟踪器的那个人正在看的字是法文外，其他的字都是英文)。

更现代的眼球跟踪系统则采用远距离电视摄像头，因此用户不需要戴任何装置。能显像的电信会议配置尤其适合进行眼球跟踪，因为用户往往隔着相对固定的距离坐在屏幕前面，而且你通常都会注视着和你进行远端通信的那个人的眼睛(计算机会知道眼睛的位置)。

计算机越清楚你的位置、姿势和眼睛的特点，就越容易掌握你注视的方向。具有讽刺意味的是，这种利用眼睛作为输入装置的异乎寻常的媒介可能最先应用在一个平淡无奇的结构中，即坐在计算机桌前的人身上。

132

being digital | 数字化生存

当然，如果你把眼睛（看）和另外一种输入工具一一嘴巴（说）同时使用，效果会更好。

Part 2 | 个性化界面

133

1. 咱们能不能聊聊？

弦外之音

对于大多数人而言，打字并不是一种理想的界面。假如我们能和计算机说话，那么即使是最坚定的反机器分子，大概也会以更大的热情来使用计算机。但是，目前的计算机仍然又聋又哑。这究竟是为什么呢？

计算机在语音识别（speechrecognition）方面一直没有多大的进展，主要原因不在于缺乏技术，而在于缺乏眼光。每当我在语音识别的成果展示会或产品广告中，看到人们拿着麦克风说话时，我都很奇怪：难道他们真的忘了，说话最大的价值之一就在于能让双手空出来做别的事情吗？当我看到人们把脸贴近屏幕讲话时，我也很奇怪：难道他们忘了，能够遥控是使用声音的原因之一吗？而当我听到人们要求设计出能够识别出各个独立用户的语音系统时，我问自己：他们是不是忘了，我们是在和个人计算机说话，而不是在和公用计算机说话？为什么似乎每个人解决问题的着眼点都落在错误的方面呢？

134

being digital |数字化生存

[1]原文为Luddite（勒德派），原指1811—1816年英国手工业人中参加捣毁机器运动的人，后泛指反对机械化、自动化的人。

原因很简单。直到最近，我们一直被两个带有误导性的观念所驱使。第一个观念是受到老式电话通信系统的影响，希望任何人在任何地方都能拿起话筒对计算机发号施令，而不需要和接线员对话，而且不管说话的人怎样南腔北调都无关紧要。另外一个挥之不去的想法来自办公自动化（OfficeAutomation，OA）——我们希望有一种会说话的打字机，我们对着它一口气不停地说，它能一字不差地把我们的口述转化成文字记录下来。由于大家一直只把注意力放在这两个方面，使我们拖延多年，始终无法实现一些更容易实现的(同时也是有用的）目标，即让计算机在高度个人化而且互动的环境中，识别并了解对话内容。

我们也忽略了说话在文字以外的价值。举例来说，令天的计算机需要人全神贯注。你通常都必须正襟危坐，同时把注意力放在互动的过程和互动的内容上。在走来走去时使用计算机，或在有多组对话时让它参与其中的一组，简直是不可能的。语音识别可以改变这一切。

能够在一臂远的距离之外使用计算机，是非常重要的事情。想象一下，假如你和别人说话的时候，他/她的鼻子尖老是凑到你的脸上，那是什么感觉！我们通常都隔着一定的距离与别人讲话，偶尔还会转过身去同时做些别的事情。甚至有时已经走到别的地方而互相看不见了，还在说着话。这种情况屡见不鲜。我希望有一部在“听力范围”之内的计算机，它必须能把说话的声音和周围的杂音（例如空调或飞机在头顶上飞过的声音）区分开来。

Part2|个性化界面

135

讲话胜于文字的另一个原因是，它可以有其他附带方式来传递信息。家里有小孩或养了宠物的人都知道，怎么样讲话可能比讲什么话更重要。说话的语气非常关键。例如，不管主人如何吹牛，说他宠爱的小狗如何如何，小狗似乎只对语调有反应，它内在的分析复杂词汇的能力基本为零。

说出来的话除了字面的意思之外，同时传递了大量的信息。讲话的时候，我们使用完全一样的字眼，可以表达或激情洋溢、或嘲讽、或愤怒、或闪烁暖昧、或曲意逢迎、或精疲力竭等不同的情绪。在计算机语音识别的研究中，大家都忽略了这些细微的差异，更糟的是，把它们视为瑕疵，而不是特点。然而，正是这些特质，使说话成为比打字更丰富的输入媒介。

让计算机“听话”

假如你的外语能力还不错，但是还不到应对自如的地步，你会发现要听懂饱受杂音干扰的新闻广播实在很困难。相反，对于一个能把外语说得极为流利的人而言，这些杂音充其量只是扰人罢了。识别语言和理解语言，二者密不可分。

目前，计算机无法像你我一样，先对某件事的意义建立共识，进而理解事物的意义。虽然未来的计算机无疑会具有更多智能，目前我们仍不得不先设法解决机器的语音识别能力问题，而把机器的理解力问题搁置一边。一旦把这两项任务予以分化，路该怎么走就很清楚了，我们必须把口语中的单字，变成计算机可读的命令(command)。语音识别问题有三个变数：词汇量、机器对说话者的依赖程度以及字的关联性所谓字的关联性，是指机器能在多大程度上依照人们日常讲话中的自然强弱节奏把单字含混在一起。

136

|being digital|数字化生存

我们可以把语音识别的这三个方面想象成三维立体轴。在词汇轴上，需要识别的字越少，对计算机而言就越容易。假如系统事先就知道说话的人是谁，问题就更简单了。如果说话的人能一个字一个字分开发音，计算机就听得更明白，识别起来也就更容易。在这三条轴的起始点，我们可以找到少得不能再少、完全依赖于说话者语音的词汇，念出这些词汇的时候，字与字之间必须有明——显——的——停——顿。

当我们顺着任何一条轴移动的时候，也就是说，增加计算机所能识别的词汇，让系统能够服务于任何说话者，或是容许字与字相连的程度越来越高，在这种情况下，每前进一步.都会使问题变得越来越困难。当到达三条轴的远端时，我们期望计算机能够识别任何人说的任何字，以及“印（任）何程度”的含混字。人们通常都认为，我们必须在两条或三条轴上都达到最远端时，语音识别系统才能对人类有用。这完全不对。

让我们一个一个来考虑。谈到词汇多寡的时候，我们可能会问：多少才算多呢？500个字、5000个字还是50000个字?但这个问题其实应该是：在任何时候，计算机存储器中究竟需要多少它可以识别的单字？这个问题提示我们把词汇根据上下文分成组，这样在需要的时候就可以把大群词组放进存储器中。当我要求我的计算机接听电话时，它会把信息输入我的电子电话本。当我计划到什么地方旅行时，它则把地名输入到上面。

Part 2|个性化界面

137

假如你把词汇量看成在任何情况下都需要的一组字——称为“字窗”（wordwindows)——那么计算机只需要从一个小得多的字音库中拣字就可以了，这一字音库只要有500个字左右就够了，不需要50000个字那么多。

人们所以假设需要有能够识别各个独立讲话人的语音识别系统，是由于这种功能是过去电话公司的一项要求，电话公司的中央计算机必须能听懂每个人的话，提供一种“通用服务”。今天，计算机的普及率更高，而且更加个人化。我们在网络的外围一—通过个人计算机、话筒，或经由一小块智能卡（smartcard）的协助，能够完成更多的语音识别。如果我想在电话亭里和一部航空公司的计算机谈话，我可以先接通我的家用计算机或拿出我的袖珍型计算机，让它先替我把声音转换成机器看得懂的信号，然后，再和航空公司的计算机联络。

第三个问题是字音的模糊性问题。和计算机说话的时候，我们不希望像一个观光客对外国小孩说话一样，夸张地吐出每个单字，而且每念一个字，都停顿一下。因此这个轴最具挑战性。但是我们也可以把问题稍稍简化，也就是把语言看成许多字一起发出的声音，而不是许多单个字的声音。事实上，处理这种连成一片的字音，很可能正是你的计算机走向个人化的必经过程和必须接受的训练的一部分。

当我们把讲话看成一种互动的和对话的媒介时，我们离语音识别中最容易的那部分已经没有多远了。

138

being digital|数字化生存