什么是信息

【注释】

[1] 诺姆·乔姆斯基（Noam Chomsky，1928—），美国哲学家、20世纪最伟大语言学家之一，著有《句法结构》《生成语法》《语言与心灵研究的新方向》等。

[2] 库尔特·哥德尔（Kurt Gdel，1906—1978），数学家、逻辑学家和哲学家，证明了形式数论系统的“不完备定理”，公开发表的论著不多。

第二章 什么是信息？——为何信息是相对的概念？信息和物质性、意义和组织是何关系？^[1]

我们提出了一个离散的信息源，将其视为一个马尔可夫过程（Markoffprocess）。试问，我们能界定一个量，一定程度上能计量这样一个过程能“生成”多少信息吗？甚至能计量信息以什么速度生成吗？

——香农（1948）

有效生存就是信息充足的生存。

——维纳（1969）

信息是造成差异的特色。

——麦凯（1969）

信息是造成差异的差异。

——贝特森（1973）

信息……在自然选择中……生成，这是组装束缚条件以释放能量的过程，如此构成做功的过程和组织繁衍的过程。

——考夫曼等人（2007）

第一节 导 语

将以上五个现代的信息定义并置，我们就看到在达成对信息的理解时我们将面对什么问题。香农的定义常常是数学概念，缺乏意义或语境。在《给信息放放气》（Deflating Information）里，贝恩德·弗罗曼（Bernd Frohmann 2004，p. 103）针对香农和韦弗的著作写道：“他们对信息的解释从理论上和数学上看是严谨的，但那不是用具像语词解释信息。”对一些人而言，信号—噪声比的信息分析完全规避了意义的概念，这一点广为人知。在维纳的控制论信息观念的定义里，我们看见，信息担当了功能的角色。麦凯和贝特森的两种定义都批评香农的信息观，指出它不考虑意义。考夫曼等人（2007）的定义纳入了生物信息的物质性及其与组织的关系，这是两个不见于香农定义的特征。

我们首先考虑信息概念的发展历程，从最初的英语用法到著名信息论之父香农的正式表述（1948），再到维纳控制论里的表述（1948，1950）。然后我们研究麦凯（1969）和贝特森（1973）对香农信息表述的批评。他们坚持认为，信息不只是若干涉及意义的比特。同时，像先前的许多未来学家一样，我们考察信息、能量和熵的关系，认为信息和熵是对立的现象，而不是香农暗示的平行现象。

之后，我们考察，与人的心灵密切相关的信息概念是如何引入生物学的。我们看生物学家如何考虑遗传信息的代代相传，看他们如何考虑信号在生物有机体里传递。

随后，我们重温考夫曼等人（2007）的论文。我们指出，香农笔下的信息概念不能描绘生物有机体体内的信息。我们引入了信息相对性的概念，使人豁然开朗，我们所考虑的信息取决于信息生成和使用的语境：其生成和使用的场所和方式。

再往后，我们考察在信息论、控制论和系统生物学里，信息与意义和物质性是何关系。最后，我们研究信息和组织的关系，并指出，在生物系统里，信息和组织是紧密连在一起的。我们还要确认，信息与组织在人类文化的各个方面均有类似的紧密联系，语言、技术、科学、经济和治理等方面莫不如此。

本章结尾讨论，生物有机体包括人类在什么程度上是肉体，在什么程度上是信息。

第二节 信息概念的源头

我们从历史概览着手，从词源看信息概念的发展过程。查《牛津英语词典》发现，英语里“信息”一词最早出自由乔叟（Claucer）手写的一份报告：“Whanne Melibee hadde herd the grete skiles andresons of Dame Prudence，and hire wise informacions andtechynges”，通过法语由拉丁转借而来，由“inform”（意为赋形）加词尾“ation”（指明其表动作“action”，为名词）。这个最早的定义指向心智的训练或形塑。

这就是信息一词被赋予心灵形式的理念，是我展开论述信息的钥匙。信息不是事物，而是过程；借此过程，心灵得以形成，被赋予形式。因此，信息与意义密切相关，而意义并不是寓于发送者传递的信息里，而是寓于信息接收者的脑子里。我们日常用语里所谓的信息实际上是符号；只有对接收者有意义的符号才构成信息。

时序上的第二个信息概念即知识的传播出现在1450年之后。

“Lydg. & Burgh Secrees 1695 Ferthere to geve the Enformacioun，Of mustard whyte the seed is profitable.”

至于信息可在无生命物质里储存、迁移或传播的概念和信息作为数学界定量的概念，都是20世纪后才出现的。

《牛津英语词典》列出抽象信息概念的两个源头，表明信息可在无生命物质里传递或储存：

1937年，Discovery Nov. 329/1。“全部的困难存在于电视图像里，换言之，正如工程师们所云，困难存在于给定时间里传输的信息

量。”

1944年，Jrnl. Sci. Instrum. XXI. 133/2。“用穿孔卡片把信息传递给机器。”

《牛津英语词典》援引R. A.费希尔（R. A. Fisher）1925年的文章，指其为信息概念数学化的首例：

我们所谓的误差曲线固有的准确度同样可这样来设想：这种分布里一次观察的信息量……如果p属于任何一类观察里的概率，S{（m/θ）2/m} where m＝np样本里的信息量就是任何一类观察里的期待（θ就是其中的参数）。（Fisher1925）

《牛津英语词典》的另一个词条援引信息数学化的早期成果，即哈特利（1928，p. 540）文章里的一句话：“我们所做的工作就是把可能的符号序列的对数视为信息的实际计量。”有趣的是，费希尔和哈特利预示了香农的信息概念：信息只不过是独立于意义的符号串的概率。

第三节 香农信息论的诞生

虽有上文所述费希尔和哈特利的早期研究成果，但现代信息研究的理论成果还是归功于香农（1948），他被视为信息论之父。他把信息定义为发送者传递给接收者的讯息。他在贝尔实验室工作，想要解决以最佳效果为信息编码的问题。他以概率为基础给信息赋予数字或数学价值，用熵来界定概率，因而熵常被称为香农熵。香农的信息和信息发生的概率成反比。信息则用0和1的符号串形式来编码，或者用字母数字来编码。香农（1948，pp. 392—394）的计量表述如下：

我们把离散的信息源表述为一个马尔可夫过程。那么，我们是否能在一定程度上界定一个信息量呢？换言之，这个过程能生成多少信息，能以什么速度生成信息呢？假定我们有一系列可能的事件，其发生概率是 $\mathsf { P 1 } , \mathsf { P 2 } , \hdots \hdots \mathsf { p } _ { \mathsf { n } \circ }$ 这些概率均为已知量，至于哪一件事会发生，这只是我们所知的全部信息。我们能找到一种计量尺度来确定在特定事件的选择上，我们有多大的“选择”呢？如果有这样的计量，比如H $( \mathsf { p } _ { 1 } , \mathsf { p } _ { 2 } , \ldots \mathsf { p } _ { \mathsf { n } } )$ ，我们就能说， $\mathsf { H } = \mathrm { ~ - ~ } \mathsf { p } _ { \mathrm { i } } \mathsf { l } \mathsf { o } \mathsf { g } \mathsf { p } _ { \mathrm { i } }$ 是一套概率 $( \mathsf { p } _ { 1 } . . . . . \mathsf { p } _ { \mathsf { n } } )$ 的熵吗？H这个量有一些有趣的特性，这些特性进一步例证了选择或信息的合理计量尺度。

有人说，香农不知道如何给这个计量尺度命名。冯·诺依曼（vonNeumann）建议他称之为“熵”，因为没有人知道其意义，这会使香农在任何辩论中都占有优势（Campbell 1982，p. 32）。“熵”一词的选用受到杰弗里·威肯的批评（Jeffery Wicken 1987，p. 183）。杰弗里·威肯认为，科学术语只能有一种意义。埃里克·施耐德和多里昂·萨根（Eric Schneider，Dorion Sagan 2005）在热力学和信息论里都参用了“熵”这个词，同时又说这个词引起混乱。他们写道：“热力学和信息论没有简单的对应关系。

第四节 信息与熵的关系

通过热力学去理解引擎的效率，这样的探索使T.克劳修斯（T.Clausius）提出“熵”的概念，将其作为能量的机械不可用性的计量，或不能转化为可用功的计量。他用的德语词是Verwandlungsinhalt（译为英语大致是“转化内容”）。随后，他又新造一个词“熵”，用希腊词τροπ（trope）比喻，意为转化，再加上前缀“en”，生成entropy，因为他觉得，energy和entropy两个词联系密切。从entropy的词源看，我们大致可以将其译为“能量转化”。他觉得有必要界定“熵”，因为宇宙的能量保存下来，熵却在不断增加。

熵和概率的关系是玻尔兹曼（Boltzman）统计力学的研究成果，这是为审视热力学另辟蹊径。玻尔兹曼研究认为，气体的熵与W的对数成正比，W是热力学变量压力、温度和容量的等量价值。在玻尔兹曼推导的公式S＝k ln W里，k是玻尔兹曼常数，给香农灵感，使香农用“信息熵”来表达讯息的信息内容计量，虽然符号和事实有差异：比例常数即玻尔兹曼常数具有能量÷温度的物理维度。

物理学家提出的熵和信息的关系产生于对麦克斯韦妖（Maxwell’sdemon）的思考，与香农提出的关系是对立的。1867年，麦克斯韦设计了一个理想实验与香农的信息概念对立：一个妖怪站在充满气体的两个屋子之间的门口，容许快速移动的分子从一间屋进入另一间屋，造成两间屋的温差，如此，可做功就可以从违背热力学第二定律中获取。

1929年，利奥·西拉特（Leo Szilard）分析麦克斯韦妖造成的问题：为了获得所需的信息，这个妖怪使其他地方的熵增值，以便使净熵值不减少。他指出，该妖怪只能暂时减少熵，因为它拥有信息，而抓取信息的代价是熵的增值。这并不违背热力学第二定律，因为信息的获取使熵的增值大于信息所表示的熵的减少。西拉特的分析使人必然得出这样的结论：熵和信息是对立的。他还指出，麦克斯韦妖并不是正面的，这是因为它获取信息的办法是：挑选快速运动的分子、把慢速运动的分子拒之门外。既然信息获取的代价是熵的增值，信息就产生净负熵。西拉特之后，吉尔伯特·N.路易斯也发现信息和熵的相反关系。他写道：“熵的增加总意味着信息的减少。”（Gilbert N. Lewis1930，p. 573）

薛定谔（1944，pp. 71—72）也明确引入了负熵的概念：

每一个过程或事件——无论你称之为什么——自然界运行的一切都意味着它所在场所里熵的增加。因此，有机体不断增加其熵值，即产生正熵，倾向于接近最大值熵的危险状态，即死亡的状态。只有不断从环境吸取负熵，它才能超然于这个危险的状态，才能生存——一望而知，这必然是正面的状态。有机体赖以生存的东西是负熵。如果不那么自相矛盾地说，基础代谢的精髓是：在其生存期间，有机体成功地摆脱它不得不生成的熵（第六章）。

维纳（1950）和里昂·布里渊（Leon Brillouin 1951）都采纳了香农给信息的定义及其与熵的关系，唯一的例外是其中对符号的定义，这大概是受到西拉特（1929）和薛定谔（1944）影响的结果。

维纳写道：信息是“负熵”；它表达目的（1948）。

讯息本身是一种形式和组织。实际上，把讯息视为包含熵的集合，就像外部世界里状态的集合一样，这是可能的。就像熵是组织解体的计量一样，一组讯息所含的信息是组织解体的计量。实际上，把讯息所含的信息解读为其熵的负值，解读为其概率的负对数，也是可能的。换言之，讯息的概率越大，它送出的信息就越少（p.39）……这种信息量不同于代数符号和可能的数值因子表示的熵。

布里渊（1951）还写道，生命系统输出熵以维持自身熵的低水平。他用“negentropy”而不是用“negative entropy”来表达“负熵”，描绘信息。

维纳和布里渊把熵和信息视为对立现象，把信息视为负熵，其理由源于自然界的一个趋势：系统移入较大的无序状态，即增熵的状态，因而含有较少信息的状态。考虑这样一个系统，其状态含有限的形貌或微状态，而所有微状态又相当于其宏观状态。根据热力学第二定律，自然的趋势是：相当于系统宏观状态的微状态数量要增加。因为微状态随着时间的推移增加，所以我们不知道系统处于哪一种状态；随着微状态数量的增加，我们对系统的了解随之减少。因此，随着熵的增加，系统的信息量随之减少，所以熵是负信息，信息是负熵。换言之，热力学第二定律告诉我们：系统A演变为系统B时，系统B拥有的冗余或同等微状态就多于系统A；既然系统所处的不确定性增加，我们对系统的了解就随之减少。

维纳和布里渊用负号表示信息和熵的关系，相反，香农用正号表示两者的关系。

凯瑟琳·海尔斯（Katherine Hayles 1999，p. 102）指出，这样的区分虽然有点武断，却产生了耐人寻味的冲击。注意到香农所用的正号，她指出：“把熵等同于信息的想法可以被视为关键的交叉点，因为这使人把熵重新构想为热力学引擎，驱动系统走向自组织，仿佛是把熵视为驱动世界走向死亡的热机。”至于对维纳的评述，她写道：“生命是负熵的一座孤岛，位于无序的汪洋大海中。”（1999，p. 102）

尽管香农和维纳赋予信息的符号有所不同，而香农受到维纳著作的重要影响，表现在他（1948）对维纳思想的谢辞中：“我还要感谢维纳教授，他对平稳集（stationary ensembles）过滤和预测问题的优雅解决方案在这个领域里对我产生了重大的影响。”他还在该谢辞第三部分的一个脚注里表示对维纳的感谢：