PDF 物理页索引 300
文件中的第 301 页 · 印刷页码:未识别
每天,猫途鹰这样的点对点监控体系为数百万人提供了重要信息,让大家更容易规划假期、找到好的酒店与餐厅。但与此同时,这也改变了私人与公共空间的边界。传统上,顾客与服务人员之间的关系是一种相对私人的关系。进入一间小酒馆等于进入了一个半私人空间,并与服务人员建立了半私人的关系。除非有犯罪行为,否则顾客与服务人员之间的往来就是他们自 己的事。如果服务人员行为粗鲁,或是讲了什么种族歧视的话,你或许会在现场大吵大闹,或许会告诉亲朋好友以后都别去那间小酒馆了,但除了在场人士或亲友,没有太多人会知道这些事。
点对点监控网络已经抹杀了这种私密感。要是服务人员让某个顾客不满意,餐厅就会得到一个差评,而这个差评可能会影响未来几年成千上万个潜在顾客的决定。不论好坏,权力的天平都是往顾客那一方倾斜的,而服务人员也发现自 己比以前更容易被曝光到大众面前。正如作家兼记者琳达·金斯特勒所言:<sup>“</sup>在猫途鹰之前,顾客只是个有名无实的国王。但在猫途鹰之后,顾客成了名副其实的暴君,拥有左右店家生死的力量。<sup>”</sup>如今,数百万个出租车司机、理发师、美容师与其他服务业者,都能感受到自 己同样失去了隐私。过去坐到出租车里或进入理发店,等于进了一个私人空间。但现在,如果有人坐进你的出租车或进入你的理发店,他们还会随身带着照相机、麦克风、监控网络以及几千名的潜在观众。这正是非政府点对点监控网络的基础。
社会信用体系
点对点监控体系一般就是汇总许多点的分数,得出总分。还有一种监控网络更是把这种<sup>“</sup>评分逻辑<sup>”</sup>发挥到极致,这就是社会信用体系,其目标是给人们的所有事情都打上分数,而得出的总分也会影响一个人的所有事情。人类上一次想出这种雄心勃勃的点数制度是在<sub>5000</sub>年前的美索不达米亚,当时刚刚发明货币。对于社会信用体系,我们也可以把它视为一种新型货币制度。
PDF 物理页索引 301
文件中的第 302 页 · 印刷页码:未识别
金钱这种点数,就是大家靠着销售某些产品与服务来积分,再用来购买其他产品与服务。某些国家的点数被称为美元,其他国家的点数被称作欧元、日元或人民币。这些点数的形式可能是硬币、纸币,也可以是数字银行账户里的数据位。当然,这些点数就本质而言毫无价值。硬币不能吃,纸币也不能拿来穿,只能作为一种记账用的价值象征,方便社会记录我们每个人手上到底有多少点数。
金钱货币彻底改变了我们的经济关系、社会互动与心理。就像监控一样,金钱也有局限,不是真的无处不在。就算在最崇尚资本主义的社会,也有许多金钱无法渗透的地方,总是有许多事物的价值无法用金钱来衡量。一个微笑值多少钱?去看望祖父母,又该收多少钱?
对于这些金钱买不到的东西,就有另一套非货币的评分机制,它也有各种不同的称呼:荣誉、地位、声誉。而各种社会信用体系所追求的,就是把这个声誉市场的估值加以标准化。社会信用就是一套新的点数系统,就连微笑或是拜访亲人这种事,这套系统都能明确告诉你价值是多少。为了理解这件事是多么惊天动地、影响深远,让我们先来简单谈谈这个<sup>“</sup>声誉市场<sup>”</sup>与一直以来的<sup>“</sup>货币市场<sup>”</sup>有何不同,好让我们了解要是突然把货币市场的原则延伸到声誉市场,可能会让社会关系发生怎样的变化。
金钱与声誉的一大区别在于,金钱多半是个能够精确计算的数学概念,但声誉很难用数字来评估。举例来说,中世纪贵族有公爵、伯爵、子爵之类的等级,但没有人计算这些代表多少声誉点数。如果在中世纪的市场想买东西,通常就得知道自 己的钱包里有多少硬币,以及摊位上每种产品的价格。在货币市场上,每一枚硬币都得数得清清楚楚。相较之下,在中世纪的声誉市场上,骑士并不知道每种行为能带来多少<sup>“</sup>高尚点<sup>”</sup>,也不知道自 己现在得到的总分是多少。在战场上英勇作战,是会带来<sub>10</sub>点高尚点还是<sub>100</sub>点?要是没人目睹或记录,又该怎么办?事实上,就算有人目睹,不同的人在判断价值的时候也没有一个共同的标准。然而,像这样的不精确非但不是这套系统的缺
PDF 物理页索引 302
文件中的第 303 页 · 印刷页码:未识别
陷,反而是其重要的特色。我们说这个人怎么<sup>“</sup>那么爱算计<sup>”</sup>,等于是在说这个人太过狡猾、工于心计;而所谓的行事高尚,本来就该反映自身的内在美德,而不是追求外在回报。
直到现在,依然可以看到货币市场锱铢必较、声誉市场随性而为的状况。在小酒馆里,每道菜都有明确的价格,付得不够别想躲过老板的注意与追讨。但在社会上,有人如果做了好事,要怎么知道有没有人看到呢?如果餐厅与酒店为年长顾客提供帮助,或是对无礼的顾客格外有耐心,但事后却没能得到合理的回报,这要向谁投诉呢?有些时候,它们现在就能向猫途鹰讨个公道。这个网站打破了货币市场与声誉市场之间的界限,让餐厅与酒店原本模糊的声誉高低变成了一套有精确分数的数学系统。社会信用的想法就是把这种监控方式从餐厅和酒店扩展到万事万物。在最极端的社会信用体系里,每个人都会得到一个整体声誉分数,把他们所做的一切都纳入考量,也将决定他们能做的一切。
比如,捡起路上的垃圾可能加<sub>10</sub>分,扶老人过马路加<sub>20</sub>分,但打鼓吵到邻居要扣<sub>15</sub>分。如果你分数足够高,或许就能优先买车票,或是申请大学有加分;如果你分数太低,则可能找不到工作,或者连约会对象也不想跟你更进一步,保险公司可能提高你的保费,法官判刑也可能更加严厉。
有些人可能觉得,这样听起来,社会信用体系奖励亲社会行为、惩罚自私行为,应该就能创造出更友善、更和谐的社会。比如有些政府就表示,社会信用体系有助于打击贪腐、诈骗、逃税、虚假广告、伪劣产品,而让人与人之间、消费者与企业之间、公民与政府机构之间有更多信任。但有些人可能觉得,为各种社会行为都确定一个明确的价值,是有辱人格和不人道的。更糟的是,全面施行社会信用体系将会彻底抹杀隐私,等于让生活变成一场永无止境的求职面试。你在任何时间、任何地点做的任何事,都可能影响你后续能否找到工作、取得贷款、找到结婚对象,甚至是否会被判入狱。你曾经在大学聚会上喝醉后做过一些合法但丢脸的事吗?你曾经参加过政治示威活动吗?你是否有一个信用分数很低的朋友?这一切都可能在短期甚至几十年后的职场面试(或刑事判决)中成为考量的一部分。
PDF 物理页索引 303
文件中的第 304 页 · 印刷页码:未识别
当然,人类本来就一直受到声誉市场的控制,被约束着要遵守当时的社会规范。在大多数社会,人类甚至宁可丢钱也不想丢脸。被钱逼到自杀的人数要远远小于被羞耻自责逼上绝路的人数。就算有些人因为被开除或企业破产而决定自杀,真正让他们踏出最后那一步的因素通常也不是经济困难本身,而是社会羞辱。
然而,由于声誉市场的不确定性与主观性,过去很难将这套体系用于极权控制。正因为没有人能判断该如何明确评价每次社交互动,也没有人能够监控所有互动情形,于是这里也就有极大的操作空间。过去如果要参加一场大学聚会,你在聚会上的行为应该只是想吸引在场朋友的注意,并不用担心未来雇主的感受。等到参加工作面试时,你很清楚你那群朋友都不会在场。当你回家看色情影片时,你也大可放心你的老板和朋友都不会知道你在做什么。人的生活一向都会被划分为不同的声誉领域,每个领域都有各自不同的地位竞争。很多时候你只属于自 己,根本不需要参与任何地位竞争。正因为地位竞争太重要,带来的压力也非常大。因此不只是人类,就连猿类等其他社会性动物也都很喜欢偶尔放下竞争,得到一些喘息机会。
遗憾的是,社会信用算法加上无处不在的监控技术,就有可能整合一切现有的地位竞争,合并成一场永无止境的比拼。即使已经回到家里,或者想要好好享受一场假期,人们也得万般注意自 己的一言一行,就好像是在数百万人面前登台演出一般。这可能会形成一种极度紧张的生活方式,破坏人类的幸福,影响社会的运转。如果数字官僚用这种苛刻的点数制度来时时刻刻监控每个人,目前正在崛起的这种声誉市场就有可能抹杀人类的隐私,并对人类形成远比货币市场更令人窒息的控制。
PDF 物理页索引 304
文件中的第 305 页 · 印刷页码:未识别
运作永不停歇
人类就是一种生物,有一套循环的生物周期:有些时候醒着,有些时候睡着;在剧烈活动后,我们需要休息;我们会成长,也会衰老。而人类形成的网络也一样会受到生物周期的影响:有时候开机运作,有时候关机休息;职场面试总有结束的一刻,警察也不会一天<sub>24</sub>小时巡逻,官僚也需要休假。就连货币市场也必须尊重这些生物周期:纽约证券交易所只在每周一到周五上午<sub>9</sub>:<sub>30</sub>到下午<sub>4</sub>:<sub>00</sub>开市,独立纪念日和元旦这些假日都休市。假设某个周五的下午<sub>4</sub>:<sub>01</sub>爆发战争,股市得等到下周一早上才会做出反应。
相较之下,计算机形成的网络就能永远开机运行。因此,计算机正逼着人类走向一种新的生活方式:永远连线,永远受到监控。在某些情况下(比如医疗保健),这或许是件好事;但在其他情况下(比如极权国家的公民),这或许就是一场灾难。而且,就算网络本身是良性的,光是它永远<sup>“</sup>开机<sup>”</sup>,就可能对人类这种生物实体不利,因为这等于剥夺了人类断开连接、好好放松的机会。要是生物永远没有休息的机会,最后必然是崩溃而亡。但我们又怎么可能让永不停歇的网络走慢一点,好让我们休息一下呢?
我们必须避免让计算机网络完全控制社会,这不但是为了让我们有点儿休息的时间,更是为了有机会修正网络里累积的错误。如果网络只是不断演化、不断加速,里面的错误就会越积越多,快到我们来不及找出并修正那些错误。因为网络的特性除了永不停歇、无所不在,还很容易出错。没错,计算机能够收集前所未有的大量人类数据,一天<sub>24</sub>小时观察我们的行为;计算机也能用超人类的效率,在海量数据中找出各种规律与模式,但这并不代表计算机网络对世界的理解就永远正确。信息并不等于真理与真相,一套全面监控的系统对世界与人类的理解可能极为扭曲。计算机网络有可能并不会找出关于世界与人类的真理与真相,反而是利用它庞大的力量,创造出一套新的世界秩序,并逼迫人类接受。
PDF 物理页索引 305
文件中的第 306 页 · 印刷页码:未识别
- Paul Kenyon, Children of the Night: The Strange and Epic Story of Modern Romania(London: Apollo, 2021), 353–54.
- Ibid,356.
- Ibid,373-74.
- Ibid,357.
- Ibid.
PDF 物理页索引 306
文件中的第 307 页 · 印刷页码:未识别
- Jennifer Gibson, “Death by Data: Drones, Kill Lists, and Algorithms,” in Remote Warfare:Interdisciplinary Perspectives, ed. Alasdair McKay, Abigail Watson, and Megan Karlshøj Pedersen (Bristol: E-International Relations, 2021), www.eir.info/publication/remote warfare-interdisciplinary-perspectives/; Vasja Badalič, “The Metadata-Driven Killing Apparatus: Big Data Analytics, the Target Selection Process, and the Threat to International Humanitarian Law,”Critical Military Studies 9, no. 4 (2023): 1–21, doi.org/10.1080/23337486.2023.2170539.
- Catherine E. Richards et al., “Rewards, Risks, and Responsible Deployment of Artificial Intelligence in Water Systems,”Nature Water 1 (2023): 422–32, doi.org/10.1038/s44221-023-00069-6.
- Ashley Belanger, “AI Tool Used to Spot Child Abuse Allegedly Targets Parents with Disabilities,”Ars Technica, Feb. 1, 2023, arstechnica.com/tech-policy/2023/01/doj-probes-ai tool-thatsallegedly-biased-against-families-with-disabilities/.
PDF 物理页索引 307
文件中的第 308 页 · 印刷页码:未识别
Hans-Martin Lutz, and Florian Müller, “What Does Your Gaze Reveal About You? On the Privacy Implications of Eye Tracking,” in Privacy and Identity Management. Data for Better Living: AI and Privacy, ed. Michael Friedewald et al. (Cham:Springer International, 2020), 226–41, doi.org/10.1007/978-3-030-42504- 3\_15; N. Arun, P.Maheswaravenkatesh, and T. Jayasankar, “Facial Micro Emotion Detection and Classification Using Swarm Intelligence Based Modified Convolutional Network,”Expert Systems with Applications 233 (2023), article 120947, doi.org/10.1016/j.eswa.2023.120947; Vasileios Skaramagkas et al., “Review of Eye Tracking Metrics Involved in Emotional and Cognitive Processes,”IEEE Reviews in Biomedical Engineering 16 (2023): 260–77, doi.org/10.1109/RBME.2021.3066072.
- Isaacson, Elon Musk, chap. 65, “Neuralink, 2017–2020,” and chap. 89, “Miracles: Neuralink,November 2021”; Rachel Levy, “Musk’s Neuralink Faces Federal Probe, Employee Backlash over Animal Tests,” Reuters, Dec. 6, 2023, www.reuters.com/technology/musks neuralink-faces-federalprobe-employee-backlash-over-animal-tests-2022-12-05/; Elon Musk and Neuralink, “An Integrated Brain-Machine Interface Platform with Thousands of Channels,”Journal of Medical Research 21, no. 10 (2019), doi.org/10.2196/16194; Emily Waltz, “Neuralink Barrels into Human Tests Despite Fraud Claims,”IEEE Spectrum,Dec. 6, 2023, spectrum.ieee.org/neuralink-human-trials; Aswin Chari et al., “Brain-Machine Interfaces: The Role of the Neurosurgeon,”World Neurosurgery 146 (Feb. 2021): 140– 47,doi.org/10.1016/j.wneu.2020.11.028; Kenny Torrella, “Neuralink Shows What Happens When You Bring ‘Move Fast and Break Things’ to Animal Research,”Vox, Dec. 11, 2023,www.vox.com/future-perfect/2022/12/11/23500157/neuralinkanimal-testing-elon-musk usda-probe.
PDF 物理页索引 308
文件中的第 309 页 · 印刷页码:未识别
- Anne Manning, “Human Brain Seems Impossible to Map. What If We Started with Mice?,”Harvard Gazette, Sept. 26, 2023, news.harvard.edu/gazette/story/2023/09/human-brain too-big-tomap-so-theyre-starting-with-mice/; Michał Januszewski, “Google Research Embarks on Effort to Map a Mouse Brain,” Google Research, Sept. 26, 2023, blog.research.google/2023/09/googleresearch-embarks-on-effort-to.html? utm\_source=substack&utm\_medium=email; Tim Blakely and Michał Januszewski, “A Browsable Petascale Reconstruction of the Human Cortex,” Google Research, June 1, 2021, blog.research.google/2021/06/a-browsable-petascalereconstruction-of.html.
<sub>18.</sub> 随着科技的发展,这一点也可能改变。比如俄亥俄州立大学在 <sub>2022</sub>年<sub>6</sub>月<sub>2</sub>日发表的研究报告就表示,可以用脑部扫描来准确预 测受试者在政治上是保守派还是自由派。参见:Eun Yang et al<sub>.,</sub> “Functional Connectivity Signatures of Political Ideology,”PNAS Nexus 1, no. 3 (July 2022): 1–11, doi.org/10.1093/pnasnexus/pgac066. See also: Petter Törnberg, “ChatGPT-4Outperforms Experts and Crowd Workers in Annotating Political Twitter Messages with Zero-Shot Learning,” arXiv, doi.org/10.48550/arXiv.2304.06588;Michal Kosinski, “Facial Recognition Technology Can Expose Political Orientation from Naturalistic Facial Images,”Scientific Reports 11 (2021), article 100, doi.org/10.1038/s41598-020-79310-1; Tang et al., “Semantic Reconstruction of Continuous Language.”
PDF 物理页索引 309
文件中的第 310 页 · 印刷页码:未识别