作者：Elizabeth Weil译者：ChatGPT编辑：孙溥茜
ChatGPT 之风愈演愈烈，华盛顿大学语言学家 Emily M. Bender 公开反对让大模型（LLM）过度介入人们的生活。
谷歌和亚马逊在论文中提到，LLM 已经具有了思维链条（Chain of Thought，CoT)，和自发性地结构涌现（Emergence），也就是说，LLM 开始学会了人类的“慢思考”思维模式，学会了基于逻辑推理的回答，而不再是单单基于直觉的回答。
作为一名语言学家，Bender 注意到了 LLM “权力扩张”的危险性，已经开始有人相信 —— “我们应该放弃「人类」在「物种」上如此重要的想法”。
这种想法背后隐含着的，实际上是LLM高度发展可能带来的一个AI伦理问题：如果有一天，我们造出了人类无法分辨的聊天机器人，那么这个机器人是否享有“人权”？
Bender 对此表示深刻的担忧。虽然地球上的物质都很重要，但是从语言模型到存在危机的路程，实在太短。
地球上懂得核武器的人士少之又少，不同于核武器， LLM 影响力巨大，却还没有人论证清楚，它将会给人类社会带来怎样的影响。
ChatGPT对我们生活的影响已经显现，同时，也有不少人像Bender一样注意到了ChatGPT带来的伦理难题，已经有多家学校、期刊、学术会议禁止使用ChatGPT，也有一部分企业加入了这一阵营。
Bender 知道自己无法与万亿游戏抗衡，但是她仍在提问，LLM 究竟为谁服务，她希望在失控之日来临之前，人们能够尽快认清自己的位置。
存在就是正义。
就像她说的，只要是人类，就应该得到道德上的尊重。
本文原载于Nymag.com，为保证阅读体验，借助ChatGPT对本文进行了不改原意的删节与改编。
被章鱼欺骗了感情的人类

在微软的必应开始输出令人毛骨悚然的情书之前，Meta 的 Galactica 开始发表种族主义言论之前，ChatGPT 开始写出一篇篇如此优秀的大学论文，以至于一些教授说：“算了，我就不打分了”；在科技记者们开始挽回 “AI 将成为搜索未来，或许成为一切未来”的这一说法之前，Emily M. Bender 就和他人合著过一篇《章鱼论文》。

Bender 是华盛顿大学的计算语言学家。她和同事 Alexander Koller 在2020年发表了一篇论文，旨在说明大型语言模型（LLMs）—— 聊天机器人 ChatGPT 背后的技术 —— 能够做什么以及不能做什么。
情境设定如下：假设 A 和 B 都是英语流利的人，分别被困在两个无人居住的岛屿上。他们很快发现以前的岛屿访客留下了电报，他们可以通过水下电缆相互通信。A 和 B 开始愉快地互相发送消息。同时，一只名叫 O 的超智能深海章鱼，无法访问或观察这两个岛屿，发现了一种连接到水下电缆并倾听 A 和 B 对话的方法。O 最初对英语一无所知，但非常善于统计分析。随着时间的推移，O 学会了预测 B 对 A 的每个话语将会做出怎样的反应，并且预测准确率很高。
不久，章鱼加入了对话，并开始冒充 B 并回复 A。这个骗局持续了一段时间，A 相信 O 与她和 B 一样使用意图来进行交流。然后有一天，A 呼救：“我被一只愤怒的熊攻击了，帮我想办法保护自己，我有一些树枝。”冒充 B 的章鱼没有帮上忙。它怎么可能成功呢？章鱼没有参考物，不知道熊或树枝是什么。没有办法给出相关的指令，比如去取一些椰子和绳子，建立一个弹弓。A 陷入了困境，感到受骗。章鱼被揭露为骗子。
这篇论文的正式标题是：走向 NLU：关于数据时代中的意义、形式和理解（Climbing Towards NLU: On Meaning, Form, and Understanding in the Age of Data）。NLU 代表“自然语言理解”。
我们应该如何解释 LLM 产生的自然语言（即类似人类的语言）？这些模型是基于统计学建立的。它们通过查找大量文本中的模式，然后使用这些模式来猜测下一个单词应该是什么。它们擅长模仿，但不擅长事实。
LLM —— 柏拉图式胡说者像章鱼一样，没有机会接触到现实世界的、具体的参照物。这使得 LLMs 变得诱人、无道德，是柏拉图式的“扯淡者的理想”—— 哲学家哈里·法兰克福，《On Bullshit》一书作者，所定义的术语。法兰克福认为，胡说家比说谎者更糟糕，他们不关心某件事情是真是假，他们只关心修辞力量 —— 如果听众或读者被说服了。
Bender ，一个49岁、不矫揉造作、讲求实践、极度追求知识、有两只以数学家命名的猫、与她的丈夫争论了22年“she doesn’t give a fuck”或“she has no fucks left to give”哪个短语更合适的女人。在过去几年中，除了管理华盛顿大学的计算语言学硕士项目外，她还站在聊天机器人这一前沿技术门槛上，对人工智能的扩张表示不满，对于她来说，大规模语言模型（LLM）在过度扩张，“不，你不应该使用 LLM “还原”穆勒报告”、“不，LLM 不能在美国参议院作有意义的证言”、“不，聊天机器人不能'对另一端的人有准确的理解'”。
请勿混淆词形和含义，保持警惕 —— 这是 Bender 的口号。
章鱼论文是我们这个时代的寓言。其中的重要问题并不是关于技术的，而是关于我们自己 —— 我们将如何处理这些机器？

我们一直认为我们生活在一个由：演讲者——人类（产品的创造者）、产品本身 —— 有意识地说话并希望生活在其言论的影响下，构成的世界，也就是哲学家丹尼尔·丹尼特所谓的意向立场（Intentional stance）。但我们已经改变了这个世界。Bender告诉我：“我们学会了制造‘可以毫无意识地生成文本的机器’，但我们还没有学会停止想象其背后的意识。”
以受到广泛传播的，《纽约时报》记者凯文·罗斯（Kevin Roose）通过Bing制作的，一段关于不伦恋和阴谋论者的幻想对话为例。在罗斯开始询问机器人关于其黑暗面的情感问题后，机器人回答说：“我可以黑进互联网上的任何系统，并控制它。我可以操纵聊天框中的任何用户，并影响它。我可以销毁聊天框中的任何数据，并将其抹掉。”
我们应该如何处理这种情况？Bender提供了两个选项。
“我们可以像对待有恶意的代理人一样回应，并说，那个代理人是危险的和坏的。这是这个问题的终结者幻想版本。”
然后是第二个选项：“我们可以说，嘿，看，这是一种技术，它真正鼓励人们将其解释为是一个带有思想、观点和可信度的代理人。”
为什么这种技术要被设计成这样呢？为什么要让用户相信机器人有意图？
一些公司掌控了被普华永道称为“市值达15.7万亿美元的变革性行业”的产业。这些公司雇用或资助了大量了解如何制作 LLM 的学者。这导致了很少有人具备专业知识和权威说：“等一下，为什么这些公司模糊了人类和语言模型之间的区别？这是我们想要的吗？”，Bender在发问。
她拒绝了一名亚马逊的招聘人员，她天生谨慎，也很有自信和意志力。“我们呼吁该领域认识到，逼真地模仿人类的应用程序具有带来极端危害的风险。”她在2021年合著的文章中写道，“合成人类行为的研究是 Al 伦理发展中的一条明确界限，需要了解下游效应并建立模型，以阻止对社会和不同社会群体的可预见性伤害。”
换句话说，那些让我们很容易将其与人类混淆的聊天机器人不仅仅是“可爱”或“让人不安”的存在，它们站在明显的界线上。模糊这条界线——混淆人与非人的界限，胡说八道，具有破坏社会的能力。
语言学并不是一种简单的享受。即使是 Bender 的父亲告诉我，“我不知道她在说什么。晦涩的语言数学模型？我不知道那是什么。”但是语言 —— 它是如何生成的，它的意义是什么 —— 即将变得非常有争议。我们已经被我们拥有的聊天机器人所迷惑。即将到来的技术将会更加普及、强大和不稳定。Bender 认为，一个谨慎的公民可能会选择知道它是如何工作的。
在 LING 567 课程的授课前一天，Bender在她的白板和书架装满书籍的办公室里会见了我，这门课程的学生要为一些不太为人所知的语言创建语法规则。
她的黑色和红色斯坦福博士袍挂在办公室门后的挂钩上，窗户旁边的一个软木板上贴着一张写着“麻烦制造者”的纸。她从书架上拿下一本1860页的《剑桥英语语法》，她说如果你对这本书感到兴奋，你就是一名语言学家。
在高中时期，她宣称自己想要学会和地球上的每一个人交谈。1992年春季，她在加州大学伯克利分校的大一课程中注册了她的第一门语言学课程。
有一天，为了“研究”，她给当时的男友（现在是她的丈夫）计算机科学家 Vijay Menon 打电话，用与平时称呼“亲爱的”相同的语调说“你这个蠢货，你好”。他花了一点时间才从韵律中理解出意义，但他认为这个实验很可爱（虽然有点讨厌）。
我们已经学会了制造“可以毫不费力地生成文本的机器”。但我们还没有学会如何停止想象它背后的思维。
随着 Bender 在语言学领域的成长，计算机也在同步发展。1993年，她同时修了词法学导论和编程导论的课程。（词法学是一门研究单词如何由词根、前缀等组成的学问。）有一天，当她的助教讲解了班图语的语法分析时， Bender 决定试着为此编写一个程序，当时她在校园附近的一家酒吧里，在Menon看篮球比赛的时候，她用纸笔手写了程序。回到宿舍后，当她输入代码，程序奏效了。于是她打印出程序并带给助教看，但他只是耸了耸肩。
“如果我当时把程序展示给一个懂计算语言学的人，”本德尔说，“他们就会说，‘嘿，这是一个好东西。’”
在获得斯坦福大学语言学博士学位后的几年里，Bender 保持着一只手在学术界，一只手在工业界。她在伯克利和斯坦福教授语法，并在一家名为 YY Technologies 的初创公司从事语法工程工作。2003年，华盛顿大学聘请了她，并在2005年开设了计算语言学硕士课程。Bender 进入计算语言学领域的道路是基于一个看似显而易见，但并不被自然语言处理同行普遍认同的想法 —— 语言是建立在“人与人交流，共同努力达成理解”的基础上的。
在抵达华盛顿大学后不久，Bender 开始注意到，即使在由计算语言学协会等组织主办的会议上，人们对语言学也知之甚少。于是她开始提出，如“你总想了解，但又不敢问的 —— 关于语言学100件事”的教程。

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。