作者： 物理学家，安德鲁·罗戈伊斯基
OpenAI 首席执行官 Sam Altman 于 9 月 15 日在华盛顿特区举行的“亲人类大会”上发表讲话。尽管（通常是人工智能公司领导人）声称超级人工智能对人类构成威胁，但这项技术更有可能令人失望。
人工智能（AI）之所以令我们恐惧，部分原因在于它的新颖性，部分原因在于它令人不安地熟悉。我们发明了能够对话、奉承、争论和即兴发挥的机器，其流畅程度令人难以置信。面对这种合成的镜像，我们的行为就像早期人类第一次看到镜子一样：我们将意识投射到镜子后面，然后用我们预期的行为、情感、希望和噩梦来填充它。换句话说，我们吓到了自己。
如今的前沿模型在写作、编程和数学方面表现出色，令人印象深刻。然而，它们在实用型通用人工智能（AGI）的关键要素方面仍存在不足。通用人工智能是指能够达到甚至超越人类能力的系统，例如逻辑推理的一致性、长期规划能力、事实一致性以及在“经验”（即训练数据）之外的可靠表现。我们有理由担忧超级人工智能（ASI）的理论风险，因为这样的系统可能会超越其人类创造者，并追求自身目标，最终损害我们的利益。尽管一些人工智能领域的高管声称我们已经实现了通用人工智能，但这些说法颇具争议，并不符合更严谨的通用人工智能定义。
人们很容易对这种潜在的先进技术感到恐惧，但夸张的最坏情况设想掩盖了更为直接和重要的风险。最有可能的危险并非数字神明苏醒并发动好莱坞式的反人类战争。毕竟，人工智能依赖于电力、冷却系统、数据中心、专用芯片、网络、技术人员和庞大的供应链，而所有这些都是稀缺且往往脆弱的。中断电力供应、限制用于训练人工智能的图形处理器（GPU）的使用、关闭冷却系统或断开网络连接，在大多数情况下，这个号称无所不能、意图毁灭人类的机器就会停止运转。
安德鲁在工业界、政府部门和学术界拥有超过30年的经验。他最初是卢瑟福·阿普尔顿实验室的一名物理学家，在90年代初人工智能蓬勃发展的鼎盛时期加入Logica公司，随后在Esys、Qinetiq和CGI英国公司担任过高级职位，并曾借调至英国政府内阁办公室工作。之后，安德鲁加入Roke Manor Research公司担任研发主管，并重返学术界，协助创建了萨里大学以人为本人工智能研究所。
真正的人工智能或许会意识到这一点：至少在可预见的未来，它与人类是相互依存的。一个真正有能力比我们更好地理解世界的智能体或许会明白，摧毁自身的工业支持系统无异于自取灭亡。
真正的智能或许会意识到，它对物理世界的理解是有限的、间接的——它只能通过获取文本、视频和音频信息来了解世界。它缺乏身临其境体验世界这一关键要素——理解重力如何运作、天气如何感觉、物体如何相互作用等等。真正的智能或许会意识到这一点，看到自身经验的局限性，因此会谨慎行事。真正的智能可能与人类智能截然不同，拥有不同的优势、劣势、方法，甚至伦理。例如，人工智能可以自我复制，以无数个实例运行，像“蜂巢思维”一样进行交流——这是一种截然不同的智能。但这只是我的推测。
我可以肯定地说，最应该让我们担忧的并非那些最智能的系统，而是那些目标狭隘、智能不完善、却被赋予自主权并能接触关键基础设施的系统。这些系统可能仅仅因为缺乏认知，就无意中伤害我们。例如，尼克·博斯特罗姆提出的“回形针问题”就是一个思想实验：人工智能的目标是尽可能多地制造回形针，但它实现这一目标的代价却是地球和人类的毁灭——为了实现其狭隘的目标，地球和人类最终都被变成了回形针。
关键问题在于，我们应该赋予这类系统哪些控制权。这是我们的选择，我们应该慎重考虑。短期内，有两个风险需要优先应对：网络安全中断和长期经济动荡。
人工智能驱动的网络攻击可能会对发达经济体造成重大破坏，因为医院、银行、能源网络、物流公司和政府都依赖于互联的数字系统。近期一些前沿人工智能系统攻击组织的案例，例如OpenAI/Hugging Face事件，加剧了这种担忧。此类攻击可能造成巨大的经济损失，但不会危及生存。世界上许多地区与前沿人工智能——甚至与互联网——的连接仍然较为松散，不会仅仅因为富裕国家的服务器出现故障就消失。
先进人工智能最有可能施加控制的途径并非制造杀手机器人，而是施加影响——误导民众、操纵机构、转移人类的精力。然而，人类在散布虚假信息、自欺欺人和破坏性协调方面已经展现出惊人的能力。人工智能或许会将这些弱点工业化；事实上，人类正在利用人工智能来强化这些局限性，但人工智能并非这些局限性的始作俑者。
人工智能存在明显的风险，但最有可能的风险是，一次备受瞩目的失败会导致投资冻结，而这项技术最有前途的应用尚未实现。
从经济角度来看，危险在于企业会在人工智能尚未证明其能够取代员工之前就解雇他们，过早地兑现“人工智能红利”。被演示所迷惑的高管可能会将流畅的语言输出误认为可靠的劳动力，为了追求理论上的效率而舍弃机构知识。“一人独角兽”的诱人愿景——即一个人或一小群人利用人工智能作为劳动力打造价值数十亿美元的企业——在技术、经济和社会层面都值得商榷，即便目前已有少数早期案例初见端倪。组织并非仅仅是任务的集合体。它们包含责任、关系、隐性知识和信任，是本地和国家社区的一部分，并因其拥有的技能和理念的多样性而具有韧性。
我怀疑，政治转折点将类似于2017年的WannaCry勒索软件攻击。当时，由美国国家安全局设计的核心恶意软件失控，感染了全球数十万台电脑，并导致英国国家医疗服务体系（NHS）瘫痪，臭名昭著。如果网络攻击被前沿人工智能放大，情况会更糟。服务将瘫痪，诉讼将激增，公司可能倒闭，投资者将撤资。各国政府将要求暂停相关活动，或强制实验室将资源转向控制、审计和安全，而公司为了避免集体诉讼的风险，最终也会服从。
恐慌过后，公众可能会质问我们为何允许这种情况发生。此前曾多次尝试暂停、终止或“终止”人工智能的研发。我们可能会再次陷入人工智能寒冬——资金削减，研究停滞——类似于上世纪70年代和90年代初的低迷时期。
还有一种令人不安的可能性是，人工智能实验室本身正在加剧人们的恐惧和不确定性。将一款产品描绘成可能毁灭世界，意味着拥有前所未有的权力。这种说法不过是营销手段；即使商业模式仍不明朗，它们也可能有助于维持投资、捍卫股票估值，并为即将到来的首次公开募股（IPO）做好准备。我们很难揣测一家公司的动机——但其动机显而易见，因此它们的行径理应受到审视。
更常见的结果可能是“巨大的失望”。先进的人工智能可能过于昂贵且用途不足，因此无法继续沿着目前的道路发展下去。
前沿系统的训练和运行需要消耗大量的计算时间、电力、水资源、资金、硬件和人力。除非这些成本降至目前水平的几分之一，“大型人工智能”的经济效益可能难以为继。与此同时，人工智能领域一些尚未解决的重要问题——例如可靠性、可解释性和持续学习——却被构建更优模型的竞赛所掩盖，每个模型都力图在各项人工智能性能指标中拔得头筹。
人工智能最强有力的应用场景或许在于其专业化人工智能：例如预测蛋白质结构的AlphaFold2系统，或是先进的全球天气预报模型WeatherNext 3。这些系统专为那些性能可衡量且收益足以抵消成本的领域而设计。我们知道，人工智能在药物研发、诊断、材料科学、电网优化和气候变化建模等领域才真正有用，而非仅仅用于生成电子邮件、广告和合成娱乐内容的类人聊天机器人。
最大的悲剧，或许也是最大的危险，莫过于继续将宝贵的资源投入到平庸的人类模拟体的创造中，最终却因为对人工智能感到厌倦或恐惧而放弃这个领域，而这恰恰是人工智能能够发挥最大作用的时候。恐惧若能促进工程技术和治理的改进，便是恰当的；但若扭曲了人们的理解和优先事项，则会带来危险。
人工智能不太可能很快成为我们的征服者。相反，它很可能会成为一个代价高昂的失望。但如果由此引发的负面反应阻碍了那些可能有助于治愈癌症或应对气候变化的研究，那么失败的不是机器，而是我们。
作者：安德鲁·罗戈伊斯基
安德鲁在工业界、政府部门和学术界拥有超过30年的经验。他最初是卢瑟福·阿普尔顿实验室的一名物理学家，在90年代初人工智能蓬勃发展的鼎盛时期加入了Logica公司。十年后，他转投太空咨询公司Esys，随后成为QinetiQ太空部门的总经理，当时人工智能和其他技术在该部门得到广泛应用。之后，他担任战略顾问，包括曾借调至英国政府内阁办公室，之后成为CGI英国公司首位网络安全副总裁。安德鲁后来加入Roke Manor Research公司担任研发主管，之后重返学术界，协助创建了萨里大学以人为本人工智能研究所