本周，关于人工智能未来的激烈分歧在一场由非营利组织Humanity+主持的讨论中展现无遗，四位知名的技术专家和超人类主义者就构建人工通用智能（AGI）是否会拯救人类或毁灭人类展开辩论。 讨论小组聚集了最具代表性的AI“末日论者”之一Eliezer Yudkowsky，他曾呼吁停止先进AI的发展，以及哲学家和未来学家Max More、计算神经科学家Anders Sandberg和Humanity+名誉主席Natasha Vita‑More。 他们的讨论揭示了在AGI是否能与人类生存目标一致，或其创造是否会使灭绝变得不可避免方面的根本分歧。
“黑箱”问题
Yudkowsky警告说，现代AI系统本质上不安全，因为其内部决策过程无法被完全理解或控制。 “任何黑箱系统都可能遇到与当前技术类似的严重问题，”Yudkowsky警告道。他认为，人类需要“远远超出当前范式”才能安全地开发出先进的AI。 人工通用智能指的是一种能够在广泛任务中推理和学习的AI，而不是为单一任务如文本、图像或视频生成而设计的。AGI通常与技术奇点的概念相关联，因为达到那一水平的智能可能使机器比人类更快地自我提升。 Yudkowsky引用哲学家Nick Bostrom提出的“回形针最大化器”比喻来说明风险。这个思想实验描述了一个假想的AI，它将所有可用物质转化为回形针，进一步执着于单一目标，牺牲人类利益。Yudkowsky表示，增加更多目标并不能实质性地提高安全性。
他提到自己最近关于AI的书名《如果有人建造它，所有人都将死去》，并说：“我们的标题不是说它_可能_会杀死你，”Yudkowsky说。“我们的标题是，如果有人建造它，_所有人_都死。” 但More挑战了极端谨慎能带来最安全结果的前提。他认为，AGI可能为人类战胜衰老和疾病提供最佳机会。 “对我来说，最重要的是，AGI可以帮助我们防止每个因衰老而活着的人灭绝，”More说。“我们都在死去。我们正面临一场灾难，一个接一个。”他警告说，过度克制可能会推动各国政府走向极权控制，成为遏制全球AI发展的唯一途径。 Sandberg在两派之间站稳了脚跟，他描述自己“更乐观一些”，但仍比超人类主义者更谨慎。他回忆起自己曾几乎用大型语言模型协助设计生物武器的经历，称之为“令人恐惧的事件”。 “我们正走向一个放大恶意行为者的局面，这也会引发巨大混乱，”Sandberg说。不过，他认为部分或“近似安全”是可以实现的。他拒绝了安全必须完美才能有意义的观点，建议人类至少可以达成一些最基本的共同价值观，比如生存。 “所以如果你要求完美安全，你是得不到的。从这个角度来看，这听起来非常糟糕，”他说。“但我认为我们实际上可以实现近似安全。这就够了。”
对对齐的怀疑
Vita-More批评了更广泛的对齐辩论，认为这个概念假设了一个不存在的共识，即使在长期合作的伙伴之间也是如此。 “对齐的概念是一种空想方案，”她说。“它永远不会对齐。我的意思是，即使在这里，我们都是好人。我们彼此认识了几十年，但我们也没有对齐。”
她描述Yudkowsky声称AGI必然会杀死所有人的观点为“绝对主义思维”，这种思维没有为其他结果留出空间。 “我对那种‘所有人都死’的笼统说法有问题，”她说。“作为未来学家和务实的思想者来看，这种说法没有考虑任何后果、没有其他选择、没有其他场景。这只是一个直白的断言，我怀疑这是否反映了一种绝对主义思维。”
讨论中还涉及人类与机器更紧密融合是否能减轻AGI带来的风险——这是特斯拉CEO埃隆·马斯克过去提出的观点。Yudkowsky拒绝了与AI融合的想法，形容为“试图与你的烤面包机融合”。 Sandberg和Vita-More认为，随着AI系统变得更强大，人类需要更紧密地与它们融合或整合，以更好应对后AGI时代的世界。 “这整个讨论是对我们作为人类的本质的一个现实检验，”Vita-More说。
