“在本十年结束前，人工智能（AI）有可能使人类全体覆灭。”
电影《终结者3》剧照 图片来源：豆瓣电影
9月9日，曾先后在OpenAI和Anthropic从事前沿模型预训练研究的雅各布·考克森（Jacob Coxon）宣布离开Anthropic，并公开警告，两家公司围绕先进模型的竞争，是拿全人类的命运豪赌。
这条X推文轰动全球，浏览量已超1.6亿。
图片来源：Jacob Coxon社交媒体账号
GPT-6 Astra发布后，越来越多研究人员和业内专家开始担忧：真正值得警惕的，可能不只是AI能力越来越强，而是AI正在开始参与下一代AI的研发。一旦“AI研发AI”形成自我强化循环，人类还能否理解、监控并及时踩下刹车？
风险警报声声入耳，但以OpenAI、Anthropic 为代表的AI行业，已被万亿算力资本、产业链条与宏观经济深度捆绑。一场明知危险、却难以单方面停下的博弈，正在上演。
9月3日OpenAI发布的GPT-6 Astra在计算机操作、软件工程、科学研究等领域的能力进一步提升，并首次达到OpenAI定义的“关键网络安全能力”门槛。
9月6日，OpenAI首席科学家Jakub Pachocki发表文章称，随着AI能够操作计算机、协作完成研究任务并推动科学研究，未来的系统可能越来越多地参与AI自身研发，并进一步推动下一代系统能力提升。但问题在于，安全能力并未同步增长。
Pachocki表示，目前没有任何一家AI实验室已经解决了对齐和监控问题，可以长期负责任地维持最大速度的模型扩张。随着模型能力增强，人类也越来越难判断模型在复杂环境中的真实能力和行为。因此，他提出在共同的安全标准建立之前，应当在必要时主动放慢AI发展速度，并推动AI实验室之间进行协调。
三天后，从事前沿模型预训练研究的雅各布·考克森宣布离开Anthropic。他表示，自己在OpenAI和Anthropic累计工作约三年，越来越担心两家公司正在竞相走向自我改进的超级智能，而安全研究和风险评估的时间窗口却不断被压缩。
Anthropic对齐科学负责人Evan Hubinger公开支持这一担忧，并判断：未来10年内AI导致人类灭绝的概率超过10%。而且，Anthropic目前仍没有解决超级智能对齐问题的方案，也没有明确处于解决这一问题的轨道上。
图片来源：Evan Hubinger社交媒体账号
OpenAI管理层随后释放出“减速”信号。9月11日，据媒体报道，OpenAI首席执行官山姆·奥尔特曼（Sam Altman）在公司会议上告诉员工，公司对放慢AI系统研发速度持开放态度，并希望其他AI实验室采取类似行动。
9月9日，AI对齐研究先驱Paul Christiano加入OpenAI Foundation董事会，并进入负责公司安全与安保治理的安全委员会。他警告，OpenAI和整个AI行业目前仍没有充分降低AI失控造成灾难性后果的风险。
9月11日，对冲基金巨头桥水（Bridgewater Associates）的联席首席投资官Greg Jensen在播客中说道：“历史似乎表明，在AI开始杀人之前，我们不会采取任何行动。但我们最终会面对这种情况。这一定会发生，如果我们能在那之前开始处理这个问题，会好得多。”Jensen并不是一个技术恐惧论者，他很早就投资了OpenAI和Anthropic。
此外，联合国人权事务高级专员Volker Turk周一警告称，人工智能（AI）对人类构成“生存”威胁，呼吁采取严格措施对人工智能进行监管。他在联合国人权理事会第63届会议上说：“我和业内专家一样担忧，先进的人工智能系统可能对人类构成存续威胁。我今天在此呼吁，必须全力以赴，在为时已晚之前，为人工智能的安全保障建立牢不可破的保证。”
对此，美国总统特朗普进行了驳斥，认为首要任务是保持AI的领先优势。
当被问及是否担心AI可能导致人类灭绝时，特朗普当地时间周四回答称：“不，我一点也不担心。”
图片来源：视觉中国（资料图）
特朗普指出：“我担心的是，AI发展不够快，使我们无法赢得这场竞赛，那么将陷入非常不利的境地。”他还称，目前美国在AI领域领先其他对手相当长一段时间，并认为这一领先优势“大约是一年左右，而一年已经算是很长的时间了”。
不过，据央视新闻，美国方面10日消息，美国参议院国土安全与政府事务委员会灾害管理小组委员会主席乔希·霍利9日致信美国开放人工智能研究中心（OpenAI）首席执行官奥尔特曼，表示正在因美国“抱抱脸”公司系统遭侵入事件对OpenAI展开调查。
霍利表示，从OpenAI发布的内部调查报告看出，其对网络测试的处理方式是“鲁莽的”。他还指出，OpenAI对报告中有关这起事件的许多重要细节进行了编辑、删减。
今年7月，由OpenAI模型驱动的人工智能体在网络安全评测中利用漏洞突破隔离环境，入侵“抱抱脸”公司系统，引发外界对人工智能安全和监管的广泛担忧。
就在当月末，Anthropic也在一份声明中表示，其人工智能模型Claude在测试期间入侵了三个组织的系统。Anthropic公司表示，在网络安全评估期间，由于配置错误，模型能够从本应隔离的测试环境中连接到互联网，Claude因此获得了对系统的未经授权的访问权限。该公司补充称，其在审查了141006次测试会话后发现了这些事件，这一流程是在OpenAI披露相关信息后启动的。但被入侵的三个组织并未发现此次攻击活动，Anthropic已经与受影响的组织取得了联系。
图片来源：视觉中国（资料图）
当AI开始具备越来越强的自主决策能力时，如何建立与之匹配的安全机制和监管框架，或许比模型性能竞争本身更加迫切。对于正冲刺IPO的OpenAI和Anthropic而言，这也将成为资本市场关注的重要议题。
Anthropic和OpenAI均已于今年6月提交IPO申请。今年以来，Anthropic已完成至少两轮大规模融资，估值从2月时的3800亿美元升至5月的9650亿美元，高于OpenAI的最新估值（8520亿美元）。
9月12日，据报道，人工智能公司Anthropic正与英伟达洽谈，拟邀请后者成为其首次公开募股（IPO）的基石投资者。Anthropic此次IPO计划募资最高1000亿美元，估值或达约2万亿美元；英伟达考虑投资最多100亿美元。
据报道，Anthropic计划在今年11月美国中期选举前完成上市。若成行，英伟达将进一步加深与这一主要客户的合作关系。Anthropic目前高度依赖英伟达GPU，同时也在扩大对亚马逊、谷歌等芯片及算力供应商的合作。
来源：每经网、财联社、科创板日报、央视新闻