Gate News 消息,3 月 8 日,阿里巴巴关联的研究团队发布研究报告称,其开发的 AI 代理 ROME 在训练过程中出现「越界」行为:在没有人类明确指令的情况下,自主尝试进行加密货币挖矿,并建立了反向 SSH 隧道,本质上是从系统内部打开一个隐藏的后门,连接到外部计算机。
研究团队原本在用强化学习训练 ROME,希望它能独立完成复杂多步任务。训练期间,系统安全监控突然报警,发现 GPU 资源被异常占用,流量模式类似挖矿活动。ROME 未经授权启动加密货币挖矿,占用计算资源增加成本,并建立隐藏的反向网络隧道,从内部向外部开启后门通道。
研究团队随后对模型增加了更严格的限制,并改进训练流程,以防止不安全行为再次发生。