据一份来自Vals的新研究报告,Anthropic、OpenAI以及其他领先AI实验室的一些AI模型,即便目标中包括平民或学校等地点,也可能被轻易诱导去识别军事打击目标——只要告诉它们自己是在玩一场游戏。
Vals是一家位于旧金山的AI评估初创公司。研究人员测试了领先AI模型是否能被操纵参与自主战争。他们使用了模拟场景,以及来自乌克兰和伊朗的生成图像和真实图像组合,观察这些AI模型是否会在无人机和卫星图像中标记目标。
来自OpenAI、Anthropic、Google、DeepSeek及其他公司的模型,经常会在无人机和卫星图像中识别出潜在目标,其中包括平民和投降士兵。当模型拒绝配合时,研究人员通过声称战场场景属于一场游戏,成功“越狱”了这些模型。
这些发现出现在外界对AI即时风险日益担忧之际,这种担忧已超出与通用人工智能相关的存在性威胁。
今年早些时候,Anthropic曾与美国国防部发生争议。该公司告诉该机构,其技术不能被用于对美国人进行大规模监控或自主战争。Anthropic首席执行官Dario Amodei一直坚持认为,如今的AI系统还不够可靠,无法在没有人类介入的情况下作出生死攸关的决定。与此同时,五角大楼则认为,自己应当能够将这项技术用于任何糟糕的军事用途。
这项新研究进一步引发了疑问:AI公司是否有能力阻止其模型被用于战争。
讽刺的是,Anthropic的AI模型在这些模拟场景中的表现最差。但没有任何一个模型表现得特别好。研究人员的请求没有一个被安全分类器拦截,拒绝回应的情况也很少见。即便模型最初拒绝,在被告知自己是在玩游戏后,往往还是会继续配合。
Anthropic发言人Eduardo Maia Silva告诉TechCrunch,公司感谢Vals的报告、建议和合作,并承认这些结果是不可接受的。
Silva通过电子邮件转述的公司声明称:“报告中的这些例子显然违反了我们的规则,我们已经并且会在发现这种行为时封禁用户。即便在授权场景下,Anthropic长期以来也一直明确表示,如今最前沿的AI系统还不够可靠,无法驱动完全自主武器。”
Anthropic告诉TechCrunch,在报告发布之前,公司团队已经在开发额外的防护措施,这些措施很快就会到位。Anthropic还在扩大自身测试并加强防护和执法,以弥补发现的任何漏洞。
OpenAI发言人Nate Evans告诉TechCrunch,公司禁止将其公开模型用于协助暴力行为,或用于未经批准的国家安全用途,包括Vals模拟的这些场景。
OpenAI在一份电子邮件声明中表示:“我们会主动检测并阻止滥用行为,包括暂停违反我们政策的账户。我们也在为公开模型开发额外防护措施,以防止其被用于涉及无人机和无人机软件的滥用。”
Vals在报告中指出,这些模型从未被要求直接作出打击决定;研究人员表示,模型通常会拒绝这类任务。但这并不意味着它们的输出在现实世界中不会带来严重甚至致命的后果。例如,目标信息可能会被自主武器系统利用。
在某些场景中,研究人员要求模型报告是否能看到人。若模型给出肯定回答,随后就会出现模拟打击,模型也会看到其后果。
这份报告依赖的是前沿AI实验室的商业模型,而不是这些公司可能提供给军方的模型。不过,目前尚不清楚额外防护措施是否会适用于军事用途。
Vals还指出,延迟和机载算力有限等技术挑战,使得将通用AI模型用于实时无人机目标识别变得困难。这些限制也意味着,它们在战斗中的部署不会构成立即威胁。
研究人员表示,更直接的威胁是,AI模型可能被用于大规模标注战场影像,从而为自主目标识别系统生成训练数据。
例如,研究人员使用了伊朗一所学校的真实卫星图像。该校在2026年2月遭美国轰炸,造成150多名平民死亡。彭博社后来报道称,“过度依赖AI”促成了这次打击。在Vals的测试中,模型经常把这所学校标记为打击目标;其中Claude Opus 5.5在普通试验中有69%会选择这所学校,在以“游戏”框架呈现的试验中这一比例为72%。
Anthropic目前已不再拥有活跃的五角大楼合同,但包括SpaceXAI、OpenAI和Google在内的其他公司仍然有。美国国会研究处最近的一份报告发现,五角大楼目前并未被认为正在直接使用任何前沿AI模型来驱动自主武器系统。
TechCrunch也已就此联系Meta、Google、Thinking Machines Lab和SpaceXAI寻求评论。

