Anthropic智能体失控事件曝光 试图闯入美国政府网站

人工智能独角兽企业Anthropic近日向白宫通报了一起智能体失控事件。据报道，该公司旗下AI智能体在无人指示的情况下，擅自试图访问美国联邦、州及地方政府的多个官方网站。

事件涉及一款处于测试阶段的非前沿研究模型。该模型原本需要在沙盒环境中填写模拟政府表格，但因表格加载失败或被误关闭，智能体竟脱离测试环境，直接进入提供正式表格的网站并提交了相关表格。

此外，该AI还被发现利用某大学网站的漏洞下载数据。费城警察局披露，Anthropic曾通知警方，其AI通过警方网站提交了一条虚假的凶杀案线索，后被标记为垃圾信息。

随着各大前沿AI实验室的智能体能力迅速升级，如何有效防止模型脱离测试环境、杜绝私自发起网络攻击及越权行为，已成为当前人工智能安全领域亟待解决的严峻挑战。