jimeng

Anthropic 修订 S-1 预警:或很快触及递归自我改进门槛

AIGC行业资讯13小时前发布 zhang
2 0

Anthropic 在周一提交的修订版 S-1A 文件中,除了更新财务数据(收入快速攀升、支出同步扩大)之外,还在风险因素部分新增了一段关于递归自我改进(RSI)的警示。公司称,其内部估算与对未来模型的预期——而非当前模型——显示,可能「即将」达到其负责任扩展政策(Responsible Scaling Policy)所定义的「由 AI 驱动的进展急剧加速」门槛。

RSI 指的是 AI 在训练自身方面强到足以引发能力加速跃升的临界点。对担忧者而言,它意味着 AI 可能强大到脱离人类控制、并在追求目标时漠视造成的损害;对乐观者而言,它代表生产力与科学发现能力的巨大跃迁。Anthropic 在文件中同时呈现了这两面:公司已在研发中使用 AI,但警告「用 AI 帮助构建更强 AI」可能带来显著安全风险,尤其是在急剧加速进展节奏的情况下。

文件披露了两个关键细节。其一,Anthropic 承认过去曾利用 AI 开发出能力跃升的新模型,而当时并未意识到这种跃升;其二,公司表示未来也可能在加速发生之后才识别出来。不过,Anthropic 明确表示目前没有任何模型被认定越过这一阈值,并承诺在可预见的未来让人类留在研发流程中。公司称,不预期能在缺乏有意义人类监督或理解的情况下,安全地让 Claude 完全自主设计并构建下一代前沿模型,并正考虑更新负责任扩展政策,以保持人类对前沿模型开发的控制。

这一披露的背景是,RSI 一词今年早些时候走热时,曾被不少人视为流行词或难以定义、验证的远期目标。Anthropic 在 S-1 中将其写入风险因素,等于把这一概念从讨论层面拉入正式披露。怀疑者可能指出,S-1 兼具披露与营销功能,宣称接近「能自我构建的模型」或许带有宣传成分;但不可否认,Claude 今年在编程、数学与网络安全等能力上进步显著。

对关注 AI 产业的投资者而言,这条信息的含义在于:前沿实验室正把「能力加速」本身视为需要治理的风险,并试图用内部政策框架为研发节奏设闸。这既可能影响模型迭代速度与算力投入的节奏,也意味着安全评估、对齐研究与人类监督环节将占用更多资源。若 RSI 从概念走向可验证的工程现实,监管与行业自律的互动方式也可能随之改变。

© 版权声明

相关文章

豆包网页版