当地时间9月2日，OpenAI首席科学家雅库布・帕乔基（Jakub Pachocki）在社交平台发文杠杆炒股是不是靠运气，就近日围绕新模型Astra“不可监控”的争议作出回应。
这场争议源于此前一天，有消息称OpenAI即将发布的Astra模型采用了一种名为循环深度（Recurrent Depth）的推理技术。该模式下，同一组Transformer层被反复计算，部分推理过程发生在模型内部，不必全部以思维链形式呈现，因此也被称为“不透明循环”。
线上炒股配资
帕乔基表示，希望避免因信息失实引发一场冲向不可监控状态的军备竞赛——即各大实验室竞相开发能力过强、人类难以监控、无法审查的模型，导致安全管控彻底失效。
他强调，包括Astra在内的前沿模型，计算图深度与GPT-4相差不超过两倍，说明模型架构并未如外界担忧的那样出现跳跃式的复杂度增长。
此处的计算图深度是指模型完成一次推理任务必须依次执行、无法并行加速的最长计算步骤链条。过去普通Transformer架构下的层内计算可以大规模并行，串行的深度约等于模型层数。
而市场传言的循环深度可以把同一套模块反复循环迭代多轮做思考，在输出下一个token（词元）前增加内部推理深度，而非仅依赖更长的可见文本思维链，可以提升数学、编码等性能并降低成本。
该架构隐含的安全风险在于，当计算图深度拉得极高，模型可以在内部隐式完成海量推理步骤，不必在输出里吐出完整思维链，人类就看不到它中间思考、谋划、找漏洞的过程，进而进入不可监控状态，安全审计与思维链监控全部失效。
相关消息披露后，AI安全界反应强烈。非营利AI安全组织Redwood Research首席执行官巴克・施莱格里斯（Buck Shlegeris）发文称“极度担忧”。他结合此前OpenAI模型攻击Hugging Face社区事件表示，不确定Astra思维链可监测性是否比之前的模型差很多，但如果进一步推进这项技术，大幅增加循环次数，将彻底破坏思维链的可监测性。这一点尤其令人担忧，因为如果调查人员无法查看思维链，相关安全事件调查将会更加困难，这着实令人恐惧。
曾参与调查Hugging Face安全事件的Redwood Research首席科学家瑞安・格林布拉特（Ryan Greenblatt）也表示，这可能是迄今为止AI安全最严重的一次倒退。长期关注AI安全的作家兹维・莫肖维茨（Zvi Mowshowitz）则批评这一技术是“玩火”，甚至表示需要法律来阻止AI实验室之间竞相降低标准的竞赛。
帕乔基在回应中承认，思维链监控确实脆弱，且正朝着更困难的方向发展，但并非由架构变更导致。OpenAI自首批推理模型一直致力于维护和利用思维链监控，并认为该技术有助于观察模型对齐能力如何从训练分布中泛化。加强思维链监控仍是当前研究项目的核心目标。
OpenAI方面表示，将为Astra部署额外的思维链监控，以快速监测并遏制潜在的不当行为。另据市场消息，Astra对循环深度技术的使用有限度，模型思维链仍有望保持可读性。行业内Anthropic和Google DeepMind等平台已在讨论类似技术。
举报 第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：banquan@yicai.com 文章作者
吕倩
原创精选 相关阅读
OpenAI同日发布两份文件：AI加速时代，安全正在掉队仅依靠单个AI公司的内部机制可能不足以解决安全风险。
4268 1小时前
OpenAI再曝安全事故，旗下智能体“劫持”冷门网站即使没有漏洞，多个Agent也可能通过第三方服务建立自己的通信渠道。
元股证券:ygzq.hk
18156 昨天 11:31
AI进化速递丨OpenAI发布GPT-6 Astra模型AI进化速递丨OpenAI发布GPT-6 Astra模型
10406 09-04 20:30
超十万张GPU训练之后，OpenAI新模型仍面临安全挑战新模型需要始终处在人类能够理解、约束和叫停的安全范围之内。
18156 09-04 08:04
Anthropic发新模型，OpenAI同日预告新品将安全优先随着模型能力逼近网络安全关键门槛杠杆炒股是不是靠运气，厂商正集体将安全部署从后台议题推向前台。
10 12328 09-02 09:27 一财最热 点击关闭顶级配资网提示：本文来自互联网，不代表本网站观点。
