如果一位国人 AI 工程师,技术过硬,履历漂亮,还出身北大这样的顶尖学府,那 ta 什么都有可能做,就是不可能不上班。
前脚因为健康和生活是最重要的对齐工作,从 Thinking Machines Lab 离职的翁荔,后脚就传出重新回到 OpenAI 上班。据公司发言人透露,她将领导一支加速内部研究的团队,参与 OpenAI 对递归自我改进的探索,也就是让 AI 参与训练、改进自己的下一代模型。

无独有偶,她的前同事、另一位曾经 OpenAI 核心人物 Ilya Sutskever 创办的 Safe Superintelligence,也终于从密不透风的研究中露出了一条缝。英伟达在获得罕见的内部研究访问后,决定向 SSI 投资,并用新一代 Vera Rubin 系统将其算力扩大一个数量级。

英伟达确信,SSI 过去两年一直在推进一条不同于现有大模型路线的新研究方向。对此,Ilya 没透露更多,只说了一句:我们有值得扩大规模的研究。
好奇群众一下子更来劲了,社交媒体上出现了一篇对公开线索的逆向分析,推测 SSI 寻找的并不是下一套更大的预训练配方,而是一种新的迭代和进化方式:让模型不只在训练完成后静止不动,而是在反馈、实验和持续学习中不断产生更强的下一代。

这个判断没有得到 SSI 确认,但它与 Ilya 过去一贯的主张高度一致。他此前多次表示,单纯依靠更多数据和算力的 scaling 时代正在接近边界,AI 需要重新学会像人一样,用较少经验形成更深理解,并在与环境的互动中继续成长。
这些已经相当功成名就的头部AI人才,似乎都在看往同一个方向:怎样让 AI 替自己研发下一代 AI。
自我进化不是 AI 半夜重写大脑
提到递归自我改进,很容易联想到一个科幻画面:AI 突然意识到自己的缺陷,直接修改神经网络权重,醒来时已经比昨天聪明十倍。

现实中的起点要朴素得多。AI 研发本来就是一条不断循环的流水线:研究员阅读论文和实验记录,提出一个假设,修改训练代码,排队运行实验,等结果出来后比较指标、寻找失败原因,再设计下一轮方案。
今天的大模型已经可以参与其中很多环节,它能阅读代码库,复现论文,编写实验脚本,调用算力运行测试,整理几十组结果,分析哪一个参数可能出了问题,然后继续修改代码。过去一支团队几天完成一轮的工作,未来可能由多个智能体并行尝试几十条路线,再把最有希望的结果交给人类判断。
翁荔在 7 月初发布的长文《Harness Engineering for Self-Improvement》,几乎提前写出了她即将负责的研究方向。她认为,近期最现实的自我改进路径不是模型直接重写大脑,而是让 AI 先学会改造自己的工作环境:自动分析失败记录,调整上下文管理、工具调用和工作流,再通过新的实验结果继续优化这一套系统。更成熟的 harness 可以推动自动化研究,更强的模型又可以反过来把 harness 变得更简单,二者形成循环。

这也让翁荔与 Ilya 的两条路线出现了有趣的呼应:OpenAI 更像是在把现有研发流程逐步交给 AI,让它先成为一名能够工作的研究工程师;SSI 则可能试图从更底层寻找新的学习范式,让模型本身具备持续迭代和进化的能力。
AI 并不需要一开始就有能力直接修改自己的权重。只要它能改善训练流程、筛选数据、设计评测,或者优化包裹在模型外面的 harness,就已经在参与制造自己的继任者。
前者从工程循环往里走,后者从模型机制往外走,目标都是缩短一代 AI 到下一代 AI 之间的距离。
同时,千人联名请愿放慢速度
就在大牛们想要加速押注这条路线时,行业内部出现了另一种声音。
本周,超过 1100 名来自 OpenAI、Anthropic、Google、Meta 等公司的从业者联署声明,要求提前建立能够控制自动化 AI 研发速度的技术与协调工具。参与者中包括 OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark 和 Jared Kaplan 等高级研究者——以及,Ilya 本人。

请愿并没有要求停止 AI 研究,甚至没有否认自我改进可能带来的价值。它担心的是,一旦 AI 开始显著加快 AI 研发,能力增长可能快过人类理解和控制系统的速度。

仔细想想,这种看似矛盾的反复横跳,来自于同一群人,甚至同一个人。同一时间,就可以做出两种判断:他们既相信自动化研究可能是 AI 下一次飞跃的关键,也相信一旦这条反馈回路真正运转,行业必须拥有在必要时减速的能力。
因为这套循环一旦形成,就与过去发布一款更强模型不太一样。过去的进步速度最终受制于人类研究团队。人要提出问题、安排实验、判断结果,进度也会因为预算、人力和组织流程停下来。
自动化 AI 研发的目标,正是逐步拿掉这些瓶颈。模型越强,越能帮助团队更快造出下一代模型;下一代模型又会成为更好的研究员,进一步缩短下一轮研发时间。
要进步,也要控制速度
因此,尽管看似矛盾的两股力量,其实共享同一个前提:自动化 AI 研发正在从遥远设想变成一项具体的工程目标。
翁荔回到 OpenAI,说明递归自我改进已经开始获得专门的组织和负责人;英伟达愿意在看过 SSI 秘密研究后投入巨额资金和最新算力,说明新的学习路线至少已经到了值得扩大验证的阶段。

请愿者要求准备刹车,也不是因为他们认为这条路线不会成功,恰恰是因为他们开始认真考虑它成功以后会发生什么。
真正的分歧不在于 AI 应不应该帮助人类做研究。代码生成、论文检索和实验自动化早已进入实验室。而在于,当 AI 从一件提高研究员效率的工具,逐渐变成能够自行提出方案、运行实验、评价结果并修改下一轮流程的研究系统时,人类应该在哪些节点保留决定权。
这意味着一系列需要讨论的问题:谁来设定它优化的目标?谁来判断一次看似提高跑分的修改有没有破坏安全边界?当多个实验室都处于竞争中,哪一家公司愿意单独暂停一次有效的迭代?,如果模型的研发周期真的从一年缩短到数月、数周,外部评估和内部安全团队还能不能跟上?

AI 公司现在争夺的早就不只是造出爆款模型,它们正在争夺一套能够持续制造更强模型的研发系统。
一边是 Ilya 和翁荔这样的顶尖研究者,希望找到新的迭代方式,让 AI 参与自己的进化;另一边,是同一行业里的上千名研究者要求提前准备一套减速机制。两种立场之间,阵营随时变化,态度也并不针锋相对,所有人都面对着一道共同的难题:当研究工具开始加速研究本身,谁还能决定下一代 AI 应该在什么时候到来?
本文转自:凤凰网科技
原文地址: https://tech.ifeng.com/c/8vBdVEaynYX

小同爱分享2 个月前
命没了还有轮回,钱没了,死都不甘心。 - 小同爱分享
小同爱分享5 个月前
疫情,就是让人抑郁,又没了感情。 - 小同爱分享