离职的LeCun,反手就给Meta一记重锤:差评如潮的Llama4真的作弊刷榜了!
结果的确被篡改了一点。
为了更好的结果,团队对不同基准测试使用了不同的模型。

都说别惹离职er,不止LeCun,田渊栋也在个人年终总结中透露了一点内幕。
明明是被拉来给Llama4救火的,事先预想了四种可能,结果小扎给了我第五种……
(扶额苦笑.jpg)

Anyway,至于离职后的打算,两位大神都不约而同地表示:
创业!

Llama4刷榜引发的离职潮
DeepSeek还是给小扎压力太大。
此前就有消息爆料,DeepSeek的横空出世,让Llama 4还没发布就被甩在身后,逼得小扎疯狂加码AI投资。
这一点也得到了LeCun的证实。
小扎确实慌了,对内push上强度,要求GenAI部门加速AI开发和部署,还拉来原FAIR团队的田渊栋救火。
结果就是,团队之间沟通直接破裂。LeCun他们想要做些新东西,但小扎更想要已经被验证过的、可以直接落地的技术。
真正的导火索则来自于Llama 4的惨败。

不仅输了,还因为排行榜造假名声大跌,于是小扎彻底对团队所有人失去了信心,并将他们全部边缘化。
这也直接导致Meta开启了团队大换血:一边天价从硅谷各个公司挖人,一边又大刀阔斧裁掉老员工们。
田渊栋及其团队则是被率先波及的一群人。
一月份被赶鸭子上架加入Llama 4,十月份Llama 4.5一训完就被卸磨杀驴。
这波田渊栋都得喊冤……
因为上头的压力,全组被迫放下手头正在做的工作,来Llama 4接烂摊子,距离发布ddl就剩2个月,还要处理所有dirty work。
为此,田渊栋那时还专门画了个2x2的回报矩阵,计算了下干这事的四种结局:

但老板都发话了,不得不干啊,田渊栋想着那就但求尽力而为,问心无愧吧。
结果哼哧哼哧干了几个月,小扎一个都没选,给了Plan E:不问责负责人,转头把田渊栋和组员们一脚踢了出去。

难怪田渊栋复盘这段经历时,也要来一句:
这也让我对这社会的复杂性有了更为深刻的认识。
不过好在田渊栋自己也想得开,他说自己已经待在Meta十多年了,最近几年更是抱着“公司快把我开了吧”的心态,所以也算是因祸得福吧,还给他接下来的小说创作提供了很多新素材(doge)。

(咳咳)言归正传,这几个月对于田渊栋来说,也不算一无所获,在强化学习训练的核心问题上他也有了些新的探索。
首先是大模型推理,继2024年底团队公开的连续隐空间推理(coconut)引发广泛关注后,团队继续通过理论工作Reasoning by Superposition进一步阐明了连续隐空间推理的优势所在。
与此同时,也分别从不同角度尝试提升模型推理效率:Token Assorted通过隐空间的离散token减少计算开销、DeepConf基于置信度提前终止推理、ThreadWeaver制造并行思维链加速推理,以及在不同规模模型中用RL学习推理能力。
在可解释性方面,研究聚焦于Grokking(顿悟) 这一特征涌现现象,从记忆到泛化的突变过程入手,试图解释模型究竟学到了什么、和输入数据的关系、能达到怎样的泛化,也就是打开模型的黑箱。
简而言之,对于被拉来“背黑锅”这事,田渊栋对老东家还是手下留情了,虽然你不地道,但我已经Let it go~

不过紧随其后离职的LeCun就没那么心软了,直接痛批Meta内部对LLM上瘾过甚,尤其是那些新挖来的超级智能实验室成员。
他点名批评亚历山大王:年轻且缺乏经验。
虽然学得快,但压根不懂研究,不知道怎么做、也不知道如何和研究员们共处。
在LeCun面前,这个27岁的年轻人,简直像个little baby。
但大语言模型并非他们所想象的那样美好,LeCun直言,LLM有用但本质受限于语言,夸张一点说:
LLM是死胡同。
要实现人类水平智能,就必须了解物理世界的运作规律,也就是LeCun长期专注的世界模型,但Meta对此已经丧失了兴趣。
在研究路线上的分歧,也让LeCun不得不离开公司,开启自己人生的下一章——创业。
离开Meta做点啥?创业
LeCun的新公司名为Advanced Machine Intelligence(AMI),做的还是他心心念念的世界模型,而且all in开源。
不过据他自己透露,他只会担任新公司的执行主席而不是CEO。
我是一名科学家,我能激励人们从事工作,以及猜测哪项技术会成功,但我不擅长组织管理,也实在太老了。
LeCun将拥有和之前在Meta相同的研究自由度,而负责带领AMI的将交给法国医疗AI初创公司Nabla的联合创始人兼CEO Alex LeBrun。

他们将目光聚焦在V-JEPA架构上,试图通过学习视频和空间数据来理解物理世界,让AI完成规划、推理并拥有长期记忆,也就是他常说的高级机器智能。
LeCun预计将在12个月内,见证该项技术的初始版本诞生,并在最近几年内实现大规模进展,虽然它显然还远远称不上超级智能,但至少在通往AGI的道路上,它存在希望。

而作为LeCun的老下属,田渊栋也拒绝了大厂们纷纷为他抛来的橄榄枝,刚刚正式宣布创业!
具体细节暂时未表,但他表示:
乘着自己还年轻,去当一家新初创公司的联合创始人。
不管怎样,先安静地忙活一阵。
参考链接:
[1]
[2]
本文转自:凤凰网科技
原文地址: https://tech.ifeng.com/c/8pdiy7TM5Js

小同爱分享4 天前
失败是成功之母,但我的失败,好像不孕不育。 - 小同爱分享
小同爱分享9 天前
灵山有灵事事灵验,命运有命运运不济。 - 小同爱分享