“如果人工智能是一塊蛋糕，那么無(wú)監(jiān)督學(xué)習(xí)是蛋糕的主體，監(jiān)督學(xué)習(xí)是糖霜，強(qiáng)化學(xué)習(xí)只是頂上的櫻桃?！?/p>

強(qiáng)化學(xué)習(xí)，重新變得性感了。

就在3月5日，2025年的圖靈獎(jiǎng)?lì)C給了強(qiáng)化學(xué)習(xí)的兩位理論奠基者——安德魯·巴托和理查德·薩頓(Richard Sutton)。

這次頒獎(jiǎng)，像是一個(gè)不斷放大的信號(hào)，揭示了一個(gè)越來(lái)越明確的AI研究范式轉(zhuǎn)折——引入RL，AI研究從“快思考”推進(jìn)到“慢思考”(在推理時(shí)深思熟慮)。

在過(guò)去這一年間，RL從一度沉淪的位置，重新走回了AI研究的閃光燈中心。2024年下半年，OpenAI率先發(fā)布了它在LLM基礎(chǔ)上，用RL實(shí)現(xiàn)“深度思考”的成果——o1，設(shè)定了新的終點(diǎn)線。今年初，DeepSeek將賽道上的迷霧更進(jìn)一步迅速驅(qū)散了，把自己的方案完全開(kāi)源，在LLM中加入“純RL”，讓R1的推理能力比肩甚至超過(guò)o1。關(guān)于RL能幫助通往AGI的共識(shí)，迅速凝聚。

一些RL領(lǐng)域的研究者幾乎要喜極而泣了。

AlphaGo曾經(jīng)用驚艷的“神之一手”打敗了人類(lèi)圍棋的最頂 尖高手李世石，讓世人第 一次大規(guī)模地為AI的智力驚喜以及驚嚇。RL，正是AlphaGo訓(xùn)練的理論基石。

RL的研究者們認(rèn)為，機(jī)器的學(xué)習(xí)，可以類(lèi)比人類(lèi)，就像多巴胺激勵(lì)神經(jīng)元，機(jī)器也能通過(guò)與環(huán)境的反饋互動(dòng)不斷改進(jìn)提升能力。人的時(shí)間經(jīng)驗(yàn)有限，而機(jī)器不受這些限制，在RL中能夠有超人的潛力。

這曾經(jīng)一度是人們對(duì)通往AGI的最主流想象。

但在2020年后，更多的人被“LLMs and scaling laws are all you need”吸引走了。大語(yǔ)言模型，以及越來(lái)越龐大的預(yù)訓(xùn)練數(shù)據(jù)集，將AI的智能推進(jìn)到了新的階段，也把不走“大力出奇跡”路線的RL相對(duì)邊緣化了。

因?yàn)長(zhǎng)LM能夠?qū)崿F(xiàn)看起來(lái)更通用的智能，而RL只能在獎(jiǎng)懲明確的特殊環(huán)境中訓(xùn)練出“專(zhuān)科”智能，只能“玩游戲”，而無(wú)法處理復(fù)雜的現(xiàn)實(shí)環(huán)境。

在一些論壇的AI板塊討論中，從業(yè)者們明確地感覺(jué)到，RL的“市場(chǎng)關(guān)注份額”流失，有人抱怨“找不到RL工作”。一些“RL是否走進(jìn)死胡同”的論戰(zhàn)更是非常有意思。RL和LLM的支持者激烈地爭(zhēng)論，誰(shuí)更好地模仿了人類(lèi)的自然認(rèn)知模式，誰(shuí)才更有前途。

直到大語(yǔ)言模型的scaling law開(kāi)始碰壁，科技樹(shù)上的一場(chǎng)新較量開(kāi)始了。

這正是一部人類(lèi)智慧交替閃耀的故事。通往AGI的路上，原本是一片黑暗，有人提出用刀耕，有人用火種，有人用哲思，都獲得過(guò)成就，也遭遇過(guò)瓶頸。而在新的障礙面前，這些方法的新組合，把人類(lèi)帶到了新的起點(diǎn)。

AlphaGo

2016年3月的首爾，深度學(xué)習(xí)歷史上最 具開(kāi)創(chuàng)性的時(shí)刻之一正在這里發(fā)生。在擊敗歐洲圍棋冠軍Fan Hui后，AlphaGo正式挑戰(zhàn)全球圍棋冠軍李世石。這被全球媒體視為人類(lèi)智識(shí)尊嚴(yán)和人工智能的對(duì)決。

結(jié)果足夠驚悚，AlphaGo以4:1的絕 對(duì)優(yōu)勢(shì)，戰(zhàn)勝了14次圍棋世界冠軍得主李世石。人類(lèi)轟轟烈烈地落敗了。

在第二局的第37手，AlphaGo出了讓所有人都困惑不已的一招，落在第五線，而非傳統(tǒng)最 優(yōu)選的第三線。解說(shuō)室懵了，一位評(píng)論員稱(chēng)不知是好是壞，另一位說(shuō)“這是一個(gè)錯(cuò)誤。”

第37手出現(xiàn)的概率是萬(wàn)分之一。在AlphaGo的研究員看來(lái)，沒(méi)有人類(lèi)會(huì)這么下，但這一手仍然是正確的，“它通過(guò)內(nèi)省過(guò)程發(fā)現(xiàn)了這一點(diǎn)。”同樣在觀戰(zhàn)的Fan Hui評(píng)價(jià)這是“神之一手”。

AlphaGo戰(zhàn)勝李世石，一下子讓AI在公眾認(rèn)知中爆發(fā)了，AI迎來(lái)了前所未有的希望和期待，甚至讓大眾第 一次真正恐懼“AI比人更聰明”。RL的巨大潛力，恐怖如斯。

谷歌的核心高管悉數(shù)到達(dá)首爾，來(lái)見(jiàn)證這個(gè)“代表谷歌互聯(lián)網(wǎng)業(yè)務(wù)未來(lái)”的AI技術(shù)。這場(chǎng)比賽對(duì)谷歌非常重要。

谷歌是2010年代那一波歷史性的AI人才爭(zhēng)奪戰(zhàn)的最積極下注方。辛頓僅用4顆GPU和更好的神經(jīng)網(wǎng)絡(luò)算法，就把谷歌用了16000顆CPU的“谷歌貓”踩在腳下，震驚業(yè)界。谷歌毫不吝惜地以4400萬(wàn)美元拍下辛頓三人的純智力公司，又砸了4億英鎊把英國(guó)初創(chuàng)公司DeepMind納入麾下。

DeepMind當(dāng)時(shí)展現(xiàn)給谷歌的RL路線，并不是谷歌當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)做圖像識(shí)別、音頻理解等研究方向。但創(chuàng)始人哈薩比斯聚集了當(dāng)時(shí)最 好的一批人才，這非常珍貴，哈薩比斯和不少同事都算是辛頓的學(xué)生。更重要的是，哈薩比斯曾用“圍棋”和“打造人腦一樣的通用人工智能”成功說(shuō)服彼得·蒂爾(Peter Thiel)投了140萬(wàn)英鎊，也讓谷歌相信了RL讓DeepMind構(gòu)建了一個(gè)系統(tǒng)，這是在通用人工智能方面的第 一次真正嘗試。

攻克古老的圍棋，是DeepMind向谷歌證明自己的第 一步。哈薩比斯是一個(gè)愛(ài)玩游戲的學(xué)霸，他研究AI，把兩個(gè)愛(ài)好完 美結(jié)合，把AI扔進(jìn)游戲里，反復(fù)試錯(cuò)，直到它玩得比人類(lèi)更好。

AlphaGo有兩個(gè)神經(jīng)網(wǎng)絡(luò)，一個(gè)負(fù)責(zé)策略，輸出下一步落子的概率；另一個(gè)是價(jià)值網(wǎng)絡(luò)，來(lái)輸出落子的勝率。AlphaGo初始學(xué)習(xí)了3000萬(wàn)步圍棋專(zhuān)家的下法，然后一場(chǎng)接一場(chǎng)地與自己對(duì)抗，分析哪些下法是更有利的，飛速進(jìn)步。

在后續(xù)的版本AlphaGo Zero中，DeepMind把RL進(jìn)一步做到極 致——不再提供海量對(duì)弈棋局的初始數(shù)據(jù)，僅告知基本規(guī)則，由它自我對(duì)弈數(shù)百萬(wàn)次，發(fā)現(xiàn)獲勝策略。AlphaGo Zero經(jīng)過(guò)3天的訓(xùn)練，就獲得了比擊敗李世石的版本更強(qiáng)的能力，與后者對(duì)弈的勝率是100比0。

而AlphaGo Zero遠(yuǎn)比AlphaGo強(qiáng)大的原因，正在于RL占比提高了。取名為Zero，也暗示了它是真正從零做起，完全自學(xué)成才。

一時(shí)間，DeepMind的論文《Mastering the game of go without human knowledge》火得發(fā)燙。該論文稱(chēng)，即便是在最 具挑戰(zhàn)性的領(lǐng)域中，單純使用RL的方法也是完全可行的:沒(méi)有人類(lèi)實(shí)例或指導(dǎo)，沒(méi)有基本規(guī)則之外的知識(shí)，訓(xùn)練達(dá)到超人的性能是完全可能的。

AlphaGo Zero更加簡(jiǎn)潔優(yōu)美。AlphaGo的初始版本需要176個(gè)GPU和1202個(gè)CPU，AlphaGo Zero只需要一臺(tái)機(jī)器和4個(gè)TPU。

AlphaGo Zero將RL的路線帶到業(yè)界熱情的頂峰。在2018年12月，AlphaGo Zero登上了《科學(xué)》雜志封面。《科學(xué)》雜志給出了這樣一句評(píng)價(jià)，“能夠解決多個(gè)復(fù)雜問(wèn)題的單一算法，是創(chuàng)建通用機(jī)器學(xué)習(xí)系統(tǒng)，解決實(shí)際問(wèn)題的重要一步。”

DeepMind商業(yè)計(jì)劃書(shū)的第 一行，就是通用人工智能。當(dāng)時(shí)的巨大成功，讓哈薩比斯更加確認(rèn)了DeepMind的使命，“這是我們開(kāi)發(fā)通用算法的一大進(jìn)步”。

DeepMind繼續(xù)研究如何把提升AlphaGo，把它的能力遷移到其他領(lǐng)域。AlphaGo Zero更加通用，除了圍棋還輕松地在國(guó)際象棋、日本將棋領(lǐng)域達(dá)到頂 尖水平。AlphaFold在預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)上成就斐然，哈薩比斯還因此獲得了諾貝爾化學(xué)獎(jiǎng)。AlphaStar能玩《星際爭(zhēng)霸II》。

業(yè)界對(duì)這一探索方向也懷抱著巨大的希望。RL相關(guān)論文激增。在機(jī)器人、自動(dòng)駕駛、儲(chǔ)能等行業(yè)，RL是一種非常合適的訓(xùn)練學(xué)習(xí)路徑，行業(yè)研究也越來(lái)越深入。

僅統(tǒng)計(jì)arXiv，制圖:20社

“死胡同”

辛頓對(duì)哈薩比斯個(gè)人的聰明程度評(píng)價(jià)甚高，稱(chēng)“他的實(shí)力不僅在智力上，還展現(xiàn)在他對(duì)勝利極端且堅(jiān)定不移的渴望上”。辛頓曾經(jīng)在英國(guó)當(dāng)過(guò)哈薩比斯短暫的導(dǎo)師，在2014年谷歌收購(gòu)DeepMind時(shí)還專(zhuān)門(mén)克服了腰椎間盤(pán)病痛無(wú)法乘民航飛機(jī)的困難，到倫敦提供了關(guān)鍵的科學(xué)顧問(wèn)。

但這位連接主義的大拿，對(duì)哈薩比斯認(rèn)定的RL路線并不認(rèn)可。

2018年，辛頓和楊樂(lè)昆、約書(shū)亞·本吉奧(Yoshua Bengio)憑神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)獲得圖靈獎(jiǎng)。在獲獎(jiǎng)后演講中，辛頓開(kāi)玩笑地要把RL排除在機(jī)器學(xué)習(xí)方法之外，因?yàn)椤氨环Q(chēng)為強(qiáng)化學(xué)習(xí)的第三種方法不太有效?！盧L需要太多的數(shù)據(jù)和太多的處理能力，才能完成真實(shí)世界中的實(shí)際任務(wù)。

要理解他們之間的分歧，我們需要了解一些背景框架。

在AI的漫長(zhǎng)探索中，研究者們都在試圖用人類(lèi)認(rèn)知世界的方式，去建構(gòu)機(jī)器智能的框架(模仿)。因此AI的理論演進(jìn)，一直是和人類(lèi)心理學(xué)、腦科學(xué)、神經(jīng)科學(xué)、哲學(xué)和語(yǔ)言學(xué)的發(fā)展互相糾葛。對(duì)本質(zhì)的不同認(rèn)知，也讓AI研究者分化為主要的三大流派。

符號(hào)主義認(rèn)為，人的認(rèn)知單元是符號(hào)，主張通過(guò)公理邏輯和符號(hào)操作來(lái)模擬人類(lèi)的智能。一度是最 先獲得實(shí)踐應(yīng)用、最風(fēng)靡的流派。IBM的“深藍(lán)”打敗了國(guó)際象棋世界冠軍，本質(zhì)上是符號(hào)主義的成果。

行為主義關(guān)注行為和刺激之間的關(guān)系，讓機(jī)器通過(guò)與環(huán)境交互來(lái)學(xué)習(xí)和改進(jìn)其行為。這也就是RL所屬的流派。

事實(shí)上，RL的發(fā)展歷程非常曲折，經(jīng)歷了多次長(zhǎng)久的寒冬和等待。

最早在在1950年，艾倫·圖靈提出了RL初步的設(shè)想，一種基于獎(jiǎng)勵(lì)和懲罰的機(jī)器學(xué)習(xí)方法。

在這個(gè)想法的基礎(chǔ)上，幾十年后的1980年代，AI的寒冬中，巴托與薩頓在麻省理工默默搭建了RL的理論框架和算法體系。他們最核心的貢獻(xiàn)莫過(guò)于時(shí)間差分學(xué)習(xí)算法，它解決了獎(jiǎng)勵(lì)預(yù)測(cè)的問(wèn)題，agent如何獲得長(zhǎng)期收益。

又過(guò)了40年，巴托與薩頓憑借對(duì)強(qiáng)化學(xué)習(xí)的研究，獲得了圖靈獎(jiǎng)的遲到獎(jiǎng)勵(lì)。

RL的進(jìn)展受制于算法、算力、數(shù)據(jù)三大瓶頸。DeepMind能夠用RL創(chuàng)造出震驚世界的AlphaGo，有一個(gè)重要原因是，它把辛頓等連接主義學(xué)者的成果“神經(jīng)網(wǎng)絡(luò)”借過(guò)來(lái)了。AlphaGo由兩個(gè)13層的深度神經(jīng)網(wǎng)絡(luò)構(gòu)成。

神經(jīng)網(wǎng)絡(luò)和泛化能力的引入，從根本上改變了RL。傳統(tǒng)的RL，依賴(lài)于表格的方法和動(dòng)態(tài)編程，通常需要窮舉所有可能的狀態(tài)和動(dòng)作組合，計(jì)算上難以實(shí)現(xiàn)。而神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)數(shù)據(jù)中的模式和特征，對(duì)新的狀態(tài)進(jìn)行有效的預(yù)測(cè)。因此DeepMind后來(lái)也把自己的研究稱(chēng)為“深度強(qiáng)化學(xué)習(xí)”。

第4代的AlphaMuZero可以自己學(xué)會(huì)玩圍棋、國(guó)際象棋、日本將棋和Atari游戲，還被用來(lái)幫YouTube尋找視頻壓縮的更優(yōu)算法。比前幾代更“通用”了，更夠應(yīng)對(duì)更多不確定環(huán)境。

但是經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)加強(qiáng)過(guò)后的RL，依然是RL。Mu的應(yīng)用還是在有限的游戲環(huán)境中。

AGI需要AI能應(yīng)對(duì)不同的任務(wù)，而不是只在單一任務(wù)中做到極 致。

在2021年，AlphaGo系列的負(fù)責(zé)人David Silver和RL奠基人薩頓聯(lián)手發(fā)了另一篇文章，《Reward is Enough》，跟神經(jīng)網(wǎng)絡(luò)領(lǐng)域的劃時(shí)代論文《Attention is all you need》有異曲同工的修辭。

Silver等人認(rèn)為，一個(gè)簡(jiǎn)單而強(qiáng)大的原則“獎(jiǎng)勵(lì)最 大化”下，具備出色智能的agent能夠“適者生存”，習(xí)得知識(shí)、學(xué)習(xí)、感知、社交智能、語(yǔ)言、泛化能力和模仿能力。簡(jiǎn)而言之，RL將促進(jìn)AGI的實(shí)現(xiàn)。這像是把自然界的進(jìn)化論，搬到了AI領(lǐng)域。

但這一理論遭遇了業(yè)界很多的質(zhì)疑和批評(píng)，因?yàn)樗撤N程度上非?！翱斩础?，且論文中提到的泛化，仍難以在實(shí)踐中獲得突破進(jìn)展。

強(qiáng)化學(xué)習(xí)是死胡同之類(lèi)的討論在AI社區(qū)越來(lái)越頻繁。圍棋等游戲天然適合RL。但在開(kāi)放性環(huán)境中，獎(jiǎng)勵(lì)目標(biāo)或環(huán)境的細(xì)微變化，就會(huì)導(dǎo)致整個(gè)系統(tǒng)徹底失敗，或者需要重新訓(xùn)練。監(jiān)督學(xué)習(xí)效果是穩(wěn)定的，但RL根本不穩(wěn)定。人類(lèi)設(shè)定的獎(jiǎng)勵(lì)，經(jīng)過(guò)RL的黑盒子，可能會(huì)導(dǎo)向無(wú)法預(yù)知的離譜行為。

去年從DeepMind離職創(chuàng)業(yè)的科學(xué)家Misha Laskin認(rèn)為，RL進(jìn)展停留在了超人類(lèi)、但極度狹窄的智能體層面，缺乏明確路徑來(lái)拓展通用性?！叭绻麊我蝗蝿?wù)上都要實(shí)現(xiàn)六億步的訓(xùn)練，又從哪獲取足夠數(shù)據(jù)來(lái)覆蓋所有任務(wù)呢？”

Google DeepMind的研究員Kimi Kong最近在真格基金播客中稱(chēng)，在2019年之后，RL在算法層面就沒(méi)有更多的長(zhǎng)足進(jìn)步了。

這種迷茫和低落實(shí)際上蔓延在整個(gè)RL社區(qū)。尤其在ChatGPT發(fā)布后，LLM展現(xiàn)出來(lái)的泛化能力，讓RL開(kāi)始失去資本和產(chǎn)業(yè)的聚光燈，甚至在一些人看來(lái)，是被趕回了象牙塔。

蛋糕上的櫻桃

大語(yǔ)言模型如日中天，但它的頭頂也飄著幾朵烏云。

在2024年底的AI峰會(huì)NeurIPS上，OpenAI聯(lián)合創(chuàng)始人兼前首席科學(xué)家Ilya Sutskever宣稱(chēng)，預(yù)訓(xùn)練時(shí)代即將終結(jié)，這將已經(jīng)籠罩在行業(yè)頭頂?shù)膕caling law碰壁焦慮徹底一語(yǔ)道破。

AI的訓(xùn)練數(shù)據(jù)，正在枯竭。而擴(kuò)大訓(xùn)練數(shù)據(jù)量級(jí)提升智能的邊際效應(yīng)也在遞減。

此外，LLM天生不擅長(zhǎng)數(shù)學(xué)和物理。因?yàn)長(zhǎng)LM本質(zhì)上仍是基于語(yǔ)言模式，而科學(xué)原理和人類(lèi)的決策從根本上講是抽象的，超越了語(yǔ)言或像素的表達(dá)范疇。

怎么辦呢？

OpenAI率先給出了方案。去年年中發(fā)布的o1模型，不是一味擴(kuò)大預(yù)訓(xùn)練規(guī)模，而是用RL結(jié)合CoT技術(shù)，實(shí)現(xiàn)了深度推理，將大模型的智能又推上一個(gè)新的臺(tái)階。一個(gè)新的范式也出現(xiàn)了，AI研究開(kāi)始從“快思考”(快速給出預(yù)訓(xùn)練的答案)遷移到“慢思考”(深思熟慮地推理)。

RL的優(yōu)點(diǎn)在此時(shí)盡顯優(yōu)勢(shì)。其一，RL需要的數(shù)據(jù)量遠(yuǎn)小于LLM。其二，RL善于在環(huán)境中自主探索、動(dòng)態(tài)學(xué)習(xí)、連續(xù)決策。

據(jù)RL研究者、Pokee AI的創(chuàng)始人Zheqing Zhu的演講，從90年代以來(lái)，RL領(lǐng)域一個(gè)趨勢(shì)是“反向的scaling law”。AlphaGo需要3000萬(wàn)對(duì)局，到AlphaGo Zero，再到MuZero，對(duì)局減少到500萬(wàn)以下，效率呈指數(shù)級(jí)提高。

在o1發(fā)布的一個(gè)月前，DeepMind的論文《Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters》與o1模型原理幾乎一致，提出增加測(cè)試時(shí)計(jì)算比擴(kuò)展模型參數(shù)更有效。

谷歌在2024年初發(fā)布的《Chain of Thought Empowers Transformers to Solve Inherently Serial Problems》也提出類(lèi)似觀點(diǎn)，傳統(tǒng)Transformer模型擅長(zhǎng)并行計(jì)算，用CoT突破其串行邏輯推理的限制。

但為什么不是谷歌摘得果實(shí)呢？這又是另一個(gè)問(wèn)題了，或許涉及到大廠的工作考核、組織模式、業(yè)務(wù)牽制等等。谷歌的員工大概率也為此忿懣。

去年兩位DeepMind核心研究員Misha Laskin和Ioannis Antonoglou為了更快地追趕AGI的時(shí)間窗口，離職創(chuàng)辦Reflection AI，創(chuàng)業(yè)方向正是基于RL+LLMs的通用Agent。

顯而易見(jiàn)，整個(gè)大模型業(yè)界都進(jìn)入了新的心照不宣硝煙四起的競(jìng)賽中。終點(diǎn)大家都看到了，但后來(lái)者誰(shuí)能率先到達(dá)？

答案是，來(lái)自純中國(guó)本土團(tuán)隊(duì)的DeepSeek。

這里就不再贅述DeepSeek在其他方面的創(chuàng)新，只看它如何實(shí)現(xiàn)“深度思考”。

此前OpenAI雖然展示了o1的推理能力，但有意把推理的詳細(xì)過(guò)程隱藏掉了，以防止其他模型復(fù)制它的數(shù)據(jù)。因此深度思考能力仍是一個(gè)黑盒，其他團(tuán)隊(duì)也只能從頭研究。破解的難點(diǎn)除了數(shù)據(jù)、基礎(chǔ)模型，更在于RL環(huán)境通常不完 美，且難以準(zhǔn)確指定獎(jiǎng)勵(lì)函數(shù)。如果獎(jiǎng)勵(lì)機(jī)制有噪聲，就很容易被reward hacking，能力卻沒(méi)能真正提升。

就像LLM們此前在做RLHF時(shí)，這種現(xiàn)象普遍存在，甚至出現(xiàn)越訓(xùn)練模型越笨的情況。

RLHF依靠人類(lèi)的反饋，并不是一個(gè)明確的簡(jiǎn)潔的規(guī)則。且RLHF很多部分，是為了實(shí)現(xiàn)alignment，為了更像人，而不是更智能。這正是這個(gè)原因，OpenAI聯(lián)合創(chuàng)始人Andrej Karpathy認(rèn)為，RLHF并不是真正的RL，只是人類(lèi)偏好的代理，而非真正的獎(jiǎng)勵(lì)函數(shù)。

DeepSeek-R1-Zero把黑盒的秘密大張旗鼓地公布給了所有人。它提出了一種完全跳過(guò)人類(lèi)監(jiān)督微調(diào)的模型，純粹通過(guò)RL獲得有效學(xué)習(xí)和泛化的能力。它的獎(jiǎng)勵(lì)函數(shù)簡(jiǎn)單到不可思議，只包括兩部分，針對(duì)數(shù)學(xué)問(wèn)題的“準(zhǔn)確性獎(jiǎng)勵(lì)”和規(guī)定思考過(guò)程要置于 '' 和 '' 標(biāo)簽之間的“格式獎(jiǎng)勵(lì)”。

這種極簡(jiǎn)的獎(jiǎng)勵(lì)機(jī)制，回過(guò)頭來(lái)看，像極了AlphaGo。而幾年前被指“空洞”的“Reward is Enough”觀點(diǎn)，似乎也得到了一些驗(yàn)證:DeepSeek創(chuàng)造了適合的策略，找到了適合的獎(jiǎng)勵(lì)函數(shù)，于是R1-Zero獲得理性思考的能力，“頓悟時(shí)刻”降臨了。

隨著擁有通用知識(shí)的LLM，插上了擅長(zhǎng)抽象邏輯、自主推理決策的RL翅膀，兩者互補(bǔ)，AI的智能程度顯著提高。這簡(jiǎn)直是目前為止完 美的解決方案。

還記得楊樂(lè)昆在2016年提出的那個(gè)非常著名的蛋糕梗嗎？“如果智能是一塊蛋糕，那么無(wú)監(jiān)督學(xué)習(xí)是蛋糕的主體，監(jiān)督學(xué)習(xí)是糖霜，強(qiáng)化學(xué)習(xí)只是頂上的櫻桃?！?/p>

他本意是強(qiáng)調(diào)無(wú)監(jiān)督學(xué)習(xí)的重要性，從可用的任意信息預(yù)測(cè)過(guò)去、現(xiàn)在或未來(lái)的情況，順便諷刺一下RL。這也是連接主義的學(xué)者嘲笑RL的習(xí)慣性動(dòng)作。

被刺激到的DeepMind的研究人員，曾經(jīng)還回敬他了一張綴滿櫻桃的蛋糕圖。

不過(guò)，這個(gè)諷刺意味的meme，反而成了當(dāng)下情形的正面預(yù)言。

OpenAI Deep Research的研究員Josh Tobin很好地描述了這個(gè)趨勢(shì):我們2015年、2016年搞RL研究時(shí)進(jìn)展受限，是在沒(méi)有“蛋糕”的情況下加“櫻桃”。但現(xiàn)在我們有了在大量數(shù)據(jù)上預(yù)訓(xùn)練的強(qiáng)大語(yǔ)言模型，RL終于迎來(lái)了合適的發(fā)展時(shí)機(jī)，AGI Agent和復(fù)雜決策也更加高效和可行。

奧特曼稱(chēng)未來(lái)發(fā)布的GPT-5，將是兩條線合并起來(lái)的“神奇的統(tǒng)一智能”，將根據(jù)任務(wù)自行決定是快速回答，還是進(jìn)行深入分析思考。

就像Ilya Sutskever曾提出的比喻，大多數(shù)哺乳動(dòng)物的大腦體重比遵循一定規(guī)律，但人進(jìn)化出了新路徑，大腦比重更大。AI也會(huì)找到突破預(yù)訓(xùn)練模式的新方向。

根據(jù)DeepSeek的預(yù)告，RL提升大模型智能的潛力顯然遠(yuǎn)未窮盡。下一波AI突破才剛剛開(kāi)始。