光靠堆規模，
到不了 AGI

不是做更好的 coding agent，
而是重建整個機器學習的地基

François Chollet 的新實驗室叫 Ndea，做的是「程式合成（program synthesis）」研究。很多人一聽就問：「所以你在做 code gen？要做 coding agent 的替代品？」他說完全不是。coding agent 是整座技術堆疊裡最頂、最後一層的東西；而他要做的，是在地基下面換一套全新的基礎——一個取代深度學習本身的學習底層。

他把機器學習的本質拆開來看：你有輸入、有目標，想找一個能把輸入映射到目標、而且能對新輸入泛化的函數。深度學習的做法，是拿一條「參數曲線」當模型，再用梯度下降去擬合曲線的參數。Ndea 做的事一樣，但把參數曲線換成一個「盡可能小」的符號模型——能解釋資料的最簡模型。既然不再是曲線，就沒辦法用梯度下降，於是他們自己造了一套「符號下降（symbolic descent）」，當成符號空間裡的梯度下降。

那為什麼不跟著大家把錢倒進現有路線？他承認「報酬就在那裡，LLM 確實有用」，跟著做很合理。但他認為所有人都擠在同一條路上，本身就是反效果。他不相信 50 年後的 AI 還會建在這套堆疊上——它很好，甚至可能帶我們抵達 AGI，但「沒有它應該有的那麼有效率」。他想直接跳到最優，今天就把「最優 AI」的地基蓋起來。

這個賭注很大。Chollet 估計 Ndea 大概只有 10〜15% 的成功機率——但他說這正是值得做的理由：「如果你有一個大膽的想法，成功機率很低、但一旦成了會很巨大，而且沒有別人在做——那你就應該去試。因為如果你不做，沒有人會做。」他笑說，這幾乎就是 Y Combinator 的使命宣言。

coding agent 為何突然爆發？
因為程式碼能被「驗證」

主持人問：過去半年 coding agent 的成功，有沒有讓你意外？Chollet 坦白：絕對有，跟很多人一樣被嚇到了。但他給出了關鍵解釋——之所以全部開始 work，是因為程式碼提供了「可驗證的獎勵訊號」。單元測試、能不能編譯、有沒有 bug，都是不靠模型猜測、可以真正信任的回饋。

他下了一個很強的判斷：任何「答案可以被形式化驗證」的領域，用今天的 LLM 堆疊就能被完全自動化。程式碼只是第一個倒下的領域，數學會是下一個——因為它同樣給得出可驗證的獎勵。反過來，寫文章、法律這種「模糊、無法驗證」的領域，進展會非常慢，甚至可能停滯，因為它只能依賴人類專家標註的訓練資料，而那很貴。

那為什麼可驗證就能爆發？因為它解鎖了一個自我滾動的迴圈：模型自己生成題目、自己嘗試、用驗證訊號確認對錯、再把成功的推理鏈拿來微調自己，如此重複幾百萬次——你只要花更多錢，就能把整個問題空間暴力地「挖」出來。這就是 RL 後訓練的新典範，也正是 agentic coding 背後發生的事。

那 harness（把問題結構化成可驗證任務的代理框架）呢？Chollet 的看法很犀利：需要人類去手工打造 harness，本身就是「我們離 AGI 還很遠」的證據。因為真有了 AGI，它會自己造 harness，根本不需要被告知怎麼解一個問題，它會自己想出來。但他也強調，harness 雖然不會讓我們更接近 AGI，卻是極有價值的研究方向——因為它能帶來大規模的任務自動化。

多數人對 AGI 的定義都錯了：
那是在講自動化，不是智慧

業界流行的 AGI 定義是「能自動化大多數有經濟價值的工作」。Chollet 說，這個定義講的是自動化，不是智慧，更不是「通用」智慧。

他自己的定義是：AGI 是一個系統，面對任何新問題、新任務、新領域，都能去理解它、建立模型、變得勝任——而且效率要跟人類一樣高。也就是說，它需要的訓練資料與運算量，要跟人類差不多少（人類其實非常省資料）。一句話：通用智慧 = 在和人類相同的任務範圍上，達到人類等級的「技能習得效率」。

更關鍵的是，他認為這兩件事會分開發生——而且我們會先抵達「自動化版 AGI」，再抵達「智慧版 AGI」。現在的技術原則上已經能在任何「可驗證獎勵」的領域，達到甚至超越人類水準（程式碼就是第一個）。但要做到「在任意任務上具備人類等級的學習效率」，需要的是另一種技術、另一種思路。

他甚至點出一個有趣的可能：你可以在 LLM 堆疊「之上」蓋出一個看起來很像 AGI 的東西——因為 LLM 某種程度上就是一種電腦——但那不會是 LLM 本身，而是疊在它上面好幾層的新東西。只不過 Chollet 認為這會是錯的做法，因為太沒效率。AI 研究終將朝「最優」收斂，所以幾十年後的 AI，不會是「基礎模型上疊推理模型、再疊一層 harness」，而是比這低得多的層次。

從 Keras 到 ARC：
一個被當成產業氣壓計的基準

故事要從 2016 年說起。當時剛做出 Keras、相信「深度學習能做任何事」的 Chollet，在 Google Brain 嘗試訓練深度學習模型解推理與一階邏輯問題，卻發現一件事：問題不在深度學習不夠強，而在梯度下降「找不到」能泛化的程式。梯度下降只會做出對輸入序列的過擬合式樣式比對。今天的模型靠海量資料讓這件事「看起來不像過擬合」，但本質上仍是更高階版的同一件事。

於是他想做「推理界的 ImageNet」。2018 年寫出 ARC 任務編輯器、手工造了大量題目，2019 年發表論文，提出「智慧 = 技能習得效率」。多年來這個基準一直很冷門，因為 LLM 在上面表現極差——GPT-3 直接掛零。他笑說，一個基準要紅，得先「開始有一點 work」；太難，大家就直接無視。

但正因為它難，ARC 反而成了產業的精準氣壓計，忠實標記出每一次真正的能力躍遷：

關於 V1，有個關鍵細節：即使把預訓練規模擴大了 5 萬倍，base model 的分數依然極低——這狠狠說明「光靠擴大預訓練攻不下這個基準」。真正讓分數出現階梯式跳躍的，是 2024 年底 OpenAI 的 o3 preview：當時昂貴到沒有產品市場契合度，但只要看 ARC 結果，你就知道有大事發生了。

而 V3 是徹底不同的東西——它要測的是主體智慧（agentic intelligence）。把 AI 丟進一個像迷你電玩的環境，不給任何說明、不告訴它目標是什麼、連按鍵能幹嘛都不講，全得自己靠試錯摸索。而且不只看它能不能解開，還要看它探索得多有效率——你不能暴力窮舉所有遊戲狀態，那樣就算過關分數也極低，因為評分標準是「要達到人類等級的行動效率」。Chollet 為此開了一間真正的電玩工作室、自建遊戲引擎、做了 250 多款全新遊戲，刻意不借用任何既有電玩的元素，全建立在「核心知識先驗」（基本物理、物件、主體概念）之上，不含語言或文化符號。

ARC 系列不是「過了就是 AGI」的固定終點，而是瞄準 AI 與人類能力之間那道「殘差缺口」的移動靶。所以還會有 V4（聚焦更長時間尺度的持續學習與課程學習）、V5（全談「發明」）。Chollet 說，當有一天「人類學習效率」與「前沿 AI」之間的差距再也量不出來——那就是 AGI 時刻。他把這個時間點押在 2030 年代初，大約是 ARC 6、7 推出的時候。

AGI 的形狀，
以及給每個人的一句話

Chollet 拋出全場最大膽的預言。他把系統拆成兩塊：「流體智力引擎」會是一個很小的程式碼庫、很小的模型，大概只有幾 MB；而「知識庫」墊在它底下，會佔掉大得多的空間。他相信——當我們真的造出 AGI，回頭看會發現，它是一段不到一萬行的程式碼；而且如果 1980 年代就知道這套方法，用當年的算力就能做出來。等於說，它在我們眼皮底下藏了 40 年。

但它不會是 Cyc 那種純手工符號知識庫——因為那裡面「沒有學習」。Chollet 說，打造 AGI 的正確方式，是盡可能把人類從「改進迴圈」裡移除：你不要一個「每次能力提升都得靠人類工程師動手」的系統。這正是深度學習與基礎模型的強項——LLM 本質上就是一個知識庫，你只要加資料、加算力就能擴大它，幾乎不需要更多人介入。他要的也是這種能自我複利的系統：每次能力提升，同時也提升「提升能力的速度」。

他用一個漂亮的比喻收束整個願景：科學，本質上就是一場符號壓縮。你看著一堆雜亂的觀測（比如行星在天上的位置），把它壓縮成一條極簡的符號規則（一條方程式）。科學不是曲線擬合，而是找出那條最能壓縮觀測的方程式。Ndea 的程式合成，就是要把這套科學方法「化成演算法、寫成軟體」——他形容為「打造科學的化身」。這也呼應了 Paul Graham 那句話：對手寫信道歉「抱歉信寫得這麼長，因為我沒有時間把它寫短」——面對難題，寫出簡短優雅的解，比寫出又臭又長的過度工程解更難。

挑新方向時要看什麼？只有一個鐵則：能不能在「沒有人類瓶頸」的情況下擴張。如果一個系統唯一的進步方式是靠人類工程師花時間，那它再聰明再優雅，能力上限也會被人類投入卡死。你要的是一個能在「沒有人介入」下持續自我提升的系統。

最後，主持人請他對正站在人生與職涯起點的年輕人說句話。面對「AI 會造成大規模失業」的悲觀論調，Chollet 的態度很明確：你愈懂一個領域（例如程式設計），就愈能把這些工具拿來為自己所用——AI 進展對你其實是「賦能」。他鼓勵大家盡可能去學，不只學 AI，更要學你想把 AI 應用上去的那個領域，把這波浪潮變成自己的機會、自己的工具。