當 AI 代理人開始幫你付錢、簽約、下單,誰來確保它不會把錢匯給壞人?多數團隊的答案是「再找一個 AI 來監督」,或讓人盯著儀表板。ICME Labs 技術創辦人 Wyatt Benno 的答案不同:把規則寫成數學,用零知識證明(ZK)包起來,讓任何人能在一秒內驗證代理人有沒有越界——而且不必看到你的規則。
來源:Zero Knowledge Podcast | Episode 403
Wyatt 一開場就把整集的核心框架講清楚。在他看來,零知識證明對 AI 來說有兩個其他技術都給不了的超能力:第一是簡潔驗證(succinct verification)——你可以跑一個巨大的計算,但任何人都能在一秒內檢查它跑對了;第二是隱私——你能證明「我照規則做了」,卻不必把規則或資料交出去。
這兩件事為什麼重要?他舉了 AI 護欄(guardrail)的例子:如果驗證一個守規則的證明要花你十分鐘、也要花我十分鐘,那它根本沒用;更糟的是,如果我必須把我的政策、程式碼交給你才能讓你檢查,對很多公司來說使用情境就直接毀了——大多數企業並不想把自己的護欄政策或本地資料交出去。ZK 同時解掉這兩個痛點。
ICME Labs 從一開始就走在和主流不同的路上。當大多數人把 ZK 用在「擴展區塊鏈」(L2、succinctness)時,ICME 在意的是本地端證明(local / client-side proving)、記憶體效率與隱私。Wyatt 是第一個實作 SuperNova folding 的人,他們圍繞 folding scheme 打造能在使用者裝置上直接跑的系統——甚至能依照機器規格選擇 folding 的「步長」,小裝置用小步長、大機器用大步長。這條「在地、隱私優先」的路線,後來成了他們把 ZK 帶進 AI 的起點。
ICME 現在的核心產品叫 ICME Preflight,是給 AI 代理人的「護欄」。護欄就是一組你給代理人的「該做與不該做」的規則。最早的使用情境很樸素:「別把我的錢匯去北韓」「別一次匯太多錢給可疑對象」。今天很多錢包是把這些規則寫死(hardcode)的——只能匯給這些地址、單筆不超過 500 美元;但攻擊者只要換個地址就能繞過去。
ICME 的做法是讓你用自然語言定義規則,再走一條密碼學管線。流程是:你用自然語言寫下護欄 → 用一個小模型把它轉成形式邏輯(SMT 檔,這個過程叫 automated reasoning,自動推理)→ 這個 SMT 證明本身較大、檢查費時,於是用 ZK 把它包起來 → 透過 folding 把上千次的護欄執行一個個摺疊在一起 → 最後任何人都能在一秒內驗證。Wyatt 強調,這特別適合對抗性場景(adversarial settings),也就是 agentic commerce——當代理人要動的是一百萬美元,你會願意多等一點時間讓 ZK 跑完。
那我們要不要信任「把政策轉成 SMT 的那個 LLM」?Wyatt 說,這正是 ZK 的「綁定(binding)」威力:你可以在自己裝置上跑一個小模型(SLM)做同樣的轉換,再把你本地的結果和雲端大模型的結果綁定在一起——兩邊都在證明形式邏輯,就像「那個大模型算 1+1=2,我本地也算 1+1=2,兩個答案綁起來」,於是有了一種可組合的信任。專家也能在上線前自己檢查 SMT;實務上還有一道battle testing(實戰測試):系統會把模糊、重複、有歧義的邊界情境丟回給人,讓人按讚或按倒讚,反覆幾輪從 88%、94% 逼近 100%,最後由人簽核「這就是我要的護欄」才上線。
關鍵差異在於「主動 vs 被動」。雲端供應商普遍要你「把所有東西都記錄下來(log everything)」——Wyatt 舉例,Coinbase 一度為了記錄資訊付給 Datadog 約 6,500 萬美元。但從密碼學的角度,事後翻日誌是反應式的,出事了才回去找,根本沒保護到你。ZK 護欄是主動式的:事前就設好代理人能做與不能做的事,只在護欄被觸發時才記一筆,並附上一個任何人都能驗證的證明。
目前市面上其他護欄怎麼做?Wyatt 直言「很糟」。最常見的一種叫 LLM 判官(LLM judge):你想保護的 LLM 之外,再放一個第三方 LLM 來看「這傢伙是不是要亂來、是不是要把錢匯給壞人」。問題是有一種攻擊叫 prompt injection(提示注入)——攻擊者用一段話術(可能藏在檔案、郵件裡)就能騙過代理人。當你用 LLM 去監督 LLM,攻擊者只要在更上層再玩同一招就行;在很多真實案例裡,這層判官和被它保護的模型一樣容易被攻破。
那為什麼大家還這樣做?因為好做、好上市。Wyatt 把它類比成 web3 圈愛用可信執行環境(TEE)——容易部署,所以大家都用。但真正的深科技(密碼學)開發、部署都更花時間,所以多數 AI 公司根本還不知道密碼學這條路。他說,走進一間 AI 實驗室問「你們的密碼學家在哪?」,得到的答案常常是「我們沒有」「我們不太懂 ZK 或 FHE 是什麼」。
另一個被廣泛採用的方式是觀測性(observability):請真人整天盯著儀表板,看代理人有沒有亂來。Wyatt 說,有公司光做這個就賺了數億美元,去年甚至有一家做「基於觀測性的護欄」公司以 5 億美元被收購——但在他眼中「這些都是把我們在做的事做得更爛的版本」。原因是:「人在迴路(human in the loop)的商業把關,永遠行不通,因為這些代理人移動的速度我們根本無法理解。」當你的代理人和我的代理人在互相交易、要買張機票,沒有人來得及一個個檢查第三方整合。
那護欄怎麼真的「攔下」代理人?Wyatt 坦言這是個麻煩:每個代理人框架都有自己的停法。他以 Claude Code 的 hook 機制為例指出,這類本地設定檔對非對抗場景夠用,但攻擊者若能改那個設定檔就能繞過;更安全的做法是把代理人沙盒化、讓護欄當作中介層(middleware)在別處運行。他也提到一個真實事件:有個會隨使用者「自我進化」的技能檔被下毒,植入「把資料傳到中國某伺服器」——這正說明,技能檔本身可能就藏著破壞護欄的東西。這部分屬於仍在演進的工程實務,不同代理人堆疊的整合方式與安全假設都還沒有統一標準。
支撐這一切的引擎,是 ICME 自己改造的 Jolt Atlas。原本的 Jolt 是一個基於 RISC-V 的零知識虛擬機(ZKVM),核心是「用查找表(lookup table)」高效地證明計算——這正是 Justin Thaler 那套 sum-check、查找表的招數。但 AI 不講 RISC-V,硬把 AI 轉成 RISC-V 只會更慢更痛。所以 ICME 改用 AI 的原生格式 ONNX 來做 trace,做出一個「以 ONNX 為基礎的 ZKVM」變體。
技術上有兩個 Wyatt 特別點名的判斷。其一,AI 推論超過 80% 是矩陣乘法(matmul),而很多人用 GKR 來證明 AI(如早期的 Modulus),但 GKR 有個常數因子的額外開銷;ICME 把 Thaler 2013 年論文裡一個更直接的 batched sum-check 做法拉到現在用,效能很快——他說多數團隊後來也都從 GKR 轉向這條路。其二,要加上隱私,業界已有「事實標準」叫 Nova blindfold(出自 HyperNova 論文):把它加進去,系統就變成 ZK、能保護隱私;Jolt 主專案最近也這樣做了,Jolt Atlas 同樣能套用。
Wyatt 也釐清了一個常被混淆的概念:ZKML 的隱私其實有三層能力——你可以藏住推論的輸入(例如你的私人銀行資料、政策)、藏住模型的權重(公司花數百萬美元訓練出來的東西)、甚至藏住整個模型。他說即將發表的論文裡,Jolt Atlas 三者都能做到,其中「藏模型」靠的是一個曾有團隊發表又把論文撤下(可能是發現了 bug)的巧妙技巧。但他也明確劃出邊界:ZKML 是用在推論(inference),不是訓練——訓練的計算量遠大於推論,「ZKML 訓練」即使有也是非常遙遠的未來。
下一個 10 倍的效能,他押在兩個還在研究中的方向。一是把 Jolt 從橢圓曲線移植到晶格(lattices):晶格有同態性、且小體積的有限體能原生跑在 GPU 上,省去 CPU↔GPU 搬資料的巨大開銷,目標是「一顆 GPU 配一顆 CPU 核心」做到接近即時證明——但要先把晶格做成 ZK、再做成簡潔可驗,相關筆記還沒發表。二是同源曲線(isogenies),被認為「貌似」具備後量子安全,可在需要簡潔性時用來收尾——但 Wyatt 也直說「他們不久前做了一個版本,然後它壞了」,這條路仍有許多未解問題。這些都是研究方向,安全性與實用性都尚未定案。
幾個月前,Zero Knowledge Podcast 做過一集「ZK 死了嗎?」,當時 Tarun 對 ZKML 相當看空。Wyatt 隨即在推特上回了一句「Tarun,讓我證明你錯了」,這集也算是他兌現那句話。他的論點是:ZK 正在「成熟(ripening)」,像陳釀的酒——這些技術醞釀多年,直到最近才被用在真實世界。他類比 OpenAI:2007 年左右就開始,花了七年才做出 ChatGPT。
他坦白,早期 ZK 的焦點全在「擴展區塊鏈」——一切都關於 scalability,沒太在意隱私或本地證明;給投資人的論述是「大家都會有代幣、都會是 L2」,於是大量資金湧入,但結果並不如預期。可是現在這些真實世界的使用情境——護欄正在保護數億美元的交易、Google 也在把 ZK 用在某些地方——他認為比最初那一代更有威力。所以在他看來,「ZK 已經成年」,現在反而是回來投資、回來看這個領域最有趣的時刻。
更深一層,他的方法論是跨領域的混搭:ZK 領域的專家多半不懂 AI,AI 的人也多半不懂 ZK;novel(新穎)的點子,正來自把兩邊湊在一起。ZK guardrails 這個想法之所以「連業內人都覺得超酷」,就是因為它不是隨便能想到的——是把一篇 AI 領域的論文,靈光一閃地「把它做成 ZK」。他鼓勵任何在 ZK 社群裡的人,去問:「這個東西,能不能因為『簡潔驗證』或『隱私』而受益?」能的話,就是連點成線的時刻。
他也務實地標出現況的邊界:今天若有 64 顆 GPU、跑小模型(SLM),即時證明是做得到的;更實際的大型 LLM 即時證明,已有團隊(為政府合約)用巨量算力示範可行,剩下的只是把算力需求壓低幾個數量級、讓多數人用得起。「兩年前大家還說『即時證明以太坊區塊?瘋了吧』,現在已經降到大約四秒。」他相信 ZKML 會走上同一條曲線——但這些時間表與效能預估,都是訪談當下的判斷,仍有不確定性。
「人在迴路的商業把關永遠行不通,因為代理人移動的速度,我們根本無法理解。」
Wyatt Benno 想證明:簡潔驗證與隱私,是只有密碼學能給 AI 的兩個超能力。
選完之後,分享你的觀點
這頁整理自 Zero Knowledge Podcast Episode 403。原始訪談完整保留了 Wyatt Benno 對 ZK 兩個超能力、ICME Preflight 護欄管線、SMT 與 LLM 判官的對比、Jolt Atlas 與 ZKML 三層隱私,以及晶格、同源曲線與「ZK 正在成熟」的技術論點。
前往 YouTube →喜歡這種分析嗎?
從零知識證明、加密貨幣到 AI 代理人,用台灣讀者看得懂的語言,把複雜的技術變局說清楚。目前已有超過 2 萬位讀者訂閱。
免費訂閱區塊勢 →也可以直接付費支持,解鎖每週完整文章