區塊勢
ARTICLE EXPERIENCE｜Stripe Cheeky Pint｜2026.02.26

AI 變快，是因為晶片把經濟學做進去

Reiner Pope 不是只在談更快的晶片。他談的是每個 token 的成本、模型回應速度、供應鏈卡點，以及為什麼下一代 AI 體驗會被 HBM、SRAM、TSMC 與資料中心一起決定。

SCROLL
PART 1

Google 的 AI 反攻，先從自家晶片開始

這集訪談的開場不是 MatX，而是 Google。Pope 以前是 Google TPU 架構師。他說 Google 做對的事，是很早把研究、模型與硬體放在同一條路上。Transformer 來自 Google，TPU 也不是為了圖形運算改裝，而是從神經網路工作負載出發。

一年前外界還在說 AI 會吃掉搜尋，Google 會被取代。但當模型品質與速度一起改善，市場情緒反轉。Pope 的解讀是：速度不是介面小修小補，而是底層硬體長期投資開始顯影。

MatX 的起點也在這裡。它不是做一顆「也能跑 AI」的通用晶片，而是專門為大型語言模型設計。Pope 與 Google 前首席晶片架構師 Mike Gunter 一起創業，目標是把 LLM 的成本與速度重新拆解。

AI 體驗背後的四層堆疊

1. 模型使用者看到的是聊天視窗、推理品質與回應速度。
2. Token產品真正付費的是每秒產生多少 token、每個 token 花多少錢。
3. 記憶體HBM 提供吞吐量，SRAM 提供低延遲。兩者取捨決定體感。
4. 供應鏈晶圓、HBM、機櫃、電力與資料中心決定能不能量產。
PART 2

AI 晶片真正的指標，是吞吐量和延遲怎麼一起成立

Pope 把 LLM 晶片的核心指標分成兩個。第一個是 throughput，意思是同一顆晶片在單位時間內能處理多少 token。這是經濟問題：買一顆晶片花多少錢，可以換回多少 token 產能。

第二個是 latency，意思是使用者等多久才看到回應。產品體感看的是延遲，但公司損益看的是吞吐量。只追低延遲，可能成本太高；只追吞吐量，產品可能慢到不好用。

Pope 說 MatX 想做的，是同時拿到兩邊。他認為現有市場把這兩件事拆開了：有些晶片很會便宜地跑大量 token，但回應慢；有些晶片回應快，但每個 token 的成本不划算。下一代 AI 產品的競爭，會變成「品質、速度、成本」三件事一起算。

吞吐量

同樣預算能產生更多 token，就能訓練或服務更好的模型。

延遲

回應越快，聊天、代理人、編程工具與搜尋體驗越接近即時。

成本

AI 不是只看 benchmark。企業會問每個 token 的邊際成本。

PART 3

HBM 和 SRAM 的選擇，決定 AI 是便宜還是即時

Pope 說，目前市場有一個不舒服的取捨。Google、Amazon、NVIDIA 這類 HBM 型晶片，適合大量吞吐。HBM 容量大，可以同時處理很多 inference，但讀取整段記憶體的時間讓延遲變高。

另一邊，Groq、Cerebras 這類偏 SRAM 的系統，低延遲表現更好。模型權重放在 SRAM 裡，讀取速度快。但 Pope 認為它們的根本問題是吞吐量不夠好，每個 token 的成本很難跟 HBM 型系統競爭。

MatX 的答案是把 HBM 和 SRAM 放在同一顆晶片上。權重放 SRAM，inference data 放 HBM。Pope 認為這能同時取得低延遲與低成本。這不是把晶片做得更神秘，而是把兩種記憶體各自放在最適合的位置。

兩種記憶體的角色

HBM容量大、吞吐量高，適合大量工作同時排隊。
SRAM讀取快、延遲低，適合頻繁取用模型權重。
MatX 假設權重與推理資料分工，降低速度與成本的衝突。
讀者體感如果成立，AI 回應會更快，價格也更容易下降。
PART 4

晶片公司不是只買晶圓，還要搶 HBM、機櫃、電力與散熱

訪談中最容易被忽略的是供應鏈。Pope 說，AI 晶片公司要面對的不是單一零件短缺。晶圓通常依賴 TSMC 或 Samsung，HBM 來自 SK hynix、Samsung、Micron。再往下還有機櫃、電纜、連接器、散熱、資料中心與電力。

John Collison 問「機櫃聽起來不難，真的難嗎？」Pope 的回答是難。AI 機櫃要把大量電力送進去，把大量熱排出去，還要維持高速互連的訊號完整性。電纜不能亂彎，銅用量、連接器、資料傳輸都會變成限制。

這也解釋了為什麼小公司要在巨頭旁邊搶產能。供應商不想完全依賴單一大客戶，但也會擔心新創能不能長期採購。AI 晶片競爭看起來是架構戰，實際上也是採購、排產、封裝、電力與資本支出的耐力賽。

晶圓

邏輯晶片產能通常卡在先進製程與封裝排程。

HBM

高頻寬記憶體供應商有限，需求跟所有 AI 建置一起競爭。

機櫃

電力、散熱、線材與高速互連會把硬體工程拉進資料中心。

資料中心

最後瓶頸常變成電力與基礎設施，而不只是晶片設計。

PART 5

AI 會幫忙設計晶片，但不能直接替你定義好晶片

Pope 對 AI 工具的態度很實際。MatX 寫 Rust、Verilog、Python。他說模型很擅長 Rust 和 Python，因為這些任務已被大量強化學習訓練。但模型不太會寫「描述一個好晶片架構的 markdown」，因為很難定義什麼結果算好。

這個差異很重要。AI 可以幫工程師寫程式、探索設計、加速迭代，但晶片架構的評分函數不是單元測試。它牽涉成本、功耗、記憶體、製程、軟體堆疊與未來模型形態。

Pope 也提到 MatX 約 100 人，包含硬體、軟體與 ML 團隊。他們的 ML 團隊不是只替硬體寫 kernel，而是訓練小型 LLM，研究 numerics 與 attention。晶片設計不是先做硬體再讓軟體適配，而是把模型行為也納入硬體決策。

Pope 對時程的說法是：MatX 目標在一年內 tape-out，晶片約在年底可用；2027 年，使用者可能會在小比例實驗中用到 MatX 晶片驅動的高效能聊天體驗。這是訪談中的公司規劃，不是已經完成的量產結果。

AI 產品的下一次體感升級，不只來自模型，也來自每個 token 背後的記憶體與供應鏈。

MatX 的論點把晶片從硬體規格表，拉回到產品速度、商業成本與基礎設施限制。

如果你在做 AI 產品，
你最想先改善哪個底層變數？

選完之後，分享你的 AI 基礎設施優先順序

你的觀點

想看更深入的訪談脈絡？

原訪談包含更多 Google TPU 背景、MatX 創業過程、記憶體架構、AI coding 工具與硬體團隊文化細節。這頁保留核心判斷，適合先建立 AI 晶片的閱讀框架。

閱讀完整文章 →

來源：Stripe Cheeky Pint — Reiner Pope of MatX on accelerating AI with transformer-optimized chips，原始發表日期 2026 年 2 月 26 日。YouTube：原始影片