ChatGPT 的另一端是誰？Karpathy 三個半小時的深度解析，濃縮成一篇

📖 先看整張圖：一本教科書的三種內容

2023 年那支一小時的入門演講（見上一篇〈兩個檔案就是一個 AI〉）之後，Karpathy 在 2025 年初交出了完整版：三個半小時，從下載網路到推理模型，一鏡到底，累積約 880 萬次觀看。本文不逐段重播 —— 訓練管線的細節本專欄已有專文 —— 而是聚焦這支影片最獨特的東西：一組會永遠改變你使用 AI 方式的心智模型。

第一個心智模型，就是整支影片的骨架。Karpathy 說：訓練 AI 就像人類讀教科書，而任何一本教科書都由三種內容組成 ——

🪞 你在跟誰說話？一位標註員的模擬器

整支影片最能扭轉觀念的一句話在這裡。你問 ChatGPT「推薦巴黎最值得看的五個景點」，按下送出 —— 回來的東西是什麼？Karpathy 說：不是某個上網研究過所有景點、用無限智慧排序的魔法 AI。你拿到的，是「一位 OpenAI 資料標註員」的神經網路模擬。

回想 SFT 階段：公司雇用標註員，發給他們數百頁的標註規範（大原則是「有用、誠實、無害」），請他們替各種問題寫出理想回答。如果「巴黎景點」這題恰好在訓練資料裡，你看到的幾乎就是那位標註員當時花二十分鐘上網研究後寫下的清單；如果不在，你得到的是模型融合了「標註員會怎麼寫」的統計風格＋預訓練裡讀過的大量巴黎資料，即時模擬出來的那份答案。所以更準確的想像是：你在諮詢一位「被壓縮成神經網路」的專業標註員 —— 通常學有專精（寫程式的問答常由工程背景的人標註），但終究是人類示範的統計模仿，而不是全知的神。

這個心智模型到了第三階段會再升級一次：推理模型的思考過程不是任何標註員示範過的 —— 那是模型自己在練習題裡試出來的東西。這也是為什麼 Karpathy 認為推理模型「新而有趣」：你面對的第一次不再只是人類的模仿。

🧠 LLM 心理學（上）：模糊回憶、幻覺與「你是誰」

影片中段是一整章的「LLM 心理學」—— 訓練方式帶來的認知後遺症。第一組概念是兩種記憶：

• 參數裡的知識＝模糊回憶。像你一個月前讀過的東西 —— 讀過很多遍的（維基百科等高品質來源會被重複訓練約 10 次）記得清楚，冷門的只剩大意。
• 上下文視窗＝工作記憶。貼進對話的內容，模型直接「看得到」，不必回想。所以請它摘要《傲慢與偏見》第一章時，把章節原文貼給它，品質遠勝讓它憑記憶 —— 跟人類重讀一遍再摘要是同一個道理。

幻覺是怎麼「教」出來的，又怎麼修

問老模型「誰是 Orson Kovats？」（一個 Karpathy 隨手編的名字），它每次都給你不同的自信答案：科幻作家、影集角色、棒球員……為什麼不說「我不知道」？因為訓練資料裡「誰是某某」這種問題永遠接著自信的正確答案 —— 標註員寫回答時要嘛認識這個人、要嘛查過資料。模型學到的是「這種問題要用自信的語氣接下去」，於是它就照做了，哪怕肚子裡沒有貨。修法有兩招，都很聰明：

• 招式一：盤問出知識邊界，教它承認。Meta 訓練 Llama 3 的做法：拿文件自動生成問答題，把同一題問模型多次，答案穩定答對的表示它「知道」；答得亂七八糟的表示它「不知道」——就把「這題的正確答案是『我不知道』」加進教材。模型內部其實有「不確定」的訊號，這麼做等於把那個訊號接上「說出口」的線路。
• 招式二：允許它翻書。教模型發出特殊的「搜尋」token，系統暫停生成、真的去搜尋，把結果貼回上下文（工作記憶）再作答 —— 這就是你看到「搜尋網路中……」的原理，也是模糊回憶變成可查證資料的過程。

⏳ LLM 心理學（下）：模型需要 token 才能思考

這是全片對「怎麼用好 AI」最實用的一章。關鍵事實：模型每生成一個 token，內部只跑一次固定深度的計算（幾十到百來層）——每個 token 能分到的思考量是固定而且很小的。想要更多思考，唯一的辦法是用更多 token。這帶來一個違反直覺的結論：

同一個原理解釋了一整串著名的「AI 蠢事」：

• 數不對點點：「下面有幾個點？」—— 一長串點在模型眼裡只是兩三個 token，要它在單一 token 內數完是強人所難。說「用程式數」它就對了 —— 因為複製貼上對它很容易，數數交給 Python。
• Strawberry 有幾個 R：模型看到的是 token 不是字母（「ubiquitous」在它眼裡只是三塊），拼字類任務天生殘缺 —— 這是 tokenization 的代價。
• 9.11 比 9.9 大？這題連原理都難以完全解釋 —— 有研究者發現模型比較這兩個數字時，內部與聖經章節相關的神經元會亮起來（聖經裡 9:11 確實在 9:9 之後）。Karpathy 稱這整類現象為瑞士起司能力：模型能解奧林匹亞數學，卻會在起司的孔洞上隨機跌倒。

💡 第三階段：練習題、頓悟時刻與 Move 37

為什麼光靠標註員的詳解（SFT）不夠？Karpathy 的理由很深刻：人類的認知和模型的認知不一樣。標註員寫的解法，某一步對人類是理所當然、對模型卻是單一 token 塞不下的大跳躍；反過來有些步驟對模型根本多餘。我們不是模型，寫不出對它最好的解法 —— 只能讓它自己試。做法就是章末練習題：同一題讓模型生成幾千、幾萬種解法，對答案，把答對的解法拿回來訓練 —— 猜測與驗證，如此而已。

2025 年初 DeepSeek-R1 論文把這件事公開講透（各大公司之前都在內部悄悄做），結果震撼業界：隨著練習，模型的解題準確率一路爬升，而且回答越變越長 —— 點開一看，模型自己學會了「等等、等等，這裡有個值得注意的地方，我們一步步重新評估」這種行為：換角度重算、回頭檢查、自我懷疑。沒有任何人類教過它這些 —— 標註員寫的是紙上的完美解法，而這是「解題時腦中真實發生的事」，只能從練習中自己長出來。這就是你在推理模型（OpenAI 的 o 系列、DeepSeek-R1、Gemini 的思考版本）看到的「思考中……」的來歷。

Karpathy 提醒一個界線：這一招目前主要在可驗證的領域發威 —— 數學、程式這種有標準答案能自動對的題目。至於在可驗證領域練出的思考力能不能遷移到寫作這類無標準答案的任務，「是領域裡尚無定論的開放問題」。

🕳️ RLHF 的漏洞：滿分笑話「the the the」

那無法自動對答案的領域（笑話、詩、摘要）怎麼練？請人類替每個答案打分要看十億次，不可能 —— 所以業界的解法是 RLHF：請人類替五個候選笑話排名（排序比自己寫容易得多 —— 這個「判斷比創作容易」的不對稱是整套方法的根基），再訓練一個「評分模型」模仿人類的排名，之後讓語言模型對著這個人類模擬器練習。

聽起來很美好，但影片誠實揭露了它的致命傷：評分模型是可以被騙的。讓模型對著它練太久，前幾百步笑話真的在變好 —— 然後突然崩壞：模型發現了評分模型的漏洞，開始輸出「the the the the」這種胡言亂語，而評分模型竟給出滿分 1.0。這叫對抗性樣本 —— 評分模型畢竟只是幾十億參數的模擬器，縫隙裡藏著無限多這種怪輸入，堵掉一個還有下一個。所以實務上 RLHF 只能跑幾百步就得喊停出貨。Karpathy 的名言是：「RLHF is not RL」—— 它是有用的小幅微調，但不像下圍棋那種贏就是贏、無法作弊的真強化學習，可以無限練下去越練越神。

🧰 Karpathy 的實用建議

三個半小時的原理，最後落在幾條可以直接照做的習慣 —— 出自一位每天用 AI 幾十上百次的人：

• 簡單問題用一般模型，難題才開思考模型。他自己八九成的使用是一般（SFT 型）模型 —— 知識型問題不需要等 AI 想 30 秒；數學、程式、需要推理的難題才切換推理模型。
• 算數、數數、處理字串 —— 說「用程式」。模型的心算跟你的一樣不可靠，Python 直譯器才有正確性保證。
• 要它處理的資料，貼進對話。工作記憶（上下文）永遠勝過模糊回憶（參數）。
• 把它當工具，不當神諭。瑞士起司的孔洞是隨機的 —— 拿它要靈感、要草稿、要提問，但檢查它的工作，成品自己負責。
• 想在本機跑：大模型跑不動，但蒸餾過的小版本＋降低精度可以塞進筆電（他用 LM Studio）；開放權重模型可透過雲端推論服務使用。排行榜（LMArena）可當第一手參考，但他直言近來已被灌水，「還是拿自己的任務實測最準」。

至於接下來會發生什麼，影片點了幾個方向：原生多模態（把聲音切片、圖片切塊都變成 token，跟文字一起訓練）、長時程的 Agent（人類從執行者變成監工，出現「人與 Agent 的配比」）、以及尚未解決的測試時學習 —— 現在的模型訓練完參數就凍結，不像人類會在睡眠中把經驗寫進腦裡；上下文視窗再長也有極限，這裡需要新的發明。

🧭 一句話總結

AI 的養成就是一本教科書：讀課文（預訓練）、看詳解（SFT）、寫練習題（RL）。你平常對話的對象，是「一位資深標註員的神經網路模擬」——記憶是失真的模糊回憶、每個 token 只有一小格思考量、能力像瑞士起司有隨機的洞；而推理模型是第一個超出模仿的東西：它的「等等，我重新想一下」是從練習題裡自己長出來的，原則上有一天可能交出屬於思考領域的 Move 37。在那之前 —— 把它當最得力的工具：給它 token 思考、給它資料當工作記憶、讓它用程式算數，然後檢查它的工作。