兩個檔案就是一個 AI：Karpathy 的大型語言模型一小時入門

🎤 講者是誰？為什麼 400 萬人看這支影片

Andrej Karpathy 是 OpenAI 的創始成員之一、前 Tesla 自動駕駛 AI 總監，也是 AI 圈公認最會「把難的東西講簡單」的人。2023 年底他把一場沒錄到影的內部演講重講一遍放上 YouTube，標題就叫「忙碌者的大型語言模型入門」—— 結果成了全網最多人看的 LLM 入門影片，累積約 400 萬次觀看。

這支演講的厲害之處在於選的比喻：AI 是兩個檔案、訓練是壓縮網路、回答是作夢、模型是新作業系統的核心。一小時聽完，你對 AI 的直覺會從「神秘的魔法」變成「可以推理的機器」。本文把整場演講譯寫成中文，比喻與數字全部保留原樣。

📂 一個 AI，其實就是兩個檔案

演講的第一個問題：大型語言模型到底是什麼東西？Karpathy 的答案樸素到讓人愣住：就是你硬碟裡的兩個檔案。以當時最強的開放權重模型 Llama 2 70B 為例 ——

執行模型（inference，推論）出乎意料地便宜 —— 一台筆電就行。真正貴的、神奇的，是那 140GB 的數字是怎麼來的。這就是下一節。

🗜️ 訓練＝把網路壓縮 100 倍（而且會失真）

Karpathy 給訓練下的定義是整場演講最有名的一句：訓練一個大型語言模型，本質上是對一大塊網際網路做「失真壓縮」。Llama 2 70B 的配方（Meta 在論文裡公開了）：抓下約 10TB 的網路文字，用 6,000 張 GPU 跑 12 天，花費約 200 萬美元，產出那個 140GB 的參數檔 —— 壓縮比大約 100 倍。而且他提醒：這些以今天的標準看是「菜鳥數字」（rookie numbers），最先進的模型要再乘上 10 倍以上，所以訓練費用動輒數千萬、上億美元。

為什麼「預測下一個字」能學到知識？因為預測與壓縮在數學上是近親：你越能精準預測下一個字，就越能壓縮這份資料。而要預測維基百科上一篇人物條目的下一個字，你的參數就被迫得記住這個人是誰、生卒年、做過什麼 —— 知識就這樣被壓進了參數裡。

但它是「失真」壓縮 —— 所以 AI 會作夢

ZIP 檔解壓縮回來一字不差；語言模型不是。訓練完讓它自由生成，它會「夢見網路文件」：夢出像 Java 程式的東西、像 Amazon 商品頁的東西、像維基百科的東西。演講裡那個 Amazon 商品夢裡有一個 ISBN 書號 —— 格式完全正確、號碼幾乎肯定不存在，因為模型只學到「ISBN: 後面要接一串這種長度的數字」。但同一段夢裡對一種魚（黑鼻鰷）的描述，查證後卻大致正確 —— 知識是真的在裡面，只是以「壓縮後的大意」形式存在，你永遠不能百分之百確定哪句是記憶、哪句是編造。這就是幻覺（hallucination）的本質。

🤝 從「夢見網路」到助理，以及 Scaling Law

會夢見網路的「基底模型」（base model）還不是助理 —— 你問它問題，它可能回你更多問題（因為網路上的問題常常後面接著別的問題）。把它變成 ChatGPT 這種助理，靠的是換教材再訓練一次：聘人依照「有用、誠實、無害」的標註規範，寫出約十萬筆高品質問答對，讓模型改學「助理該有的樣子」；之後還有一個選配的第三階段，讓人類在模型的多個候選答案中挑出比較好的那個（比較永遠比自己寫容易 —— 要你寫一首俳句很難，比較兩首哪個好很簡單），這就是 RLHF。預訓練一年做一次、花數百萬美元；微調便宜到每週都能迭代：收集模型答錯的對話、請人改寫正確答案、塞回教材重練。

另一個必懂的概念是 Scaling Law（擴展定律）：模型在文字接龍上的準確度，是參數量與資料量這兩個數字的平滑可預測函數，而且看不到天花板的跡象。這代表什麼？不需要演算法突破，只要更大的機器＋更多資料，就保證得到更強的模型 —— 這就是全世界瘋搶 GPU 的根本原因。當時的排行榜（柏克萊團隊的 Chatbot Arena，用西洋棋等級分的方式讓模型互相對戰）上，封閉模型（GPT、Claude 系列）領先，開放模型在後面追 —— 這個「封閉最強、開放緊追」的格局延續至今。

🛠️ 會用工具的 AI：一場完整的示範

演講中段有一場完整的實測，示範 AI 能力真正的成長方向。Karpathy 問 ChatGPT：「收集 Scale AI 這家公司歷輪募資的日期、金額、估值，整理成表格。」接下來發生的事：

1. 它自己上網查：模型判斷這題不該憑記憶回答，發出特殊指令啟動瀏覽器搜尋，把查到的網頁內容讀進來，整理成附出處連結的表格 —— 還誠實註明有兩輪的估值查不到。
2. 它自己按計算機：請它依已知輪次的比例推算缺漏的估值 —— 它知道自己心算不可靠（跟人類一樣），改用計算機工具算出答案。
3. 它自己寫程式畫圖：請它畫出「估值對時間」的圖表，它寫了一段 Python（用 matplotlib 畫圖的程式庫），丟進直譯器執行，生出專業的對數座標圖，再加趨勢線外推。
4. 它自己生成圖片：最後請它依上下文為這家公司生成一張形象圖 —— 它呼叫圖像生成工具完成。

重點不是任何單一步驟，而是它像人類一樣解題：不硬憑腦袋，而是把搜尋、計算機、程式、繪圖工具串起來用，再用語言把一切縫合。多模態（會看、會聽、會說）也是同一條軸線：演講展示了 OpenAI 共同創辦人 Greg Brockman 的著名 demo —— 在紙上手繪一個網站草圖拍照給 GPT-4，它直接寫出能動的網站程式碼。

💻 LLM OS：把 AI 想成一個新的作業系統

演講最有名的一張圖來了。Karpathy 說：把大型語言模型想成「聊天機器人」或「文字產生器」都不太對 ——更準確的想像是：一個新興作業系統的核心（kernel），負責調度記憶體與工具來解決問題：

演講也點名了當時學界最關心的三個未來方向：

• System 2 思考：出自《快思慢想》的比喻 —— 問你 2+2 你脫口而出（System 1，直覺），問你 17×24 你得慢慢算（System 2，深思）。當時的模型只有 System 1：每個字花的時間一樣，不會「多想一下」。Karpathy 期待有一天能對 AI 說「這題你花 30 分鐘想清楚再回我」——用時間換準確度。
• 自我改進：AlphaGo 靠自我對弈超越了人類棋士，因為圍棋有明確的勝負可以當獎勵。語言的世界沒有這種簡單的裁判，所以模型目前只能模仿人類、難以超越 —— 在有明確對錯的窄領域，自我改進或許可行。
• 客製化：讓模型變成特定領域的專家 —— 當時剛發表的 GPTs 商店、上傳檔案的 RAG、未來的微調，都是這條線。

🛡️ 攻防戰場：阿嬤越獄、白字陷阱與臥底暗號

新的運算平臺，就有新的資安戰場。演講最後用真實案例介紹了三大類攻擊 —— 每一個都值得做系統的人記在心上：

最值得深思的是為什麼這些攻擊有效。base64 越獄成功，是因為「拒絕」大多只用英文教過 —— 模型學會的不是「拒絕危險問題」，而是「用英文問的危險問題要拒絕」；亂碼後綴是研究者用最佳化算出來的（把這串加進防禦名單，重新最佳化又能算出新的一串）。防禦沒有一勞永逸 ——對外服務的 AI 系統，輸入過濾、輸出審核與權限最小化，一層都不能省。這與我們在〈解剖大型語言模型〉看到的「拒絕向量可以被減掉」是同一個教訓的兩面。

🧭 一句話總結

一個大型語言模型就是兩個檔案：一包壓縮了整個網路的參數，加上幾百行執行它的程式。它靠「預測下一個字」把知識失真壓縮進參數（所以會夢出格式正確、內容編造的東西）；靠換教材微調變成助理；靠 Scaling Law 保證「更大就更強」；並且正在長成一個以 LLM 為核心的新作業系統 —— 上下文是它的記憶體、工具是它的軟體、多模態是它的周邊。而新平臺自有新戰場：越獄、注入、下毒的貓鼠遊戲才剛開始。