Transformer 裡面長什麼樣？把 ChatGPT 的引擎拆開來看的三堂視覺課

🔧 先看整張圖：資料在引擎裡怎麼流

GPT 三個字母的意思：Generative（會生成文字）、Pretrained（先用海量資料練過、還能再微調）、Transformer —— 最後這個字才是關鍵：它是一種特定的神經網路架構，整波 AI 熱潮底下的核心發明。翻譯、生圖（DALL-E、Midjourney）、語音合成……全都建立在它上面。本文聚焦的是 ChatGPT 這一型：讀入一段文字，預測下一個字的機率分佈（預測→抽樣→接上→再預測的文字接龍，本專欄第九篇剛講過）。

那「預測下一個字」的那一瞬間，資料在裡面經歷了什麼？3Blue1Brown 的地圖是這樣的：

🧭 向量的方向，藏著語意

每個 token 進場的第一件事，是從嵌入矩陣裡領到一個屬於自己的向量 —— 一長串數字（GPT-3 是 12,288 維）。神奇的地方在於：訓練完成後，這個高維空間裡的「方向」會自己長出語意。原影片示範的幾個經典例子：

但要記住：領到向量的那一刻，每個字都還只是「查表查出來的孤立意思」——「mole」不管是痣、鼴鼠還是莫耳，拿到的向量一模一樣。整個網路接下來的任務，就是讓每個向量吸飽上下文：一個從「國王」出發的向量，流到最後可能已經編碼了「住在蘇格蘭、弒君上位、用莎士比亞的語氣被描述的那位國王」。另外，模型一次能處理的向量數量有上限 —— context size（GPT-3 是 2,048）——這就是為什麼早期的聊天機器人聊久了會「忘記前面說過什麼」。

🎯 注意力：一場發問與應答的配對遊戲

注意力機制出自 2017 年那篇如今赫赫有名的論文〈Attention Is All You Need〉。它要解決的事，用原影片的例子一講就懂：「tower」本來是個泛泛的「高大建築」方向；前面若有「Eiffel」，它就該被拉向「巴黎、鋼鐵」；再前面若還有「miniature」，那連「高大」都該被抹掉。注意力就是讓向量彼此傳話、按上下文修正彼此意思的機制。它的運作像一場配對遊戲：

• 注意力格子的大小是 context 長度的平方 —— 這就是為什麼「加大上下文窗口」在工程上這麼貴，也是各種注意力變形誕生的原因。
• 原影片點出一個常被忽略的重點：注意力之所以贏，與其說是機制多聰明，不如說是它極度可平行化 —— 能用 GPU 大規模同時算。過去二十年深度學習最大的教訓就是「規模本身就能帶來質變」，而可平行化的架構才吃得到規模紅利。

🏀 事實存在哪？MLP 與喬丹打籃球

模型顯然「背」了海量事實 —— 問它 Michael Jordan plays the sport of ___，它答 basketball。這些事實住在哪？DeepMind 的研究指向一個地方：多層感知器（MLP） —— 佔了整個網路三分之二參數的那一大塊。原影片用一個玩具例子拆給你看，它怎麼「存」下喬丹打籃球這件事：

🌌 疊加：為什麼模型越大越神、也越難懂

上一節的玩具例子有個美中不足：實際觀察發現，單一神經元幾乎從不乾淨地代表單一概念。為什麼？原影片給了一個讓人拍案的高維數學事實 ——

• 要讓 n 維空間裡的方向完全互相垂直（彼此不干擾），最多只能放 n 個 —— 這就是「維度」的定義。
• 但只要放寬一點點、允許「近乎垂直」（89°～91°），能塞進去的方向數量就隨維度呈指數成長（Johnson–Lindenstrauss 引理）。影片用 Python 實測：100 維的空間，硬是塞進了 10,000 個彼此近乎垂直的向量。

這對大型語言模型意義重大：一個 12,288 維的空間，能表示的獨立概念遠遠不只 12,288 個 —— 模型把概念「疊加」（superposition）在近乎垂直的方向組合上。這一次解釋了兩件事：為什麼模型規模翻十倍、能力遠不只十倍（維度翻倍，容量指數成長）；也為什麼模型這麼難解釋（一個概念不是一顆神經元亮，而是一組神經元的特定組合亮）。想深挖的關鍵字是 sparse autoencoder —— 可解釋性研究者用來把疊在一起的特徵拆開的工具。

🧭 一句話總結

Transformer 的世界只有三種東西：方向藏語意的向量、讓向量互相修正的注意力（Q 發問、K 應答、V 搬運）、把知識存成 AND 閘的 MLP —— 然後把這兩種積木疊 96 層，讓每個向量吸飽上下文，最後用最後一個向量賭下一個字。看懂這張地圖，「1,750 億參數」就不再是一團迷霧，而是一筆一筆算得出來的帳。