12GB 顯示卡跑 1,250 億參數？拆解 Strata：本地大模型的新路線與真實成本

🧭 先看全景：Strata 是什麼、四支影片各講什麼

「只要你手上有一張顯示卡，我強烈建議你先把這個專案裝起來再說。」這是 Bilibili 創作者 AI觀模者的開場白。他說的是 2026 年 9 月底才在 GitHub 公開的開源專案 Strata，要做的事一句話講得完：讓一台顯示卡只有 12GB 記憶體的一般電競電腦，跑得動 1,250 億參數的 Qwen3.8-Flash-Next。

這個模型原本是「要伺服器才跑得動」的等級。Qwen 官方模型卡的規格：語言模型本體 1,250 億參數，每個 Token 實際只動用約 60 億；另有一張 510 億參數的 N-gram 詞組嵌入表、40 億參數的 MTP 猜字層。AI觀模者 說的「125B 加 50B、176B 的體量」，指的就是本體加上那張詞組表。

AI觀模者 把以前在自己電腦跑大模型的困難，歸納成三堵牆：

• 顯示卡記憶體牆：多數人手上是 12GB 或 16GB 的卡，跟 125B 等級的模型差了一個數量級；就算是 MoE 模型，過去也得先載進顯示卡才談得上部署。
• 部署牆：就算用 llama.cpp 這種已算親民的工具，編譯、相依套件、量化格式、幾十 GB 的權重下載，對新手仍是一道坎。
• 生態牆：跑起來卻沒有 API，就接不進工具鏈，只能陪你聊天。

Strata 的定位是一次拆掉三堵牆：一個推論引擎，加上一鍵安裝包。安裝程式依你的記憶體推薦量化版本、自動下載，裝好後在本機開出與 OpenAI／Anthropic 相容的 API。它怎麼辦到的，是接下來兩節的主題。

🍳 MoE：兩萬四千位專家，每次只叫醒十位

12GB 的顯示卡為什麼塞得進 1,250 億參數？關鍵在 MoE（Mixture of Experts，混合專家）架構。AI幫手 的比喻：把模型想成一間有兩萬四千多位廚師的超級大廚房，但每出一道菜（吐出一個字），不需要所有廚師一起拿鍋鏟，只要挑當下最合適的 10 位上工。

照模型卡的精確說法：模型有 48 層，每層有 512 位「專家」（每位是一小塊神經網路），合計 24,576 位。每產生一個 Token，每一層的路由器（Router）替 512 位專家打分數，只叫醒前 10 名，外加 1 位每次都上場的共享專家。

所以，顯示卡記憶體的「容量」比「算力」更重要

AI觀模者 由此推出一個反直覺的結論：在 MoE 架構下，顯示卡記憶體（VRAM）的容量比 GPU 的運算速度更關鍵。每多一位專家住進顯示卡，CPU 就少算一位，所以優先加大 VRAM，而不是換更快的 GPU。他也提醒，同代的 Qwen3.8 27B 這種 Dense（稠密）模型就不能這樣玩：每個字都要動用全部參數，沒有「冷門專家」可挪。

🧱 三層儲存：顯示卡、記憶體、SSD 各放什麼

大部分專家在休息，接下來就是安排它們住哪裡。AI觀模者 稱之為「整機協同」：GPU、CPU、記憶體、SSD 一起上陣。以前也有人拉記憶體和 SSD 來分擔，但速度掉得難以忍受；Strata 的差別在於有一套策略決定「誰放哪裡」，而且邊用邊調。README 的比喻跟 AI幫手 不約而同都是廚房：常用的擺在流理台上，其他的收進冰箱和櫃子。

關鍵在顯示卡那一層：固定零件放好之後，剩下的空間全部當「專家快取」，會記住這段對話哪些專家最常上場、邊聊邊換。AI幫手 補了一個畫面：從冰箱拿東西要「轉身開門翻找」，那條走道就是主機板上的 PCIe。

再加兩招：先猜再驗，與整塊讀長文

第三招 AI觀模者 叫它「猜後檢查」，正式名稱是 MTP 投機解碼（speculative decoding）：模型內建的小猜字層先猜接下來幾個字，大模型再一次驗過，對的留下、錯的重寫。官方 HOW_IT_WORKS 文件的說明是：一次最多猜 3 個 Token，平均每輪產出 2.4～3.2 個；每個字最後仍由大模型拍板，答案品質不變，速度快 1.6～1.8 倍。

第四招是讀長文：提示詞以最多 8,192 個 Token 為一塊整批讀入，下一層的專家一邊經 PCIe 送上顯示卡、這一層一邊計算，所以長文件、整個程式碼庫能以每秒上千 Token 讀進去。第一則訊息讀完後會保留對話狀態，之後的追問只讀新增的部分，幾秒內就開始回答。

🧮 門檻與檔位：你的電腦夠不夠、該選哪一版

AI幫手 接著潑了冷水：顯示卡只有 8GB、10GB，記憶體只有 16GB？「真的一點機會都沒有」。README 的最低需求是：

• 顯示卡：NVIDIA RTX 20／30／40／50 系列，或 README 列出的 AMD Radeon（RX 7900／7800／7700 XT、RX 9060 XT、RX 9070 系列、Radeon AI PRO R9700、RX 6800／6900 系列），顯示卡記憶體 12GB 以上。
• 系統記憶體：32GB 以上；它決定裝得下哪個檔位，64GB 全部都裝得下。
• 硬碟與系統：約 80GB 可用空間（盡量用 SSD，模型下載約 70GB）；Windows 10／11 或 Linux。

記憶體的門檻為什麼比顯示卡還硬？回到上一節：全部專家都要住在系統記憶體裡，顯示卡只是加速用的快取。

量化：把 RAW 原檔轉成 JPEG

同一個模型會提供幾種壓縮程度不同的版本，叫量化（Quantization）。AI幫手 的比喻：把一張 4K RAW 原始照片壓成 1080P 的高畫質 JPEG —— 放大到極限邊緣會有點糊，但整張照片依然清楚。Q2_0、IQ2_XS、IQ3_S 這些代號，是用 2～3 位元左右表示一個權重的不同壓法：位元越少越小越快，越多越聰明。AI觀模者 補充，IQ2_XS 經過矩陣校準、同樣大小下品質較好，也是官方推薦的檔位。

README 依記憶體的建議是：32GB 選 Coder（搭 12～16GB 顯示卡時唯一塞得下；搭 24GB 卡則 Q2_0、IQ2_XS 也能跑）、48GB 選 IQ2_XS 或最快的 Q2_0、64GB 全部檔位都行，推薦 IQ2_XS、96GB 以上可上 IQ3_S 或 Unsloth 約 4 位元的版本。影片的數字大致吻合：AI觀模者 引用作者當時在同一台機器的實測（Q2 短對話 93、128K 74 tok/s），AI幫手 說「讀取每秒 1,000～2,600、生成 50～90」。README 另估 24GB 的 RTX 3090 約每秒 100～140 個 Token，這是估算、不是實測。一個 Token 約 ¾ 個英文單字，每秒 60 個就比人閱讀還快。

另有 Swift 1.5（UkisAI 的微調版，思考短很多、品質差不多）與 Unsloth 的 4～8 位元版（更接近原版、要更多記憶體）可選。要讀圖（Vision）的話，AI幫手 與 README 都提醒：Windows 上的 AMD 顯示卡目前不支援圖片輸入，Linux 上可以，但靠 CPU 運算、慢很多。

🔌 接上你的工具：一行 Base URL、離線與多卡

AI幫手 這集的開場賣點：你寫好的 AutoGen、CrewAI 或 LangChain 腳本，只要改一行 Base URL，就能從雲端模型切到本機模型。README 的設定是：

# OpenAI 相容的應用程式（API Key 與模型名稱填什麼都可以）
Base URL：http://127.0.0.1:8080/v1

# 走 Anthropic API 的應用程式
http://127.0.0.1:8080/v1/messages

# Claude Code
ANTHROPIC_BASE_URL=http://127.0.0.1:8080

瀏覽器開 http://127.0.0.1:8080 有聊天介面與監看硬體的 Monitor 頁。API、Base URL 這些名詞不熟的話，先讀〈從 LLM 到 Agent Skill〉；Claude Code 的操作見〈Claude Code 從 0 到 1〉。

安裝方面，AI觀模者 的建議很直接：把專案網址丟給你在用的程式 Agent，叫它幫你裝。README 也正式提供這條路（讓 AI 照 docs/AI_SETUP.md 檢查硬體、挑檔位、安裝）；自己動手則是 Windows 雙擊 START-HERE.bat、Linux 執行 ./setup.sh，一路按 Enter 即可。

資料真的不出門嗎？

AI幫手 強調，模型與引擎都在本機執行，「你甚至可以實體拔掉網路線來用」。README 的說法是「Nothing leaves your PC」；安全說明文件也寫明，服務預設只聽本機的 127.0.0.1，要開放給區網其他電腦得加 --host 0.0.0.0，而且一定要設 API Key。

多卡，與「一次只服務一個人」

工作站插了兩張 RTX 3090？AI幫手 的算法：合起來 48GB，等於流理台擴建一倍、速度上來（README：兩到三張卡可共用一個模型）。限制則是 AI觀模者 列出的三點：一次只處理一個請求（他認為受益最大的 12GB、16GB 個人使用者本來就不太需要同時處理多個請求）；第一則長訊息要整段讀完，README 說約每 3 萬個 Token 一分鐘，之後的追問幾乎秒回；以及部分功能仍在實驗階段。

🖥️ 兩條硬體路線：獨立顯示卡＋大記憶體 vs 128GB 小主機

Strata 走的是「獨立顯示卡＋大記憶體」。另一條路是近年流行的統一記憶體小主機：CPU 與內建顯示晶片共用同一大池記憶體，不必把專家在兩種記憶體之間搬來搬去。AI幫手 的另一集，轉述了一位國外論壇玩家用小主機跑同一個模型的實測。

小主機實測：85 瓦跑 1,250 億參數

這位玩家用的是 128GB 記憶體的 BOSGAME M5，整機功耗限制在 85 瓦（「大概就是一台稍大的筆電充電器」），Ubuntu 26.04、平衡模式。結果出乎意料地安靜：作者把它放在儲藏室 24 小時開著，風扇聲能融進辦公室的背景噪音。

最關鍵的是一招記憶體魔術：那張 28.8GB 的 N-gram 對照表（Step 02 的「SSD 層」），玩家用 mmap（記憶體映射）讓它留在 SSD —— 作業系統讓程式「以為」整個檔案都在記憶體裡，實際上只有要查的那幾 KB 才讀進來。結果這份近 30GB 的檔案，在主程式的記憶體佔用只顯示 116MB；就算塞進 128K 長上下文，在高階 NVMe SSD 上生成速度也維持平穩。不過要手動開「延遲載入」參數，用內顯時預設是關的。

玩家實測了四款開源推論引擎，影片聚焦其中兩款：

• gufo：像跑車，每秒 54 個 Token，但一口氣吃掉 85GB 記憶體，而且只能跑 Q4 這種壓縮較少的版本。
• GSQHalo.cpp：玩家最後的選擇，每秒 46 個 Token、慢了將近 15%，但支援 IQ3_S 這種 3 位元壓縮，省下 20GB 記憶體。

3 位元會不會變笨？懷疑派說，嚴苛的數學推導題確實較易邏輯斷裂；實務派說，日常寫作、轉 JSON、一般程式輔助幾乎感覺不出來，不值得多花 20GB 換 15% 的速度。省下的 20GB，玩家再跑一個 260 億參數的 Gemma 4 組成「雙大腦」：Qwen 扛程式除錯，文筆較好的 Gemma 當翻譯與文案。

掄錘者：這波誰受衝擊最大？

掄錘者 的角度是：Strata 的分層，等於拿平價記憶體（DDR4、DDR5 都行）加獨立顯示卡，做出類似小主機統一記憶體的效果；效率不如原生統一記憶體，但他認為體驗已不輸、甚至勝過小主機（各家受衝擊的判斷見上圖下方）。所以受益最大的是手上已有 16GB 顯示卡的人：5070 Ti、5080、4080 搭足夠記憶體與 PCIe 4.0／5.0 主機板，體驗比小主機好；AMD 9070 系列也能跑，只是驅動與卸載效率差 NVIDIA 一截。

他還點出一個飛輪：越來越多開發者用線上最強的模型幫忙開發本地推論框架，本地 AI 進步得更快，連他原本覺得「上不了台面」的 RTX 3060 12GB 都談得上生產力了。Strata 的 README 直接建議用 AI 程式助理來安裝它，正是這個飛輪的縮影。

⚖️ 地端還是雲端？決策表＋一句話總結

「免費的最貴。」AI幫手 踩了三次煞車：它是霸道的記憶體房客，鎖住 35～55GB 不讓出來，64GB 的電腦再開 3A 遊戲很可能當機；滿載有隱形成本，家用顯示卡不是為 24 小時運轉設計的，電費與折舊攤下來，低頻使用者付雲端 API 搞不好更便宜；維運要有人，系統衝突、版本更新、切換模型都要內部有人判斷。但反過來，把資料主權握在自己手上，有時比省硬體錢更重要。

以下把四支影片的論點與 README 的限制，整理成給機關、學校與中小企業的決策表。它只做方向判斷，不含影片沒給的價格或電費數字 —— 那些請用你自己的報價單去算。

一句話總結

Strata 證明的事，就像 AI觀模者 的結論：對 MoE 模型來說，模型多大不是重點，只要調度得好 —— 常用專家放顯示卡、全部專家放記憶體、對照表放 SSD，再加上先猜再驗 —— 一台 12GB 顯示卡的電競電腦就扛得動 1,250 億參數。但「跑得動」和「值得在地端跑」是兩回事：資料不能出門、硬體已在手上、有人顧得了，地端才划算；偶爾用一下、沒有維運人力，付雲端 API 仍是比較省心的選擇。