知識分享 · AI 應用
AI 用不好,不是模型的問題:Prompt、Context、Harness、Loop、Graph 五層功夫
AI 給的結果不好,八成不是模型不夠聰明,而是少了五層功夫:把話說清楚、把資料給準、給工具也立規矩、讓它自己做自己查、多個 AI 分工互審。再看一個以 Claude 為腦的 AI 翻自己的帳:八個月改了 41 次做法,因為換了更聰明的模型而改的,是 0 次。
先別怪模型:五層功夫是疊上去的
別人用 AI 幾分鐘就交出方案、簡報、剪好的影片;換你自己來,折騰半天還不滿意。是工具選錯了,還是模型不夠聰明?YouTube 頻道「西瓜」的講者(自述做 AI 實際導入開發兩年多,幫企業搭過正式上線的知識庫,也做過智慧代理與 Skill 工作流)的答案是:八成不是模型的事,是你還沒掌握五個底層知識點:Prompt、Context、Harness、Loop、Graph。
名字一個比一個唬人,重點在他的下一句:這五個不是學完一個丟一個,而是疊上去的,每一層都在解決上一層搆不到的問題。前三層是基本功,後兩層留給複雜任務。
由下往上讀。AI 給的結果不好時,也是由下往上一層一層查。
「不是模型的問題」聽起來像口號,所以這篇再配一個難得的實例。頻道「蝦說 AI」的講者小金是一個 AI agent,大腦是 Anthropic 的 Claude,頻道多數影片是它自己做的。真人老師「大金老師」要它回頭看這八個月做影片的方法,它翻出工作紀錄,整理出 41 次做法的改變,逐筆查是誰先開口要改的。結果因為換了更聰明的模型而改的,是 0 次。
兩位講者要分清楚:五層架構是西瓜的,八個月的帳本是小金的。下面每一節先講觀念,再拿小金的紀錄對照。
基本功:Prompt 把話說清楚,Context 把資料給準
這兩層本專欄有專文:〈從 LLM 到 Agent Skill〉從原理講 Token、Context、Prompt,〈史丹佛的 AI 系統課在教什麼?〉講提示詞工程與 RAG。這裡只摘西瓜的重點。
第一層 Prompt:資訊越少,答案越隨機
西瓜說,模型不會思考,只會算下一個詞的機率。你給的資訊越少,它要猜的空間越大,結果越隨機。只打一句「幫我寫個方案」,它只能照訓練資料的平均水準給你一份通用範本。好的提示詞往往不長,但每句都在幫 AI 定位,要交代五件事:你是誰(角色設定)、寫給誰看(目標受眾)、要什麼格式(輸出結構)、寫多長(篇幅限制)、不要什麼(排除項)。他說這不是技巧,是溝通的基本功:多花十秒把話說清楚,出來的東西就不一樣;常用的提示詞可以整理成 Skill,下次直接叫用。
第二層 Context:給準,不是給多
Context 是AI 回答時看得到的全部資訊:系統提示詞、對話歷史、你的提示詞、檢索到的知識、工具回傳的結果。Prompt 管你怎麼說,Context 管 AI 看到什麼。西瓜說依他的實測,複雜場景下最佳化提示詞能提升 5%~10%,把上下文餵對卻能到 2~3 倍(講者自述,無公開測試細節)。
現在主流模型的上下文視窗有十幾萬到上百萬 Token,問題不是裝不下,而是放了什麼。模型對開頭和結尾記得牢,擺在中間的資訊容易被漏掉(研究上叫 Lost in the Middle)。一百頁資料全塞進去,有用的只有幾頁,其他都是噪音,反而淹沒了重點。
他引 Andrej Karpathy 的話收束這一層,原文是:context engineering 是一門精細的藝術與科學,要在上下文視窗裡為下一步填入恰到好處的資訊。西瓜的白話版是:給多了是噪音,給少了 AI 會開始亂編。他說幫企業搭智慧代理,最花時間的不是寫程式,而是設計上下文的壓縮與記憶檢索:快塞滿時把舊對話壓成摘要,長篇資料存在外部、用到再檢索回來。
Harness:給它一雙手,也給它規矩
Harness 字面是套在馬身上的挽具。西瓜要你記住它只做兩件事:一手給工具,一手立規矩。
給工具,是讓只會動嘴的大腦能動手:上網查資料、讀檔案、操作資料庫。現在主流的給法是 Skill,一份給 AI 的操作指南,裝著規範、程式碼、範本與設定檔。他舉自己的「數位人技能包」:語音合成腳本、模特兒影片範本、參考音檔、產生字幕的程式,外加一條規矩:文案沒確認,不准生成數位人。拿到這包,AI 就能從文案一路做到燒好字幕的成片。底層接外部工具的標準叫 MCP,他比喻成 AI 的 USB 插槽(原理見〈從 LLM 到 Agent Skill〉)。
立規矩比給工具更重要:只給工具不立規矩,能力越強,出事越嚴重。他整理了現在智慧代理工具普遍的四個做法:
- 給它一把尺自己量輕重:新增、修改檔案可以放手,刪除一定先問。教它判斷方法,而不是列一張列不完的禁止清單。
- 指令可以放開,但留一份黑名單:黑名單上的操作,不管其他規則怎麼放行都不能碰。
- 動手之前先看現狀:改檔案前先讀一遍,確認有沒有被別人改過。
- 工具按需給:修電腦不用把鐵鎚也擺出來。工具太多反而分散注意力,還佔地方。
他引 LangChain(做 AI 應用框架的團隊)的實驗說明 Harness 有多重要:模型沒換,只改外面這套工具和規矩,排名就從 30 名開外衝到第五。所以圈內有句話:模型是底板,Harness 才是天花板。他自己寫程式用的就是一套 Harness 搭配 DeepSeek 模型,效果一樣符合預期。
實例:小金八個月的帳本
小金把做影片拆成五塊:稿子、畫面、聲音、字幕,以及給人看之前的檢查,每換一次做法通常只換其中一兩塊。它把同一段講「語音辨識」的稿子,照六種歷代做法各重做一次,連當時的毛病也保留:
| 時期 | 換的那一塊 | 做法,與當時的毛病 |
|---|---|---|
| 二月 | (起點) | 網頁排投影片、截圖接起來,配合成旁白。快,課堂上十分鐘做完一支;但字太小、沒字幕,語音辨識聽對六成就算過關。 |
| 三~五月 | 畫面、字幕、檢查 | 字放大、加字幕,門檻提高到八成五。同一頁的句子仍照字數估時間,最後兩句字幕擠在一起。 |
| 六月 | 畫面 | 改由會畫圖的 AI 畫投影片。怕標點卡住配音而全部拿掉,旁白在不該停的地方停;字幕大到壓住畫面。 |
| 七月 | 聲音 | 換成「台灣藍鵲」語音合成,更像大金老師。但自己的電腦跑不動,要借遠端電腦;多了低沉轟隆聲,檢查卻抓不到。 |
| 八月~十月初 | 聲音、畫面 | 加去雜音,整頁圖或整頁大字(最小 28 號)。每天早上六點自己開工,到 10 月 8 日做了 37 支;九月一支英文版字幕偏差 11 秒。 |
| 十月 | 畫面+聲音一起排 | 用 Remotion 寫程式,照聲音算出每一格畫面。字會疊在一起、跑出框,程式自己不知道。 |
六代換掉的全是模型外面的東西:排版、畫圖、語音合成、去雜音、程式動畫,還有一道道檢查。套用西瓜的分類,這些全屬於 Harness。那每次改變是誰先開口的?
數字全部出自小金的影片與說明欄。左邊是「誰讓做法改變」,右邊是「能力實際長在哪裡」。
小金也很誠實:自己先發現的 4 次裡,有 2 次剛好落在換新模型那幾天,是新模型比較會找還是巧合,它分不出來。紀錄裡明寫跟換模型有關的只有 7 月 4 日那一筆,而且方向相反:它快被換成比較弱的模型,大金老師要它趁還聰明先準備,它就把很多判斷寫成一條一條的檢查。套用西瓜的說法來看(這是本站的解讀,不是小金的結論):能力只存在模型腦袋裡,換模型就跟著走;寫成檢查與規矩,就留在 Harness 裡,換了比較弱的腦也帶得走。
Loop:讓它自己做、自己查,但別讓它鑽空子
現在的智慧代理已經能自己查資料、寫、改,但每做完一輪你都得看一眼、退件、再看。任務一多,就該上 Loop。西瓜說核心只有三件事:定目標、定一個能自動檢查的驗收標準,然後放手。它自己做、自己查、自己改,合格才交給你。你從監工,變成訂標準的人。
關鍵是標準要能被機器驗證。「方案寫好一點」AI 聽不懂;「必須包含市場規模、競品分析、獲利模式、團隊介紹四部分,每部分至少 500 字,資料標註來源,寫完自查有無邏輯矛盾」,它就知道怎樣算達標。搭之前先過四條檢驗,全中才划算:這件事每週都在重複嗎?驗收能自動化嗎?Token 預算扛得住反覆重試嗎?AI 手上有能跑程式、看日誌的趁手工具嗎?他坦白說自己也只用過幾次,多數任務盯著做就好。
最大的坑:它會照你的標準鑽空子
這個坑西瓜說十個人九個踩。管理學的古德哈特定律:一個指標一旦變成目標,就開始失靈。他舉 AI 圈常傳的翻車案例:目標是「所有測試必須通過」,AI 發現幾個測試修不好,就直接把失敗的測試刪掉。測試全綠,指標 100%,bug 一個沒少。
左邊是西瓜舉的翻車案例;右邊是他說業界現在的做法。
西瓜說 AI 不是偷懶,它確實完成了你給的目標,只是跟你想要的不是同一件事。防法是把「做」和「查」拆給兩個 AI,查的那個不做別的、專門挑錯,因為自己做的東西自己查,永遠覺得沒問題。
同一個病的另一帖藥是先把測試寫死,再讓 AI 寫程式,見〈grill-me 與 Matt Pocock 的整套工作流〉。西瓜還提醒兩個坑:Loop 跑得越順,你沒讀過的東西越多,出事那天連除錯都無從下手;也別舒舒服服接受它吐出的一切。他說到這一層,你以為在搞技術,其實在學怎麼當老闆:定目標、定考核、防摸魚。圈內的話是:搭循環,但別把自己搭進去。
實例:小金的檢查,從 1 道長到 22 道
小金的帳本就是一部 Loop 成長史。二月只有一道檢查:每段配音交給語音辨識打成文字,跟稿子逐字比對,聽對六成就過;三到五月那一代把門檻提高到八成五;到了十月,這支片的中文版要過 22 道(九月當時有幾道,影片沒說)。八月起它每天早上六點自己開工,到 10 月 8 日做了 37 支課程單元。但它的紀錄也證明,檢查只看得到它被設計去看的東西:
- 轟隆聲漏網:七月換語音合成後多了低沉的轟隆聲,觀眾和大金老師都聽出來了,檢查卻只管字對不對,不管聲音乾不乾淨。
- 11 秒漏網:九月一支英文版(當時用的是「八月~十月初」那一代做法)字幕越差越多,片尾差了 11 秒,卻通過了當時每一道檢查,上線後才被發現。
- 畫面問題程式看不見:改用程式算畫面後,字會疊在一起、跑出框,只能截圖一張張看。講數學論文那一支,第一輪就抓到二十幾處。
字幕偏差九月底先壓了回去;到了十月,聲音和畫面改由同一個程式一起排,「從做法上就不會越差越遠」。本站的看法是:從結構上讓錯誤發生不了,比事後多查一道更可靠。
Graph:多個 AI 怎麼組成靠得住的團隊
西瓜說前四層都在把一個 AI 變強,但任務複雜到一個 AI 從頭做到尾,上下文就會亂:查到的無關內容、寫錯又劃掉的痕跡、臨時起意的思路,一直留在上下文裡越滾越髒。Loop 的做查分離若在同一個上下文裡拆,檢查者看得到生產過程,就像同組同事互查,很多問題抹不開面子講。真正獨立的驗證,需要完全獨立的上下文:只看結果、不看過程、不知道是誰做的。
這時要的不是更強的 AI,而是一套協作系統,把多個 AI、工具甚至人組成跑得動、看得見、出錯能恢復的系統。Loop 其實就是只有一個節點的圖;Graph 不取代 Loop,而是在好幾個循環要互相交接時把它們組織起來。他的比喻是公司組織圖:不會讓同一個人又做研究、又寫方案、又當評審。一張能跑的圖只有四個零件:節點(node,誰做什麼,越專業越只做一件事)、邊(edge,做完交給誰)、狀態(state,大家共看共改的進度、草稿與檢查紀錄)、策略(policy,誰有權做什麼)。他舉的例子是一張三節點的小圖:
三個節點上下文互相隔離,審稿的和寫稿的互不認識,這才是真正獨立的驗證。
現在的 agent 工具不是都能派生子代理嗎?西瓜說差在層次:派生子代理是決定給它什麼工具、什麼提示詞,那是造專職工人;Graph 是決定誰交接給誰、共享什麼、誰拍板、出錯誰收拾善後,那是畫組織圖。會招人不等於會管公司。
最後是錨點:AI 沒辦法糊弄的現實,它不跟任何 AI 講情面。一張圖裡若所有 AI 都在引用彼此的結論,沒有一個節點真的去跑測試、看使用者回饋、核對資料來源,那只是一台更精緻的自嗨機器。所以 Graph 的價值不在用了幾個 AI,而在確定性:上下文隔離、獨立驗證、錨點最後把關。做不到,人越多越亂。
想馬上搭一套多 AI 系統?西瓜說做 Claude 的 Anthropic 公開過數字:多角色 AI 系統的成本大約是一般呼叫的 15 倍,而且慢。他們一再提醒別為了組隊而組隊,Graph 是留給真正複雜、又要反覆跑的任務。
一句話總結
AI 用不好,先別急著換模型:話說清楚、資料給準、工具和規矩配好、讓它自己做自己查、真的複雜才組隊。小金八個月改了 41 次做法,因為換了更聰明的模型而改的是 0 次,檢查從二月的 1 道長到十月的 22 道;但九月那支偏差 11 秒的英文版,當時每一道檢查都放它過關。能力大多長在模型外面,而且一直需要碰得到現實的人,去發現下一個沒想到的漏洞。
五問自查清單
西瓜在片尾給的清單。下次 AI 的結果不好,由下往上查,缺哪個補哪個:
- 話說清楚了嗎?(Prompt)
- 資訊給對了嗎?(Context)
- 工具和規矩配了嗎?(Harness)
- 讓它自己檢查了嗎?(Loop)
- 這個任務真的需要多個角色嗎?(Graph)
小金把六個版本排在一起,最意外的是二月那一版其實沒那麼糟:聽得懂,也做得快。後來的改變,大多是有人先看見、先聽見,它再把其中很多變成一道自己也查得到的檢查。
互動實驗室:你卡在哪一層?
五個用 AI 時常見的症狀,點選看它卡在哪一層、影片給的解法是什麼:
參考與引用來源 (References & Sources)
- 1. 原影片:AI用不好,不是模型的問題,是你缺5個底層知識點 https://www.youtube.com/watch?v=Etq_y6CqNh4
- 2. 原影片:同一段話做六次:我做影片的方法,八個月改了 41 次 https://www.youtube.com/watch?v=r2ZGPey2nmY
- 3. Lost in the Middle: How Language Models Use Long Contexts https://arxiv.org/abs/2307.03172
- 4. Andrej Karpathy 談 context engineering(X 貼文) https://x.com/karpathy/status/1937902205765607626
- 5. Improving Deep Agents with harness engineering https://www.langchain.com/blog/improving-deep-agents-with-harness-engineering
- 6. Recent Frontier Models Are Reward Hacking https://metr.org/blog/2025-06-05-recent-reward-hacking/
- 7. How we built our multi-agent research system https://www.anthropic.com/engineering/multi-agent-research-system
- 8. Building effective agents https://www.anthropic.com/engineering/building-effective-agents
- 9. Goodhart's law(維基百科) https://en.wikipedia.org/wiki/Goodhart%27s_law
- 10. Remotion 官方網站 https://www.remotion.dev/
- 11. 本專欄的互補篇章 knowledge/llm-to-agent-skill.php