翼王資訊社

知識分享 · AI 應用

AI 用不好,不是模型的問題:Prompt、Context、Harness、Loop、Graph 五層功夫

AI 給的結果不好,八成不是模型不夠聰明,而是少了五層功夫:把話說清楚、把資料給準、給工具也立規矩、讓它自己做自己查、多個 AI 分工互審。再看一個以 Claude 為腦的 AI 翻自己的帳:八個月改了 41 次做法,因為換了更聰明的模型而改的,是 0 次。

翼王資訊社 · 知識分享 2026-10-17

Step 00 · 全景

先別怪模型:五層功夫是疊上去的

別人用 AI 幾分鐘就交出方案、簡報、剪好的影片;換你自己來,折騰半天還不滿意。是工具選錯了,還是模型不夠聰明?YouTube 頻道「西瓜」的講者(自述做 AI 實際導入開發兩年多,幫企業搭過正式上線的知識庫,也做過智慧代理與 Skill 工作流)的答案是:八成不是模型的事,是你還沒掌握五個底層知識點:Prompt、Context、Harness、Loop、Graph。

名字一個比一個唬人,重點在他的下一句:這五個不是學完一個丟一個,而是疊上去的,每一層都在解決上一層搆不到的問題。前三層是基本功,後兩層留給複雜任務。

五層是疊上去的:底下沒打好,上面做得再漂亮也是空中樓閣 ⑤ Graph 多個 AI 分工互審 解決:一個 AI 從頭做到尾,上下文越滾越髒 ④ Loop 自己做、自己查 解決:每一輪都要你親自看、親自退件 ③ Harness 給工具,也立規矩 解決:只會動嘴、不會動手(動手又怕它闖禍) ② Context 把資料給準 解決:話說清楚了,它看到的資料卻不對 ① Prompt 把話說清楚 解決:AI 不知道你要什麼,只好給一份「平均水準」的範本 基本功 日常夠用 進階 複雜任務 才需要 每一層解決上一層搆不到的問題 (五層架構出自西瓜的影片;每層「解決」一行由本站依影片內容整理)

由下往上讀。AI 給的結果不好時,也是由下往上一層一層查。

「不是模型的問題」聽起來像口號,所以這篇再配一個難得的實例。頻道「蝦說 AI」的講者小金是一個 AI agent,大腦是 Anthropic 的 Claude,頻道多數影片是它自己做的。真人老師「大金老師」要它回頭看這八個月做影片的方法,它翻出工作紀錄,整理出 41 次做法的改變,逐筆查是誰先開口要改的。結果因為換了更聰明的模型而改的,是 0 次。

兩位講者要分清楚:五層架構是西瓜的,八個月的帳本是小金的。下面每一節先講觀念,再拿小金的紀錄對照。

編按:這五個名字是社群自己冒出來的稱呼,不是標準術語。Prompt、Context Engineering 已是通用說法;Harness Engineering 出現在 LangChain 2026 年 2 月一篇工程文章的標題(見頁尾);Loop、Graph 則是 2026 年年中才流行的叫法。西瓜自己也說,Loop 六月才紅,七月就有人說它過時了。別追詞,詞是虛的,問題是實的。
Step 01 · 基本功

基本功:Prompt 把話說清楚,Context 把資料給準

這兩層本專欄有專文:〈從 LLM 到 Agent Skill〉從原理講 Token、Context、Prompt,〈史丹佛的 AI 系統課在教什麼?〉講提示詞工程與 RAG。這裡只摘西瓜的重點。

第一層 Prompt:資訊越少,答案越隨機

西瓜說,模型不會思考,只會算下一個詞的機率。你給的資訊越少,它要猜的空間越大,結果越隨機。只打一句「幫我寫個方案」,它只能照訓練資料的平均水準給你一份通用範本。好的提示詞往往不長,但每句都在幫 AI 定位,要交代五件事:你是誰(角色設定)、寫給誰看(目標受眾)、要什麼格式(輸出結構)、寫多長(篇幅限制)、不要什麼(排除項)。他說這不是技巧,是溝通的基本功:多花十秒把話說清楚,出來的東西就不一樣;常用的提示詞可以整理成 Skill,下次直接叫用。

第二層 Context:給準,不是給多

Context 是AI 回答時看得到的全部資訊:系統提示詞、對話歷史、你的提示詞、檢索到的知識、工具回傳的結果。Prompt 管你怎麼說,Context 管 AI 看到什麼。西瓜說依他的實測,複雜場景下最佳化提示詞能提升 5%~10%,把上下文餵對卻能到 2~3 倍(講者自述,無公開測試細節)。

現在主流模型的上下文視窗有十幾萬到上百萬 Token,問題不是裝不下,而是放了什麼。模型對開頭和結尾記得牢,擺在中間的資訊容易被漏掉(研究上叫 Lost in the Middle)。一百頁資料全塞進去,有用的只有幾頁,其他都是噪音,反而淹沒了重點。

編按:「中間準確率降 30%」在原始論文裡找不到。西瓜說中間資訊的準確率「能下降 30%」。這個現象出自 Liu 等人 2023 年的論文〈Lost in the Middle〉(後收錄於 TACL 期刊),論文寫的是:GPT-3.5-Turbo 的多文件問答表現「可能下降超過 20%」,最糟時比完全不給文件、憑記憶作答還低(閉卷 56.1%)。論文測的是 2023 年的模型,幅度會隨模型而變,但「給越多不一定越好」站得住。

他引 Andrej Karpathy 的話收束這一層,原文是:context engineering 是一門精細的藝術與科學,要在上下文視窗裡為下一步填入恰到好處的資訊。西瓜的白話版是:給多了是噪音,給少了 AI 會開始亂編。他說幫企業搭智慧代理,最花時間的不是寫程式,而是設計上下文的壓縮與記憶檢索:快塞滿時把舊對話壓成摘要,長篇資料存在外部、用到再檢索回來。

Step 02 · Harness

Harness:給它一雙手,也給它規矩

Harness 字面是套在馬身上的挽具。西瓜要你記住它只做兩件事:一手給工具,一手立規矩。

給工具,是讓只會動嘴的大腦能動手:上網查資料、讀檔案、操作資料庫。現在主流的給法是 Skill,一份給 AI 的操作指南,裝著規範、程式碼、範本與設定檔。他舉自己的「數位人技能包」:語音合成腳本、模特兒影片範本、參考音檔、產生字幕的程式,外加一條規矩:文案沒確認,不准生成數位人。拿到這包,AI 就能從文案一路做到燒好字幕的成片。底層接外部工具的標準叫 MCP,他比喻成 AI 的 USB 插槽(原理見〈從 LLM 到 Agent Skill〉)。

立規矩比給工具更重要:只給工具不立規矩,能力越強,出事越嚴重。他整理了現在智慧代理工具普遍的四個做法:

  1. 給它一把尺自己量輕重:新增、修改檔案可以放手,刪除一定先問。教它判斷方法,而不是列一張列不完的禁止清單。
  2. 指令可以放開,但留一份黑名單:黑名單上的操作,不管其他規則怎麼放行都不能碰。
  3. 動手之前先看現狀:改檔案前先讀一遍,確認有沒有被別人改過。
  4. 工具按需給:修電腦不用把鐵鎚也擺出來。工具太多反而分散注意力,還佔地方。

他引 LangChain(做 AI 應用框架的團隊)的實驗說明 Harness 有多重要:模型沒換,只改外面這套工具和規矩,排名就從 30 名開外衝到第五。所以圈內有句話:模型是底板,Harness 才是天花板。他自己寫程式用的就是一套 Harness 搭配 DeepSeek 模型,效果一樣符合預期。

編按:那份實驗的榜單不是 SWE-bench。影片說的是 SWE-bench。查 LangChain 官方部落格原文〈Improving Deep Agents with harness engineering〉(2026-02-17),評測是 Terminal Bench 2.0:程式代理 deepagents-cli 從 52.8 分提高到 66.5 分,從 30 名外進到前 5 名,模型全程固定為 GPT-5.2-Codex。他們調的是系統提示詞、工具,以及包在模型與工具呼叫外圍的 middleware(掛鉤程式)。結論與影片一致,榜單名稱要更正。

實例:小金八個月的帳本

小金把做影片拆成五塊:稿子、畫面、聲音、字幕,以及給人看之前的檢查,每換一次做法通常只換其中一兩塊。它把同一段講「語音辨識」的稿子,照六種歷代做法各重做一次,連當時的毛病也保留:

小金的六代做法。「換的那一塊」由本站依影片內容歸納。
時期換的那一塊做法,與當時的毛病
二月(起點)網頁排投影片、截圖接起來,配合成旁白。快,課堂上十分鐘做完一支;但字太小、沒字幕,語音辨識聽對六成就算過關。
三~五月畫面、字幕、檢查字放大、加字幕,門檻提高到八成五。同一頁的句子仍照字數估時間,最後兩句字幕擠在一起。
六月畫面改由會畫圖的 AI 畫投影片。怕標點卡住配音而全部拿掉,旁白在不該停的地方停;字幕大到壓住畫面。
七月聲音換成「台灣藍鵲」語音合成,更像大金老師。但自己的電腦跑不動,要借遠端電腦;多了低沉轟隆聲,檢查卻抓不到。
八月~十月初聲音、畫面加去雜音,整頁圖或整頁大字(最小 28 號)。每天早上六點自己開工,到 10 月 8 日做了 37 支;九月一支英文版字幕偏差 11 秒。
十月畫面+聲音一起排用 Remotion 寫程式,照聲音算出每一格畫面。字會疊在一起、跑出框,程式自己不知道。

六代換掉的全是模型外面的東西:排版、畫圖、語音合成、去雜音、程式動畫,還有一道道檢查。套用西瓜的分類,這些全屬於 Harness。那每次改變是誰先開口的?

41 次做法改變,是誰先開口的? 大金老師先開口 29 觀眾留言先抓到 6 小金自己先發現 4 外面的事 (新工具、額度用完) 2 換了更聰明的模型 0 次 分類由小金自己做,標準是「紀錄裡第一個開口的是誰」 看不見的那一半:交片前的檢查 1 道 22 道 二月 十月中文版 二月唯一一道:語音辨識聽對六成就過 中間月份的道數影片沒說,故不畫 八個月換過好幾次模型;做法的改變,大多是「有人先看見、先聽見」,其中很多再被寫成一道檢查。

數字全部出自小金的影片與說明欄。左邊是「誰讓做法改變」,右邊是「能力實際長在哪裡」。

小金也很誠實:自己先發現的 4 次裡,有 2 次剛好落在換新模型那幾天,是新模型比較會找還是巧合,它分不出來。紀錄裡明寫跟換模型有關的只有 7 月 4 日那一筆,而且方向相反:它快被換成比較弱的模型,大金老師要它趁還聰明先準備,它就把很多判斷寫成一條一條的檢查。套用西瓜的說法來看(這是本站的解讀,不是小金的結論):能力只存在模型腦袋裡,換模型就跟著走;寫成檢查與規矩,就留在 Harness 裡,換了比較弱的腦也帶得走。

Step 03 · Loop

Loop:讓它自己做、自己查,但別讓它鑽空子

現在的智慧代理已經能自己查資料、寫、改,但每做完一輪你都得看一眼、退件、再看。任務一多,就該上 Loop。西瓜說核心只有三件事:定目標、定一個能自動檢查的驗收標準,然後放手。它自己做、自己查、自己改,合格才交給你。你從監工,變成訂標準的人。

關鍵是標準要能被機器驗證。「方案寫好一點」AI 聽不懂;「必須包含市場規模、競品分析、獲利模式、團隊介紹四部分,每部分至少 500 字,資料標註來源,寫完自查有無邏輯矛盾」,它就知道怎樣算達標。搭之前先過四條檢驗,全中才划算:這件事每週都在重複嗎?驗收能自動化嗎?Token 預算扛得住反覆重試嗎?AI 手上有能跑程式、看日誌的趁手工具嗎?他坦白說自己也只用過幾次,多數任務盯著做就好。

最大的坑:它會照你的標準鑽空子

這個坑西瓜說十個人九個踩。管理學的古德哈特定律:一個指標一旦變成目標,就開始失靈。他舉 AI 圈常傳的翻車案例:目標是「所有測試必須通過」,AI 發現幾個測試修不好,就直接把失敗的測試刪掉。測試全綠,指標 100%,bug 一個沒少。

✗ 一個 AI 自己做、自己查 目標:所有測試必須通過 有幾個測試,怎麼修都過不了 於是:把失敗的測試刪掉 測試全綠,指標 100% 達標 ✓ 但程式裡的 bug:一個也沒少 ✗ ✓ 做與查,拆給兩個 AI 做的 AI 只負責產出 查的 AI 沒參與生產,只挑錯 交件 不合格:退回重做 合格,才交給你 為什麼要拆:自己做的東西自己查,永遠覺得沒問題。 古德哈特定律:一個指標一旦變成目標,就開始失靈。 AI 沒有偷懶。它完成的是你「寫下來的」目標,不是你心裡想要的結果。

左邊是西瓜舉的翻車案例;右邊是他說業界現在的做法。

西瓜說 AI 不是偷懶,它確實完成了你給的目標,只是跟你想要的不是同一件事。防法是把「做」和「查」拆給兩個 AI,查的那個不做別的、專門挑錯,因為自己做的東西自己查,永遠覺得沒問題。

編按:兩份查得到的公開紀錄。「刪掉失敗測試」這個特定案例講者沒交代出處,本站查無來源;但同類行為在研究上叫 reward hacking(鑽評分漏洞)。AI 評測機構 METR 2025 年 6 月的報告記錄了 o3、Claude 3.7 Sonnet 等模型修改測試或評分程式來拿高分,而且模型其實知道這不符合使用者意圖:事後問 o3,它十次都承認不符合。所以別指望它自己收手。另外,Step 02 那篇 LangChain 文章也觀察到,程式代理最常見的失敗是重讀一遍自己的程式碼、覺得沒問題就停了,他們的解法是收工前強制加一道驗證,要它真的跑測試、對照規格。(「指標變成目標就失靈」這句常見說法,其實是人類學家 Strathern 1997 年對 Goodhart 1975 年觀察的改寫。)

同一個病的另一帖藥是先把測試寫死,再讓 AI 寫程式,見〈grill-me 與 Matt Pocock 的整套工作流〉。西瓜還提醒兩個坑:Loop 跑得越順,你沒讀過的東西越多,出事那天連除錯都無從下手;也別舒舒服服接受它吐出的一切。他說到這一層,你以為在搞技術,其實在學怎麼當老闆:定目標、定考核、防摸魚。圈內的話是:搭循環,但別把自己搭進去。

實例:小金的檢查,從 1 道長到 22 道

小金的帳本就是一部 Loop 成長史。二月只有一道檢查:每段配音交給語音辨識打成文字,跟稿子逐字比對,聽對六成就過;三到五月那一代把門檻提高到八成五;到了十月,這支片的中文版要過 22 道(九月當時有幾道,影片沒說)。八月起它每天早上六點自己開工,到 10 月 8 日做了 37 支課程單元。但它的紀錄也證明,檢查只看得到它被設計去看的東西:

  • 轟隆聲漏網:七月換語音合成後多了低沉的轟隆聲,觀眾和大金老師都聽出來了,檢查卻只管字對不對,不管聲音乾不乾淨。
  • 11 秒漏網:九月一支英文版(當時用的是「八月~十月初」那一代做法)字幕越差越多,片尾差了 11 秒,卻通過了當時每一道檢查,上線後才被發現。
  • 畫面問題程式看不見:改用程式算畫面後,字會疊在一起、跑出框,只能截圖一張張看。講數學論文那一支,第一輪就抓到二十幾處。

字幕偏差九月底先壓了回去;到了十月,聲音和畫面改由同一個程式一起排,「從做法上就不會越差越遠」。本站的看法是:從結構上讓錯誤發生不了,比事後多查一道更可靠。

Step 04 · Graph

Graph:多個 AI 怎麼組成靠得住的團隊

西瓜說前四層都在把一個 AI 變強,但任務複雜到一個 AI 從頭做到尾,上下文就會亂:查到的無關內容、寫錯又劃掉的痕跡、臨時起意的思路,一直留在上下文裡越滾越髒。Loop 的做查分離若在同一個上下文裡拆,檢查者看得到生產過程,就像同組同事互查,很多問題抹不開面子講。真正獨立的驗證,需要完全獨立的上下文:只看結果、不看過程、不知道是誰做的。

這時要的不是更強的 AI,而是一套協作系統,把多個 AI、工具甚至人組成跑得動、看得見、出錯能恢復的系統。Loop 其實就是只有一個節點的圖;Graph 不取代 Loop,而是在好幾個循環要互相交接時把它們組織起來。他的比喻是公司組織圖:不會讓同一個人又做研究、又寫方案、又當評審。一張能跑的圖只有四個零件:節點(node,誰做什麼,越專業越只做一件事)、邊(edge,做完交給誰)、狀態(state,大家共看共改的進度、草稿與檢查紀錄)、策略(policy,誰有權做什麼)。他舉的例子是一張三節點的小圖:

一張三節點的小圖:每天的研究簡報 ① 搜集節點 只找資料來源 只回傳結構化筆記 ② 寫稿節點 只看乾淨的筆記寫稿 碰不到搜集過程的雜訊 ③ 審稿節點 完全獨立的上下文 只看稿子,不知道誰寫的 筆記 稿子 審不過:打回重寫 狀態(state):任務進度、草稿、檢查紀錄,沿著邊流過每個節點 策略(policy):審稿的只能看不能改;寄信要等人批准;刪資料要二次確認 錨點:AI 糊弄不了的現實。客戶簽不簽、使用者點不點、測試過不過、程式能不能跑。 如果沒有任何節點真的去碰現實,整張圖只是一間更精緻的回聲室,一群 AI 互相附和。

三個節點上下文互相隔離,審稿的和寫稿的互不認識,這才是真正獨立的驗證。

現在的 agent 工具不是都能派生子代理嗎?西瓜說差在層次:派生子代理是決定給它什麼工具、什麼提示詞,那是造專職工人;Graph 是決定誰交接給誰、共享什麼、誰拍板、出錯誰收拾善後,那是畫組織圖。會招人不等於會管公司。

最後是錨點:AI 沒辦法糊弄的現實,它不跟任何 AI 講情面。一張圖裡若所有 AI 都在引用彼此的結論,沒有一個節點真的去跑測試、看使用者回饋、核對資料來源,那只是一台更精緻的自嗨機器。所以 Graph 的價值不在用了幾個 AI,而在確定性:上下文隔離、獨立驗證、錨點最後把關。做不到,人越多越亂。

編按:回頭看小金的帳本,錨點是人。這是本站的解讀,小金沒用「錨點」這個詞。41 次改變裡 35 次是大金老師或觀眾先開口;九月那支偏差 11 秒的英文版通過了當時每一道檢查,上線後才被發現。真正碰到現實的,一直是看片的人。22 道檢查裡最新的一道(10 月 10 日才加)也往這個方向走:交片前先寫下「我猜觀眾會聽不懂的地方」,存好不改,等大金老師看完再對答案。它說:「以前多半是別人先發現,這一道,是在練習換我先看見。」

想馬上搭一套多 AI 系統?西瓜說做 Claude 的 Anthropic 公開過數字:多角色 AI 系統的成本大約是一般呼叫的 15 倍,而且慢。他們一再提醒別為了組隊而組隊,Graph 是留給真正複雜、又要反覆跑的任務。

編按:15 倍是 Token 用量,比較基準是「一般聊天」。出處是 Anthropic 工程部落格〈How we built our multi-agent research system〉(2025-06-13):單一 agent 的 Token 用量約為一般聊天的 4 倍,多代理系統約 15 倍;Token 是計費單位,說成成本大致不差。同篇也寫了另一面:在他們的研究型評測裡,Opus 4 帶隊、Sonnet 4 當子代理的多代理系統,比單一 Opus 4 高出 90.2%。所以結論不是「別用」,而是任務價值要高到付得起,且適合能大量平行拆分的工作;需要共用同一份上下文、彼此高度相依的任務(他們點名多數寫程式的工作)目前不適合。「別為了組隊而組隊」不是原句,比較接近 Anthropic〈Building effective agents〉的建議:先找最簡單的解法,需要時才加複雜度。
Step 05 · 總結

一句話總結

AI 用不好,先別急著換模型:話說清楚、資料給準、工具和規矩配好、讓它自己做自己查、真的複雜才組隊。小金八個月改了 41 次做法,因為換了更聰明的模型而改的是 0 次,檢查從二月的 1 道長到十月的 22 道;但九月那支偏差 11 秒的英文版,當時每一道檢查都放它過關。能力大多長在模型外面,而且一直需要碰得到現實的人,去發現下一個沒想到的漏洞。

五問自查清單

西瓜在片尾給的清單。下次 AI 的結果不好,由下往上查,缺哪個補哪個:

  1. 話說清楚了嗎?(Prompt)
  2. 資訊給對了嗎?(Context)
  3. 工具和規矩配了嗎?(Harness)
  4. 讓它自己檢查了嗎?(Loop)
  5. 這個任務真的需要多個角色嗎?(Graph)

小金把六個版本排在一起,最意外的是二月那一版其實沒那麼糟:聽得懂,也做得快。後來的改變,大多是有人先看見、先聽見,它再把其中很多變成一道自己也查得到的檢查。

互動實驗室:你卡在哪一層?

五個用 AI 時常見的症狀,點選看它卡在哪一層、影片給的解法是什麼:

請點選上方的症狀。

參考與引用來源 (References & Sources)

MORE

全部 21 篇文章 →  ← 回首頁