100-Day AI Knowledge Challenge
AI Phase 10 — AI Architecture / AI Runtime(Day 91–100)
這 10 天不再找一門「AI Runtime 課」,而是把前面 90 天整合起來:從「我會使用 AI」變成「我能設計 AI system」1。主教材是 Full Stack Deep Learning(FSDL),加上前 90 天讀過的官方文件2;每一天補上一個前面還沒正面處理的層或橫切面,最後兩天把它們組成 Project 4 的架構設計文件。
整個 Phase 要對齊的是這張圖3:
Application
│
AI Runtime
│
┌─────────────────┼──────────────────┐
↓ ↓ ↓
Model Context Tools
Router │ │
│ RAG MCP/APIs
│ │
Cloud / Local Memory
│
Inference
│
Hardware
橫切面:Observability、Evals、Security、Permissions、Cost、Caching、
Retry、Fallback、State、Scheduling、Human approval
整個 Phase 的路線:
Day 91 全景:把 Project 1–3 放進同一張圖
Day 92 Model Router:Cloud / Local、依需求選模型
Day 93 Context:每一輪要放進 context window 的東西怎麼挑
Day 94 RAG、Memory、State:三種「記得」的差別
Day 95 Tools 與 MCP:工具從哪裡來、怎麼登記
Day 96 橫切面一:Observability 與 Evals
Day 97 橫切面二:Security、Permissions、Human approval
Day 98 橫切面三:Cost、Caching、Retry、Fallback、Scheduling
Day 99 Project 4 設計文件(上):架構圖與每一層的選型
Day 100 Project 4 設計文件(下):Trade-off、評估方式與總複習
這個 Phase 的驗收是 Project 4:AI Runtime 架構設計文件4:Application → AI Runtime → Model / RAG / Tools / Memory / Evals,每一層與每個橫切面都寫出選型理由與 trade-off。設計文件的共通要求(架構圖、每一層的選型理由、trade-off、評估方式)見 AI 課程線的逐日教材標準5。Day 91–98 每天的書面產出,都是 Project 4 某一節的草稿;Day 99–100 只負責組裝與補齊。
總綱第 4 節的重疊對照表在這個 Phase 列了一天:Backend Day 92 已經做過「Design a production-grade AI Agent Runtime」的設計題6。那十二項(Model、Context、Tool、State、Persistence、Retry、Checkpoint、Recovery、Evaluation、Observability、Cost/Latency 與核准決策點)不重寫,Day 91 與 Day 99 開頭各有一段連過去。這裡的新角度是把前 90 天的 inference、RAG、multi-provider、agent 設計接進同一張架構圖。
這個 Phase 不寫程式。 每天的產出是筆記、表格或圖,建議全部放在同一個資料夾 phase10/,Day 99–100 會把它們組成 PROJECT4.md。Project 1–3 指的是你在 Phase 05、07、08 寫的設計文件。
教材查證的範圍(請先看): 2026-10-18 查證時,下面引用的每一頁都實際開過,只確認到「小節標題+該節重點」的層級,沒有逐字比對。有三件事要先知道:
- FSDL 的內容是 2022–2023 年的。 FSDL 2022 課程與 LLM Bootcamp(Spring 2023)的頁面都還在,但裡面提到的模型名稱與工具(例如推薦以 GPT-4 起步、用 Gantry 做監控)已經過時。這個 Phase 讀它是為了分析架構的方法與要考慮的維度,不是為了選它推薦的產品。
- MCP 的協定版本在變。 2026-10-18 查證時,MCP 的 Architecture overview 頁寫的是協定版本
2026-07-28:每個 request 自帶版本與 capabilities(stateless),並且有server/discover;client 端的 Sampling 與 Logging 自這個版本起標為 deprecated。如果你在 Phase 08 讀到的版本不同,以這一頁為準。 - OpenAI 的 Evals 平台要關了。 Evaluation best practices 頁開頭寫著:Evals 平台正在 deprecate,2026-10-31 起對既有使用者改為唯讀,預定 2026-11-30 關閉。Day 96 只引用它的流程概念,不依賴這個平台。
Day 91 — 全景:把 Project 1–3 放進同一張圖
今天要回答的問題
一個 AI 應用從使用者送出請求到拿到回答,中間經過哪幾層?Project 1(Local LLM Serving)、Project 2(Production RAG)、Project 3(Tool-using Agent)各自落在哪一層,三者之間還缺什麼才能變成一個系統?
主教材(Core)
- Full Stack Deep Learning — LLM Bootcamp:Augmented Language Models(Why augmented LMs?、Why retrieval augmentation?、What are chains and why do we need them?、Tool use、Recommendations for tool use、Recap & conclusions 六節;中間講 retrieval 細節的幾節 Phase 07 已經讀過,可以跳過),預估 40 分鐘
- Anthropic — Building effective agents(What are agents?、When (and when not) to use agents、Building block: The augmented LLM 三節),預估 15 分鐘
- 書面產出,預估 50 分鐘
搭配(Companion,選讀)
- Backend Day 92 — Phase 09 收尾驗收:Design a production-grade AI Agent Runtime:十二項逐項設計。今天畫全景圖時,把這十二項當成檢查清單,看你的圖有沒有地方放得下每一項
- 總綱第 2 節「最終目標」的那一行:
Application → AI Runtime → Model Router / Context / Tools / RAG / Memory → Inference Server → Runtime → Model Weights → Hardware,以及「Model ≠ Runtime ≠ Server ≠ API ≠ Application」
讀的時候抓這幾個重點
- 這部分已在 Backend Day 92 講過:一個 AI Agent Runtime 要具體說明 Model、Context、Tool、State、Persistence、Retry、Checkpoint、Recovery、Evaluation、Observability、Cost/Latency 十二項,而且任何一項只寫名詞、沒有機制就不合格。今天的新角度是:這十二項各自落在架構圖的哪一層,以及 Project 1–3 已經替哪幾項做好了設計。
- 「Augmented」是整個 Runtime 存在的理由。 FSDL 的 Why augmented LMs? 一節的主張是:模型本身缺乏最新知識和任務需要的脈絡,所以要從外部補上資料與工具。Runtime 的大部分元件——RAG、Memory、Tools——都是在回答「要補什麼、從哪裡補、補多少」。
- Chain 和 plugin 是兩種把外部能力接進來的方式。 FSDL 的 Recommendations for tool use 把兩者對照:chain 由你決定順序,可靠、可預測;plugin 讓模型自己決定什麼時候呼叫工具,彈性大、適用範圍廣。這跟 Anthropic 文章的 workflow 與 agent 是同一條光譜,也是 Project 3 在 Phase 08 做過的判斷。
- Anthropic 把「augmented LLM」當成最小的積木。 Building block: The augmented LLM 一節說,workflow 與 agent 都是由「加上 retrieval、tools、memory 的 LLM」組合而成。所以今天的全景圖裡,Model Router 下面接的不是單純的模型,而是一個可以替換的「模型呼叫介面」,retrieval、tools、memory 由 Runtime 提供。
- 先畫「什麼時候不需要 Runtime」。 Anthropic 的 When (and when not) to use agents 一節建議先找最簡單的解法,只有在需要時才增加複雜度。畫全景圖時,標出哪些請求其實只需要一次模型呼叫,不需要經過 RAG、Tools 或 Memory——這些請求在 Day 92 的 Router 會走最短的路。
書面產出
在 phase10/D91-MAP.md 寫三樣東西:
- 全景圖。 照本 Phase 開頭那張圖重畫一遍,但每個方塊旁邊標出「這一層在 Project 幾、哪一天設計過」。前面沒有設計過的層(例如 Model Router 的分流規則、Memory)標成「待 Day 9X」。
- 十二項對照表。 把 Backend Day 92 的十二項各放一列:
| 項目 | 在全景圖的哪一層 | Project 1–3 裡已經有的設計(寫 Project 與段落) | 還缺什麼 | 哪一天處理 |
|---|
- 三種請求的路徑。 挑三種你的 Runtime 會收到的請求:(a) 一句閒聊;(b) 問公司內部文件的問題;(c) 要求執行一個有副作用的動作(例如退款)。各畫一條從 Application 到 Hardware 的路徑,標出經過哪幾層、跳過哪幾層、為什麼跳過。
過關標準
- 能回答:為什麼 FSDL 說要把語言模型「augment」?Runtime 的哪三個元件是在處理這件事?
- 能回答:chain 與 plugin、workflow 與 agent,這兩組對照的共同軸線是什麼?Project 3 選在光譜的哪一邊、為什麼?
- 產出:
D91-MAP.md,有全景圖(每層標出出處或「待 Day 9X」)、十二項對照表填完、三種請求的路徑圖
- 依 AI 課程線總綱(curriculum/ai/00-master-curriculum.md)第 15 節「Phase 10 — AI Architecture / AI Runtime」的目標
- 依總綱第 15 節「教材」與第 17 節核心課程表
- 依總綱第 15 節「架構」
- 依總綱第 15 節「驗收 → Project 4:AI Runtime」與第 16 節「四個作品」表
- 依 AI 課程線逐日教材標準(curriculum/ai/content-standard.md)「Project 設計文件」一節
- 依總綱第 4 節跟 Backend 課程的重疊對照表(Phase 10 ↔ Backend Day 92)與第 15 節「跟 Backend 課程重疊」
Day 92 — Model Router:Cloud / Local、依需求選模型
今天要回答的問題
Runtime 收到一個請求時,要用哪一個模型回答?雲端 API 與本機模型(Project 1)要怎麼分工?Router 依據什麼做決定、它不應該負責什麼?
主教材(Core)
- Full Stack Deep Learning — LLM Bootcamp:LLMOps(Choosing your base LLM、Proprietary LLMs、Open-source LLMs 三節),預估 30 分鐘
- Anthropic — Building effective agents(Workflow: Routing 一節),預估 10 分鐘
- vLLM — Online Serving(OpenAI-Compatible Server 一節開頭支援的 API 清單),預估 15 分鐘
- 書面產出,預估 50 分鐘
搭配(Companion,選讀)
- AI 課程 Phase 06 Day 59 — 把模組組成 Router:fallback 與記帳:同一個介面後面接多個 provider。今天把那一天的「怎麼接」往上提一層,變成「依什麼規則選」
- AI 課程 Phase 09 Day 90 — 企業部署型態比較:Hybrid 那一欄。資料分級是 Router 最常見的一條硬規則
讀的時候抓這幾個重點
- 選模型是五個維度的取捨。 LLMOps 的 Choosing your base LLM 一節列了 quality、speed、cost、tunability、data security 五個維度,並指出閉源模型通常品質較高,開源模型在客製化與資料安全上較有優勢。頁面推薦的具體模型是 2023 年的,已經過時;要帶走的是這五個維度,Router 的每一條規則都應該能說出它在優化哪一個維度。
- 授權也是 Router 的輸入。 Open-source LLMs 一節提醒:有些標成「開源」的模型用的是限制商業使用的授權。Project 1 的本機模型如果要用在商業產品上,授權條款是路由規則之前就要確認的前提,不是事後補的。
- Routing 是一種 workflow,不是 agent。 Anthropic 的 Workflow: Routing 一節說,routing 先把輸入分類,再導向專門的後續處理;它適合類別明確、而且分類本身能做得準的情況,例子之一是把簡單問題導向較小、較便宜的模型,把困難問題導向能力較強的模型。這代表 Router 本身要先能被評估:分類錯了,後面選得再好也沒用。
- OpenAI-compatible 讓「換模型」變成「換網址」。 vLLM 的 Online Serving 頁列出它支援的 OpenAI 相容端點,包括 Chat Completions、Responses、Embeddings。這是 Project 1 能接進 Runtime 的關鍵:Router 對雲端與本機模型可以用同一種請求格式。但相容的是介面,不是行為:同一個請求送到不同模型,輸出品質、速度、支援的參數都可能不同,這些差異要由 Router 之上的設計吸收。
書面產出
在 phase10/D92-ROUTER.md 寫三樣東西:
- 路由規則表。 至少五條規則,依優先順序排列(硬規則在前):
| 順序 | 條件(看請求的哪個屬性) | 導向 | 在優化哪個維度 | 這條規則錯了會怎樣 |
|---|
至少要有:一條資料敏感度的硬規則(必須走本機或私有部署)、一條依任務難度分流的規則、一條成本上限規則。
- Router 的輸入與輸出。 列出 Router 需要知道的欄位(例如資料分級、租戶、任務類型、預算剩餘),以及它回傳什麼(選中的模型、選中的原因、備援順序)。寫一句說明:「選中的原因」為什麼要一起回傳。
- Router 不負責的事。 寫三到五條 Router 不應該做的事,並說明各自該由哪一層負責。例如:重試失敗的呼叫(Day 98)、組裝 context(Day 93)、判斷工具權限(Day 97)。
過關標準
- 能回答:LLMOps 列的五個選模型維度是什麼?你的路由表每一條規則各在優化哪一個?
- 能回答:OpenAI-compatible API 讓 Router 省掉了什麼工作、又沒有省掉什麼?
- 產出:
D92-ROUTER.md,路由規則表至少五條(含資料敏感度、難度、成本三類)、Router 的輸入輸出欄位、Router 不負責的事
Day 93 — Context:每一輪要放進 context window 的東西怎麼挑
今天要回答的問題
每次呼叫模型時,context window 裡要放什麼、放多少、依什麼順序丟掉?對話越來越長、工具結果越來越多時,Runtime 怎麼讓 context 保持有用?
主教材(Core)
- Anthropic — Effective context engineering for AI agents(Context engineering vs. prompt engineering、Why context engineering is important to building capable agents、The anatomy of effective context、Context retrieval and agentic search、Context engineering for long-horizon tasks,以及其下的 Compaction、Structured note-taking、Sub-agent architectures),預估 45 分鐘
- 書面產出,預估 55 分鐘
搭配(Companion,選讀)
- Backend Day 81:token、context window、sampling 的基本定義。今天直接從「window 有限」出發,不重講定義
- AI 課程 Phase 06 Day 56 — 對話狀態與 context 與 Day 57 — Token/cost tracking 與 prompt caching:歷史存哪裡、放不放得下,以及一個 token 多少錢。今天的 context 預算表要用到這兩天
讀的時候抓這幾個重點
- Context engineering 管的是「模型看到的每一個 token」。 文章把它跟 prompt engineering 區分開:prompt engineering 關心怎麼寫指令,context engineering 關心推論時進到 context 的全部內容——system prompt、工具定義、範例、對話歷史、檢索結果、工具輸出。這正是 Runtime 的 Context 層要負責的範圍。
- Context 越長不代表越好。 文章提到 context rot:context 越長,模型回憶其中資訊的能力越弱;每多一個 token 都在消耗有限的 attention budget。所以 Context 層的目標是「最小、訊號最強的一組 token」,不是「能塞多少就塞多少」。
- 事先檢索與即時檢索可以混用。 Context retrieval and agentic search 一節描述一種趨勢:只在 context 裡放輕量的參照(例如檔案路徑、查詢),讓 agent 在需要時才把內容載入;實務上常和一部分事先檢索混用。這影響 Day 94:哪些資訊每次都先放進去,哪些只放一個「去哪裡找」的指標。
- 長任務有三種手段,各有代價。 Compaction 是在 context 快滿時摘要並換到新的 window,最簡單的起點是清掉舊的工具結果;structured note-taking 是讓 agent 把筆記寫到 context 外面、之後再讀回來;sub-agent architectures 讓子 agent 在乾淨的 window 裡探索,只回傳濃縮過的摘要。三者分別用「摘要的資訊損失」「讀寫筆記的成本」「多個 agent 的協調成本」換取更長的有效工作時間。
書面產出
在 phase10/D93-CONTEXT.md 寫兩樣東西:
- Context 預算表。 以你的 Runtime 會用的一個模型為例(context window 大小寫你查到的數字並附來源),把 window 切給下面幾類內容:
| 內容類別 | 每次都放/需要時才放 | 預算(token 數或比例) | 超出預算時怎麼處理(截斷、摘要、丟棄、改成參照) | 誰提供(哪一層) |
|---|---|---|---|---|
| system prompt | ||||
| 工具定義 | ||||
| 檢索結果(RAG) | ||||
| 長期記憶 | ||||
| 對話歷史 | ||||
| 工具輸出 | ||||
| 保留給模型輸出 |
- 長任務策略。 針對 Project 3 那種會跑很多輪的 agent 任務,寫出你選 compaction、structured note-taking、sub-agent 中的哪一種(或組合),什麼條件觸發(例如 context 用到 X%),以及這個選擇犧牲了什麼。
過關標準
- 能回答:什麼是 context rot?它為什麼讓「把所有歷史都放進去」成為錯的預設?
- 能回答:compaction、structured note-taking、sub-agent 各自用什麼代價換取什麼?
- 產出:
D93-CONTEXT.md,預算表七類都填完(含模型 window 大小的來源)、長任務策略含觸發條件與代價
Day 94 — RAG、Memory、State:三種「記得」的差別
今天要回答的問題
Runtime 裡有三種東西都在「記得」:RAG 的知識庫、Memory、任務的 State。它們各自存什麼、誰寫入、什麼時候寫、保存多久?一筆資訊該放進哪一種?
主教材(Core)
- LangChain — Memory overview(Short-term memory、Long-term memory 底下的 Semantic memory、Episodic memory、Procedural memory、Writing memories,以及 Memory storage),預估 30 分鐘
- Full Stack Deep Learning — LLM Bootcamp:Augmented Language Models(Embedding databases 一節),預估 10 分鐘
- 書面產出,預估 60 分鐘
搭配(Companion,選讀)
- Anthropic — Effective context engineering for AI agents 的 Structured note-taking 一節:agent 自己寫筆記,是 Memory 的一種寫入方式
- AI 課程 Phase 07 Day 70 — Project 2:Project 2 的知識庫就是今天的「RAG」那一欄
- Backend Day 90:State、Checkpoint、Recovery。今天的「State」那一欄直接沿用
讀的時候抓這幾個重點
- 短期記憶就是 State 的一部分。 LangChain 的頁面把 short-term memory 定義為限定在單一 thread 或對話的記憶,存在 agent 的 state 裡,透過 checkpoint 持久化,所以對話可以恢復。對話太長會超過 context 上限,需要修剪或遺忘舊訊息——這接回 Day 93 的預算表。
- 長期記憶跨對話,而且有三種。 Long-term memory 跨 thread 與 session 保存,用自訂的 namespace 組織。Semantic memory 存事實(例如使用者的偏好),可以是一份持續更新的 profile,或一組獨立的文件;episodic memory 存過去的經驗與動作,常以 few-shot 範例的形式使用;procedural memory 存行為規則,例如 agent 的 prompt,agent 可以依回饋反思並改寫自己的指令。
- 寫入時機是設計選擇。 Writing memories 一節對照兩種方式:在 hot path 裡寫(agent 執行時當場存),資料立刻可用,但增加延遲與複雜度;在背景寫(另一個任務事後產生),不影響延遲、讓記憶邏輯跟應用分開,但要決定多久觸發一次、什麼時候觸發。
- RAG 的知識庫和 Memory 的差別在「誰的、誰寫的」。 FSDL 的 Embedding databases 一節談的是怎麼選一個存向量的資料庫;RAG 的知識庫通常是組織擁有、由 ingestion pipeline 寫入、所有使用者共用的文件。Memory 通常屬於某個使用者或某個 agent,由 Runtime 在互動中寫入。兩者底層可能用同一種向量資料庫,但權限、生命週期、刪除規則都不同——尤其是使用者要求刪除自己的資料時。
書面產出
在 phase10/D94-MEMORY.md 寫兩樣東西:
- 分類表。 列出至少八筆你的 Runtime 會遇到的資訊(例如:公司退款規章、使用者偏好的語言、這次對話前三輪的內容、上週處理過的類似退款案例、agent 的 system prompt、正在等核准的退款請求、某個工具的呼叫結果、使用者的訂單紀錄),每一筆填:
| 資訊 | 放在哪裡(State/短期記憶/Semantic/Episodic/Procedural/RAG 知識庫/不存、每次即時查) | 誰寫入 | 什麼時候寫(hot path/背景/ingestion) | 保存多久、怎麼刪 | 誰能讀 |
|---|
- 三種「記得」的邊界。 用三到五句話寫出你的 Runtime 怎麼區分 State、Memory、RAG 知識庫,並舉一個「放錯地方」會出的問題(例如把使用者個資放進共用知識庫)。
過關標準
- 能回答:short-term memory 和 State 是什麼關係?為什麼說它透過 checkpoint 持久化?
- 能回答:semantic、episodic、procedural memory 各存什麼?在 hot path 寫入和在背景寫入各有什麼代價?
- 產出:
D94-MEMORY.md,分類表至少八筆、六欄填完,以及三種「記得」的邊界說明
Day 95 — Tools 與 MCP:工具從哪裡來、怎麼登記
今天要回答的問題
Runtime 的工具可以是自己寫的函式,也可以來自外部的 MCP server。工具怎麼被發現、登記、呼叫?MCP 解決了什麼問題,又刻意不管什麼?
主教材(Core)
- Model Context Protocol — Architecture overview(Scope、Concepts of MCP 底下的 Participants、Layers、Data Layer Protocol 的 Statelessness and discovery、Primitives、Notifications;後面的 Example 一節只看每一步的「How This Works in AI Applications」段落),預估 40 分鐘
- Anthropic — Building effective agents(Appendix 2: Prompt engineering your tools),預估 10 分鐘
- 書面產出,預估 50 分鐘
搭配(Companion,選讀)
- AI 課程 Phase 08 Day 79 — Project 3(一):權限、核准、重試與冪等:Project 3 的工具清單與權限設計。今天把它擴成 Runtime 層級的工具登記表
- Backend Day 85:Tool Schema、Validation、Failure、Retry。今天的登記表會引用這些欄位
讀的時候抓這幾個重點
- MCP 只管「交換 context 的協定」。 Architecture overview 的 Scope 一節明寫:MCP 只專注在 context 交換的協定,不規定 AI 應用怎麼使用 LLM、怎麼管理拿到的 context。所以 MCP 不是 agent,也不是 Runtime;工具權限、何時呼叫、結果怎麼放進 context,仍然是 Runtime 自己的責任(Day 93、Day 97)。
- 一個 host、多個 client、每個 client 對一個 server。 Participants 一節說:MCP host(AI 應用)為每個 MCP server 建立一個 MCP client,各自維持一條專屬連線。使用 stdio 的本機 server 通常只服務一個 client;使用 Streamable HTTP 的遠端 server 通常服務很多 client。對 Runtime 來說,這代表本機與遠端工具的部署、認證、故障範圍都不同。
- 兩層分工:資料層與傳輸層。 資料層用 JSON-RPC 2.0 定義訊息與語意(探索、tools、resources、prompts、通知);傳輸層負責連線、訊息封裝與認證,Streamable HTTP 支援 bearer token、API key 等標準 HTTP 認證,並建議用 OAuth 取得 token。安全檢查要分清楚是哪一層的問題:「誰能連上這個 server」是傳輸層,「這個工具能做什麼」是 Runtime 的權限設計。
- Server 提供三種 primitive,而且清單是動態的。 Tools 是可執行的動作,resources 是提供 context 的資料,prompts 是可重用的互動範本。client 用
tools/list之類的方法探索,server 可以在工具清單改變時發通知。頁面的範例說 AI 應用會把所有 server 的工具合併成一份統一的工具登記表——這就是今天要設計的東西,而且它必須能處理「工具在執行中途出現或消失」。 - 工具的格式本身就是 prompt 的一部分。 Anthropic 的 Appendix 2 對工具格式給了三個具體建議:讓模型在下筆之前有足夠的 token 思考,不要逼它一開始就寫進死角;用模型在網路上常見的文字格式;避免額外的格式負擔,例如要求精確計算行數或替程式碼字串跳脫字元。工具越多,定義與描述越佔 Day 93 的 context 預算,品質也越直接影響模型選對工具的機率。
書面產出
在 phase10/D95-TOOLS.md 寫兩樣東西:
- 工具登記表。 至少六個工具,混合 Runtime 自己的工具與來自 MCP server 的工具:
| 工具 | 來源(內建/本機 MCP server/遠端 MCP server) | primitive 類型(tool/resource/prompt) | 副作用等級(唯讀/可逆寫入/不可逆) | 是否冪等 | timeout | 失敗時怎麼辦 | 描述佔多少 token(估計) |
|---|
- 工具清單改變時的流程。 用一張流程圖(
text區塊或手繪)畫出:遠端 MCP server 通知工具清單改變 → Runtime 更新登記表 → 進行中的 agent 任務怎麼處理(繼續用舊清單?下一輪換新清單?)。寫一段說明你的選擇與理由。
過關標準
- 能回答:MCP 的 Scope 一節說 MCP 不管什麼?為什麼這讓「MCP 不是 agent」成立?
- 能回答:資料層與傳輸層各負責什麼?「誰能連上 server」與「工具能做什麼」分別屬於哪裡的問題?
- 產出:
D95-TOOLS.md,工具登記表至少六個工具、八欄填完,以及工具清單改變時的流程圖與說明
Day 96 — 橫切面一:Observability 與 Evals
今天要回答的問題
Runtime 上線之後,怎麼知道它現在好不好、有沒有在變差?每個請求要記錄什麼?Eval 什麼時候要重跑、跑哪一組?
主教材(Core)
- Full Stack Deep Learning — FSDL 2022 Lecture 6:Continual Learning(第 4 節 Iterating On Your Retraining Strategy 底下的 What Metrics to Monitor,從 Outcomes and Feedback From Users 讀到 Practical Recommendations),預估 35 分鐘
- Full Stack Deep Learning — LLM Bootcamp:LLMOps(Deployment and monitoring、Test-driven development for LLMs 兩節),預估 15 分鐘
- OpenAI — Evaluation best practices(Design your eval process 開頭的五個步驟,以及 Use evals to improve performance),預估 15 分鐘
- 書面產出,預估 50 分鐘
搭配(Companion,選讀)
- AI 課程 Phase 09 Day 85 — trace、online 指標,以及把線上失敗轉成 offline 測試:今天的 trace 欄位表直接延伸那一天
- AI 課程 Phase 09 Day 84 — 模型有隨機性之後:eval 要跑幾次、怎麼比 baseline
讀的時候抓這幾個重點
- 監控指標有優先順序。 FSDL Lecture 6 的 What Metrics to Monitor 依價值排列:使用者的結果與回饋最有價值;其次是模型效能指標(需要標註);再來是 proxy metrics(跟表現不好相關的領域指標)、資料品質檢查、分布漂移;最後是系統指標(CPU、GPU 使用率)。設計時要從最有價值的開始問「拿不拿得到」,而不是從最容易量的開始。
- 漂移不等於壞掉。 Distribution Drift 一節說明怎麼量(選一個參考視窗、一個線上視窗、一個距離指標),但最後的 Cons of Looking at Distribution Drift 提醒:分布改變不一定代表模型表現變差。漂移是一個「該去看看」的訊號,不該直接觸發自動動作。
- LLM 應用上線後的常見問題清單。 LLMOps 的 Deployment and monitoring 一節列出常見的線上問題:UI 問題、延遲、答錯、回答太長、prompt injection,並建議用低門檻的方式收集回饋(例如按讚/按倒讚)。這份清單可以直接變成 trace 要記錄的欄位與要監控的指標。
- Eval 是持續的,不是上線前跑一次。 OpenAI 的五個步驟最後一步是 evaluate continuously:開發時就記 log,以便從中挖出好的 eval 案例;每次改動都跑 eval;在線上監控新的非確定性行為;eval 集要隨時間成長。LLMOps 的 Test-driven development for LLMs 一節描述的是同一個循環:部署 → 收集回饋與記錄 → 從互動資料抽出測試資料、改 prompt → 再部署。
書面產出
在 phase10/D96-OBSERVE.md 寫三樣東西:
- 每個請求的 trace 欄位表。 至少十個欄位,涵蓋 Day 92–95 的每一層:
| 欄位 | 由哪一層寫入 | 用來回答什麼問題 | 誰會看(開發者/維運/稽核) | 是否含個資、怎麼處理 |
|---|
至少要有:Router 選了哪個模型與原因、context 各類別實際用了多少 token、檢索到哪幾份文件、呼叫了哪些工具與結果、是否觸發核准、總延遲、總成本、使用者回饋。
- 監控指標清單。 依 FSDL 的六類各寫至少一個你的 Runtime 能量的指標,標出每個指標「異常時要做什麼」(人工查看/自動告警/自動降級)。
- Eval 觸發表。 哪些改動要重跑哪一組 eval:
| 改動 | 要重跑的 eval(Project 2 的檢索 eval/Project 3 的 agent eval/Router 分類 eval/安全測試) | 通過標準 | 不通過時誰決定能不能上線 |
|---|
至少涵蓋:換模型、改 system prompt、改切塊策略、新增工具、MCP server 更新版本。
過關標準
- 能回答:FSDL 把監控指標依價值排成哪幾類?為什麼使用者回饋排第一、系統指標排最後?
- 能回答:為什麼分布漂移不該直接觸發自動動作?
- 產出:
D96-OBSERVE.md,trace 欄位表至少十欄(含上面列的八項)、六類監控指標各至少一個、eval 觸發表至少五種改動
Day 97 — 橫切面二:Security、Permissions、Human approval
今天要回答的問題
Runtime 讓模型能呼叫有副作用的工具之後,怎麼限制它能做的事?哪些動作要等人核准,等待期間的狀態放在哪裡?
主教材(Core)
- OWASP — LLM06:2025 Excessive Agency(開頭的三個根本原因、Prevention and Mitigation Strategies 八條),預估 25 分鐘
- LangChain — Interrupts(Pause using interrupt、Resuming interrupts、Common patterns 底下的 Approve or reject 與 Interrupts in tools、Rules of interrupts 四條),預估 25 分鐘
- 書面產出,預估 55 分鐘
搭配(Companion,選讀)
- AI 課程 Phase 09 Day 88 — OWASP LLM06/LLM10:十項檢查表。今天把 Project 3 的那一份擴成 Runtime 層級
- Backend Day 86、Backend Day 87:Tool Permission 的 denied > require_approval > allowed 優先順序,以及同步阻塞與非同步草稿佇列兩種核准模型
讀的時候抓這幾個重點
- Excessive Agency 有三個根源。 OWASP LLM06 把問題拆成 excessive functionality(工具能做的事超過需要)、excessive permissions(工具對下游系統的權限超過需要)、excessive autonomy(高影響的動作沒有人確認就執行)。三者對應三種不同的修法,設計權限時要分開檢查,不能只用一句「有做權限控管」帶過。
- 八條緩解裡有一條特別容易漏:complete mediation。 清單包括 minimize extensions、minimize extension functionality、avoid open-ended extensions、minimize extension permissions、execute extensions in user's context、require user approval、complete mediation、sanitise LLM inputs and outputs。Complete mediation 指授權檢查要在下游系統做,不能只靠 LLM 決定該不該呼叫;「在使用者的 context 執行」指工具用發起請求的那個使用者的權限,而不是一個萬用的服務帳號。
- 核准在框架裡是「暫停、存檔、恢復」。 LangGraph 的
interrupt()會在 node 的某個位置暫停,把 payload 回傳給呼叫方,並保存 graph state;之後用Command(resume=...)恢復,resume 的值會變成interrupt()的回傳值。前提是要有 checkpointer(正式環境要用持久化的),而且恢復時要用同一個thread_id。這對應 Day 94:等待核准的請求是 State,不是 Memory。 - 恢復時 node 會從頭重跑。 Interrupts 頁特別提醒:node 恢復時從頭開始執行,所以
interrupt()之前的程式碼會再跑一次;Rules of interrupts 因此要求 interrupt 之前的副作用必須是冪等的。設計核准流程時,「送出核准請求」「扣款」這類動作要放在核准之後,或確保重跑一次不會出事。
書面產出
在 phase10/D97-SECURITY.md 寫三樣東西:
- 權限矩陣。 用 Day 95 的工具登記表,加上至少兩種角色(例如一般使用者、客服主管):
| 工具 | 角色 A | 角色 B | 用誰的身分執行(使用者本人/服務帳號,為什麼) | 下游系統自己的授權檢查是什麼 |
|---|
每格填 allowed/require_approval/denied。
- LLM06 三個根源的檢查。 針對你的 Runtime,三個根源各寫一段:目前設計裡可能出現的地方、你用哪一條緩解處理。
- 核准流程圖。 畫一個需要核准的工具呼叫從發起到完成的流程:模型要求呼叫 → 權限判斷 → 暫停並保存 State → 通知核准者 → 核准/拒絕/逾時 → 恢復。在圖上標出:哪一步之前的動作會在恢復時重跑、逾時的預設結果是什麼(fail-closed 或 fail-open,為什麼)、使用者在等待期間看到什麼。
過關標準
- 能回答:Excessive Agency 的三個根源是什麼?各舉一個你的 Runtime 裡可能發生的例子。
- 能回答:為什麼
interrupt()之前的副作用必須冪等? - 產出:
D97-SECURITY.md,權限矩陣(至少兩種角色、含執行身分與下游授權)、三個根源的檢查、核准流程圖(含重跑位置、逾時預設、等待期間的使用者體驗)
Day 98 — 橫切面三:Cost、Caching、Retry、Fallback、Scheduling
今天要回答的問題
一次請求花多少錢、怎麼不讓它失控?哪些東西可以快取?模型呼叫失敗時,哪些錯誤該重試、哪些該換模型、哪些該直接回報?長時間的任務怎麼排程?
主教材(Core)
- Anthropic — Prompt caching(How prompt caching works、Pricing,以及 Caching strategies and considerations 底下的 What invalidates the cache),預估 25 分鐘
- Anthropic — Claude API errors(HTTP errors、Long requests 兩節),預估 10 分鐘
- Full Stack Deep Learning — FSDL 2022 Lecture 5:Deployment(2.2 Model-as-Service 底下 Performance Optimization 的 Caching、Batching、Sharing the GPU,以及 Horizontal Scaling、Model Rollouts),預估 20 分鐘
- OWASP — LLM10:2025 Unbounded Consumption(Common Examples of Vulnerability 的 Denial of Wallet,以及 Prevention and Mitigation Strategies 的 Rate Limiting、Timeouts and Throttling、Graceful Degradation、Limit Queued Actions and Scale Robustly),預估 15 分鐘
- 書面產出,預估 45 分鐘
搭配(Companion,選讀)
- AI 課程 Phase 05 Day 50 — Project 1:本機模型的 batching 與吞吐量。今天的排程設計要知道本機模型能同時處理多少請求
- Backend Day 90:Timeout、Retry、Idempotency。今天的錯誤處理表沿用那一天的冪等判斷
讀的時候抓這幾個重點
- Prompt cache 快取的是前綴。 How prompt caching works 一節說:被快取的是從開頭到標記
cache_control那個區塊為止的整段 prompt,順序是 tools → system → messages。預設存活 5 分鐘,每次命中免費延長;另有 1 小時的選項。Pricing 一節列出寫入快取比一般輸入貴(5 分鐘的寫入是基本輸入價的 1.25 倍,1 小時是 2 倍),讀取則便宜得多(多數模型是 0.1 倍,部分新模型更低)。另外,太短的 prompt 不會被快取(門檻依模型不同),也不會報錯。這代表 Day 93 的 context 排列順序直接影響成本:不常變的東西(工具定義、system prompt)放前面。 - 錯誤碼決定該怎麼辦。 Errors 頁列出:429 是 rate limit(但如果是用量方案的支出上限造成的 429,沒有
retry-after,重試也會一直失敗);500 是內部錯誤,建議用 exponential backoff 重試;504 是處理逾時,建議改用 streaming;529 是 API 暫時過載。官方 SDK 預設會對暫時性錯誤自動重試兩次並遵守retry-after。所以 Runtime 的重試層要知道 SDK 已經重試過幾次,避免重試疊重試。 - 長請求不要同步等。 Long requests 一節建議超過 10 分鐘的請求改用 streaming 或 Message Batches API,因為某些網路會切斷閒置連線。這是 Scheduling 的一個輸入:哪些請求可以同步回應,哪些要排進佇列、事後通知。
- 快取與 batching 在 serving 端也有。 FSDL Lecture 5 的 Caching 一節說:常見輸入的結果可以存起來,呼叫昂貴的模型之前先查快取;Batching 一節說:把多個請求合在一起可以提高吞吐量,batch 大小要在延遲與吞吐量之間取捨,而且很複雜、不建議自己實作。Model Rollouts 一節的漸進上線、立即回滾、流量拆分,則是換模型時的 Fallback 機制。
- 成本失控是一種安全問題。 OWASP LLM10 把 Denial of Wallet 列為一種弱點:攻擊者用大量或高成本的請求耗盡你的預算。緩解包括 rate limiting、timeouts and throttling、graceful degradation(資源吃緊時保留部分功能,而不是完全失效)、限制排隊中的動作數量。成本上限因此要放在 Runtime 層強制執行,不能只靠月底看帳單。
書面產出
在 phase10/D98-RELIABILITY.md 寫三樣東西:
- 錯誤處理表。 至少涵蓋 Errors 頁列的 400、401、429(兩種)、500、504、529,加上本機模型的「服務沒回應」與工具呼叫逾時:
| 錯誤 | 重試(幾次、間隔)/換模型(換到哪個)/直接回報 | 理由 | 跟 SDK 內建重試的關係 | 使用者看到什麼 |
|---|
- 成本與快取設計。 (a) 每個請求與每個租戶每天的成本上限,以及接近上限時的降級行為;(b) 一張快取表,列出你的 Runtime 至少三層快取(例如 prompt cache、檢索結果快取、完整回答快取),每層寫:快取什麼、key 是什麼、存活多久、什麼情況下必須失效、快取錯了的後果。
- 排程規則。 寫出哪些請求同步處理、哪些排進佇列、哪些用批次,以及佇列滿了的時候怎麼辦(對應 LLM10 的 Limit Queued Actions)。
過關標準
- 能回答:prompt cache 快取的是哪一段?為什麼 context 的排列順序會影響成本?
- 能回答:同樣是 429,什麼情況重試有用、什麼情況重試永遠不會成功?
- 產出:
D98-RELIABILITY.md,錯誤處理表(至少九種錯誤)、每請求與每租戶的成本上限與降級行為、至少三層快取、排程規則
Day 99 — Project 4 設計文件(上):架構圖與每一層的選型
今天要回答的問題
把 Day 91–98 的產出組成一份設計文件:完整的架構圖長什麼樣?每一層選了什麼、還考慮過什麼、為什麼不選?
主教材(Core)
- Full Stack Deep Learning — LLM Bootcamp:Project Walkthrough: askFSDL(Chapter Summaries 底下六節:SWE Tooling、Data Cleaning、Infrastructure: Modal、Frontend: Gradio & Discord、Embeddings & ETL、Monitoring & Improvement: Gantry),預估 30 分鐘
- 書面產出,預估 80 分鐘
搭配(Companion,選讀)
- Backend Day 92:十二項逐項設計,以及「只寫名詞、沒有機制就不合格」的判斷標準。今天的選型表要通過這個檢查
讀的時候抓這幾個重點
- 這部分已在 Backend Day 92 講過:設計題的回答方式是逐項說明機制,而且至少要有一個工具權限或核准的決策點。今天的新角度是:這份設計同時接了本機與雲端模型、RAG、MCP 工具,而且每一層都要寫出「考慮過但沒選」的替代方案。
- askFSDL 是一份真實的端到端架構。 它的資料來源有網頁、PDF、圖片的 OCR 文字、YouTube 影片,經過 ETL 進到向量索引;用 OpenAI 的 embedding 模型(因為比生成端點便宜);檢索結果放進一個 zero-shot prompt;用 Modal 的 serverless 容器自動擴展;前端有 Gradio 網頁與 Discord bot;用 Gantry 監控,另外提到 Datadog、Sentry、Honeycomb,以及用一個語言模型評估另一個的輸出。讀的時候把它當成一份別人的 Project 2+部署+監控,練習辨認每一層。
- 資料清理比切塊技巧重要。 Data Cleaning 與 Embeddings & ETL 兩節的經驗是:保留原始文件的結構、針對每種來源寫專門的清理程式,比單純爬下來再切塊效果好。這是 Project 2 在 Phase 07 的結論的延伸:ingestion 的品質決定檢索的上限。
- 每一個選擇都要能說出替代方案。 askFSDL 在每一層都有可以換掉的選項(例如 Interactions.py 可以取代 Discord.py、向量檢索之外考慮過其他搜尋方式)。設計文件的價值在於讓讀者知道「為什麼是這個」,所以選型表的「考慮過什麼、為什麼不選」一欄不能空。
書面產出
建立 phase10/PROJECT4.md,今天完成前兩節:
- 架構圖。 從 Application 一路畫到 Hardware,包含 Model Router(Day 92)、Context(Day 93)、RAG 與 Memory(Day 94)、Tools 與 MCP(Day 95),以及本機(Project 1)與雲端兩條推論路徑。橫切面(Day 96–98)用標註或側欄表示它們在哪些層生效。每條連線標出傳遞的是什麼(請求、context、工具呼叫、trace)。
- 每一層的選型表。 至少九列:Application 介面、Model Router、雲端模型、本機推論(runtime 與量化格式)、Context 組裝、RAG(向量資料庫與 embedding 模型)、Memory、Tools/MCP、State 與 Checkpoint 儲存:
| 層 | 選了什麼 | 考慮過但沒選的 | 為什麼選這個(引用 Day 91–98 或 Project 1–3 的哪一段) | 這個選擇讓哪一層變得更難 |
|---|
寫完後用 Backend Day 92 的十二項檢查一次:每一項都要能在架構圖或選型表裡找到具體機制,找不到的寫進明天的 trade-off 一節。
過關標準
- 能回答:askFSDL 的架構裡,哪幾個元件對應你的 Project 2?它的監控做了哪些事?
- 能回答:你的 Runtime 裡,哪一層的選擇最依賴其他層的選擇?為什麼?
- 產出:
PROJECT4.md第 1–2 節:架構圖(含兩條推論路徑、橫切面標註、連線內容)、選型表至少九列且「考慮過但沒選的」不得空白、十二項檢查的結果
Day 100 — Project 4 設計文件(下):Trade-off、評估方式與總複習
今天要回答的問題
這份設計犧牲了什麼?要怎麼判斷它是好是壞、怎麼發現它在退步?100 天之後,能不能在白板上從 Application 一路講到 Hardware?
主教材(Core)
- Full Stack Deep Learning — FSDL 2022 Lecture 1:Course Vision and When to Use ML(第 2 節 When To Use Machine Learning 底下的 When to Use ML At All、How to Pick Problems to Solve with ML、Not All ML Projects Should Be Planned The Same Way 三段),預估 30 分鐘
- Full Stack Deep Learning — LLM Bootcamp:LLMOps(Test-driven development for LLMs 一節,回顧),預估 10 分鐘
- 書面產出,預估 70 分鐘
搭配(Companion,選讀)
- 總綱第 19 節「100 天後應該留下什麼」:五項清單。今天的總複習以它為準
- AI 課程 Phase 09 Day 81 — eval 要量什麼:依架構決定 eval 放在哪裡。今天的評估方式一節直接用那一天的方法
讀的時候抓這幾個重點
- 先問「要不要用 AI」。 FSDL Lecture 1 的 When to Use ML At All 一段說,ML 專案失敗的比例比一般軟體專案高,它的價值必須超過開發成本與增加的系統複雜度;開始前要先問三件事:準備好了嗎(有產品、資料有好好存、有對的人)、真的需要 ML 嗎(試過用規則或簡單統計解決了嗎)、這樣用合乎倫理嗎。How to Pick Problems 則用高影響、低成本、什麼是難的、可行性評估幾個角度挑問題。放到 Project 4:Runtime 裡每一個用到模型的地方,都應該能回答「如果改用規則或查表,會失去什麼」。這也是 Day 91 的「最短路徑」的延伸。
- 不同類型的產品要用不同方式規劃。 Not All ML Projects Should Be Planned The Same Way 一段提出三種 ML product archetypes:Software 2.0(用 ML 強化軟體原本就自動做的事,例如 IDE 的程式碼補全)、Human-in-the-loop(ML 協助人把還沒自動化的工作做得更好,人來核准輸出)、Autonomous(不需要人介入就執行)。頁面的經驗法則是:越難做的(例如 autonomous)通常影響越大;而在 autonomous 系統裡保留人在迴圈中,可以當護欄、降低失敗的衝擊。設計文件的 trade-off 要說清楚你的 Runtime 的每一類請求屬於哪一種,這決定了核准(Day 97)與監控(Day 96)該做多重。
- 評估方式是一個循環,不是一份報告。 LLMOps 的 Test-driven development for LLMs 描述的循環是:開發 prompt 或 chain → 部署 → 收集使用者回饋、記錄與監控互動 → 把互動資料拿回來抽出測試資料、改 prompt → 複雜度提高時考慮 fine-tuning → 重複。頁面沒有明講 regression,但「從線上互動抽測試資料」就是測試集隨時間成長的來源。Project 4 的評估方式一節要寫出這個循環在你的 Runtime 裡具體怎麼轉:資料從哪個 trace 欄位來(Day 96)、誰看、多久一次,以及怎麼確認改動沒有讓舊案例退步(Phase 09 Day 84 的方法)。
書面產出
在 phase10/PROJECT4.md 完成後兩節,再做一次總複習:
- Trade-off。 至少五條,每條寫成「為了 X,犧牲了 Y;如果 Z 改變,會改成 W」。至少涵蓋品質、延遲、成本、維運四個面向各一條,以及一條來自昨天十二項檢查沒有找到機制的項目。
- 評估方式。 寫出:(a) 上線前怎麼判斷這個設計是好的(用哪些 eval、什麼資料、通過標準,引用 Day 96 的觸發表);(b) 上線後怎麼發現退步(哪些監控指標、什麼門檻、誰處理);(c) 這個 Runtime 的各類請求屬於哪一種 product archetype(Software 2.0、Human-in-the-loop、Autonomous),這對 (a)(b) 的嚴格程度有什麼影響。
- 總複習。 不看筆記,在一張紙上從 Application 畫到 Hardware,限時 15 分鐘。畫完對照
PROJECT4.md第 1 節,列出漏掉的層或橫切面。再對照總綱第 19 節的五項清單,各寫一句「我現在有的是什麼、還缺什麼」。
過關標準
- 能回答:FSDL Lecture 1 開始一個 ML 專案前要先問哪三件事?套到你的 Runtime,哪一個用到模型的地方最值得被質疑?
- 能回答:你的 Project 4 最大的一個 trade-off 是什麼?什麼情況改變時你會推翻它?
- 產出:
PROJECT4.md第 3–5 節:至少五條 trade-off(四個面向各一條)、評估方式三小節、總複習的手繪圖與漏項清單、第 19 節五項的自我盤點。至此PROJECT4.md包含共通要求的四項:架構圖、每一層的選型理由、trade-off、評估方式
Deep Dive(選讀)
- 把 Project 4 拿給別人審。 照 Backend Day 92 的標準,請一個沒看過這份文件的人(或另開一個 AI 對話)只看
PROJECT4.md,回答「這個 Runtime 遇到 MCP server 斷線會怎樣」「一個租戶用光預算時其他租戶受不受影響」。答不出來的地方就是文件寫得不夠清楚的地方。 - 讀 FSDL Lecture 6 剩下的部分。 第 5 節 Retraining Strategy(Logging、Curation、Retraining Triggers、Dataset Formation、Offline Testing、Online Testing)與第 6 節 The Continual Improvement Workflow:把「改 prompt」換成「改設定或換模型」,就是 Runtime 長期維運的流程。