這是第二條 100 天課程線,跟 Backend 那一套(curriculum/phase-*.md)並排存在,彼此獨立計天。
| 項目 | 定義 |
|---|---|
| Audience | 我自己 |
| Goal | 把目前「會用 AI」的強項,補成一套完整的 AI / ML / LLM / Inference / Application / Agent / Enterprise / Architecture 知識體系,加上能設計 AI 系統的能力 |
| Output | 知識地圖、學習筆記、書面產出(問答/對照表/圖)、architecture understanding、4 份可展示的架構設計文件 |
這 100 天對求職有幫助,但不是「上完課就多一個 AI 職稱」。真正有價值的是把現有的 Backend Engineer 背景,延伸到 AI Application / AI Systems 方向:
Backend Engineer
↓
AI-enabled Backend Engineer
↓
AI Engineer / AI Application Engineer
↓
AI Systems / AI Platform Engineer
↓
AI Architect / AI Runtime / AI Infrastructure
| 職缺 | 適配度 | 為什麼 |
|---|---|---|
| AI Engineer / Applied AI Engineer | ★★★★★ | 從 Backend 過去最自然的方向。產品需求 → LLM → RAG/Tools/Agents → Backend → Production,Backend 經驗直接變成優勢 |
| AI Application Engineer | ★★★★★ | 把 AI 能力做成真的給使用者用的產品(AI assistant、AI search、AI coding tool、AI knowledge system) |
| AI Platform / AI Infrastructure Engineer | ★★★★☆ | 更吃 infrastructure 能力:model serving、vLLM、GPU/VRAM、KV cache、quantization、batching、Kubernetes、observability |
| ML Engineer | ★★★☆☆ | 偏 LLM application / inference / deployment 的可以切;偏 training、推薦系統、CV、classical ML 的要再補很多 |
| Research Engineer / ML Researcher | ★★☆☆☆ | 另一條 career track,100 天完全不夠(advanced math、distributed training、CUDA、novel architecture) |
目標定位:AI Engineer / AI Systems Engineer first,不是「我要變成 ML Engineer」。 優先研究的職缺是 AI Engineer / Applied AI Engineer / AI Platform Engineer / AI Systems Engineer,不把時間大量投入純研究型 ML 職缺。
AI Career
│
┌───────────────────┼───────────────────┐
↓ ↓ ↓
AI Application AI Systems ML / Research
Engineer Engineer Engineer
│ │ │
LLM/API Inference ML / DL
RAG GPU Training
Agents Serving Math
Tools Runtime Research
Evals Infra
Backend Cloud
└──── 走這兩條 ────┘
如果最後只能說「我上過 Google MLCC、Hugging Face、Stanford CS336、vLLM……」,求職幫助有限,因為那只是 learning evidence。公司不在乎你完成了哪門課,想知道的是:
你能不能理解 model、training、inference,並做出正確的 technical decision。
真正有價值的是:
Knowledge + Architecture + Production thinking + Design docs
所以每個階段都要留下可展示的成果(見第 16 節的 4 份架構設計文件)。最終的履歷定位是:
Backend Engineer → AI Engineer / AI Application Engineer → Senior AI Engineer / AI Systems Engineer / AI Platform Engineer
既有的 API、database、distributed systems、production、deployment、system design 能力不會因為重新學 AI 而消失。要做的是把它們疊起來:
Backend Engineering + LLM + RAG + Agents + Inference + AI Systems
100 天後要留下一張可以自己繼續往下挖的 AI knowledge graph,而不是「把網路上所有免費 AI 課程上完」。
具體來說,看到一個 AI 系統要能拆開來講:
Application → AI Runtime → Model Router / Context / Tools / RAG / Memory
→ Inference Server → Runtime → Model Weights → Hardware
並且真正理解這一句:
Model ≠ Runtime ≠ Server ≠ API ≠ Application
主線課程負責建立知識 → 官方文件負責建立正確性 → 書面產出(回答具體問題、填對照表、畫架構圖)負責把知識變成能力 → 深入課程只在需要的地方插入。
這條課程線偏閱讀、偏觀念(2026-10-18 決定):讀者不需要實際執行程式。能力的證明是能把每一層講清楚、能做出選型判斷,不是跑過某段程式碼。
| 層級 | 比例 | 內容 | 要求 |
|---|---|---|---|
| A. Core | 約 40% | Google MLCC、HF LLM Course、HF Agents Course、FSDL、vLLM、官方 API / architecture docs | 必須完成 |
| B. Companion | 約 40% | 3Blue1Brown、Illustrated Transformer、Ollama、llama.cpp、LlamaIndex、Qdrant、LangGraph、Anthropic Agent Guide、MCP、OWASP、NIST | 配合閱讀 |
| C. Deep Dive | 約 20% | Stanford CS336、Papers、CUDA / Triton、FlashAttention、distributed inference、fine-tuning、RL / reasoning training、advanced model architecture | 有餘力再進去 |
這樣才不會出現最常見的問題:課程設計 100 天,結果每天有 8 小時的教材,第三天就開始欠進度。
| 資源 | 要做的 | 不用做的 |
|---|---|---|
| vLLM | 讀 serving 架構 → 看懂官方 benchmark 數字代表什麼 | 讀完每一頁文件 |
| LangGraph | 理解 state / graph / execution → 能畫出一個 agent 的 graph | 變成 LangGraph expert |
| Stanford CS336 | Lecture → 理解 architecture → 選擇性讀作業說明 | 照 Stanford 正式 5-unit 課程跑完 |
CS336 是非常 implementation-heavy 的課,官方要求 PyTorch、Deep Learning、systems optimization、線性代數、機率統計與 ML 基礎,作業會做到 Triton、FlashAttention、distributed training。它是 Advanced Deep Dive,只在想把 model / inference 原理挖深時才進去。
Phase 04 的 model landscape 更新太快,不寫死在課程裡。課程只定義「研究模板」,實際比較結果放進自己的 knowledge base,並定期更新。
例如客戶要 OCR + extraction,要能直接想到 Vision model + Structured output,而不是硬塞純文字 LLM。看到 Agent 需求,要先判斷「固定流程 → Workflow;動態決策 → Agent」。
跟 Backend 課程同一個精神:可驗證 = 今天留下一個具體的書面產出(回答具體問題的筆記、一張填完的表、一張圖),不是「讀了 30 分鐘」。
Backend 課程的 Phase 09(Day 81–92,AI / LLM Engineering + AI Agent 安全邊界)已經自己寫了完整教材。這條 AI 課程線碰到重疊主題時,引用 Backend 那一天就好,不重寫,只補上新的角度。
| AI 課程 | 重疊主題 | 引用 Backend 課程 |
|---|---|---|
| Phase 03(Day 21–30)LLM | token、context window、sampling、temperature、inference | Day 81 |
| Phase 06(Day 51–60)AI Application | tool calling、schema、validation、failure、retry | Day 85 |
| Phase 07(Day 61–70)RAG | embedding、相似度、倒排索引 / BM25 / 向量索引、混合檢索、chunking | Day 82、83、84 |
| Phase 08(Day 71–80)Agents | agent loop、終止條件、reliability、state / checkpoint | Day 89、90 |
| Phase 09(Day 81–90)Evals / Security | trust 分層 prompt、tool permission、approval gate、fail-closed / TOCTOU、evaluation | Day 86、87、88、91 |
| Phase 10(Day 91–100)AI Runtime | production-grade AI Agent Runtime 設計 | Day 92 |
引用的寫法:當天教材裡直接連到 Backend 課程那一天的頁面,寫一句「這部分已在 Backend Day N 講過,今天的新角度是 X」,然後只寫新角度。
| Phase | Day | 主題 | 主線 | 階段作品 |
|---|---|---|---|---|
| 01 | 1–10 | AI / ML Fundamentals | Google ML Crash Course | ML mental model 筆記:Linear Regression → Classification → Small NN 各在解決什麼 |
| 02 | 11–20 | Deep Learning / Transformer | HF LLM Course Ch.1 + Illustrated Transformer | Transformer 資料流圖 + attention 解說 |
| 03 | 21–30 | LLM / Foundation Models | HF LLM Course(到 fine-tuning) | fine-tuning 流程解說 + model card 解讀 |
| 04 | 31–40 | Multimodal / Model Ecosystem | 官方文件 + model cards | AI Model Landscape |
| 05 | 41–50 | Inference / Local AI / Hardware | vLLM | Project 1:Local LLM Serving 設計文件 |
| 06 | 51–60 | AI Application Engineering | OpenAI / Anthropic API docs + FSDL | Multi-provider abstraction 介面設計 |
| 07 | 61–70 | RAG / Knowledge / Memory | LlamaIndex + Qdrant | Project 2:Production RAG 設計文件 |
| 08 | 71–80 | Agents / Tools / Workflows | HF Agents Course | Project 3:Tool-using Agent 設計文件 |
| 09 | 81–90 | Evals / Security / Enterprise | 官方 guide 拼裝 | Eval 設計 + 安全檢查清單 |
| 10 | 91–100 | AI Architecture / AI Runtime | FSDL + 前 90 天 | Project 4:AI Runtime 設計文件 |
每個 Phase 都有:主課程、搭配教材、官方文件、書面產出、這 10 天真正要學會什麼。
建立 ML mental model:model、training、inference 到底是什麼。不是要學數學,是要讓後面看得懂 neural network、embedding、attention。
不寫程式。用 Crash Course 的互動視覺化與練習頁觀察,依序寫出下面三種 model 各自在解決什麼問題、loss 怎麼定義、參數怎麼被更新:
Linear Regression → Classification → Small Neural Network
AI Engineer ★★★☆☆ / AI Platform ★★★☆☆ / ML Engineer ★★★★★。需要懂,但不會寫在履歷上。
正式進入 Transformer,能畫出資料流並解釋 attention。這裡不直接跳 Stanford CS336。
Token → Embedding → Attention → Transformer → Output 畫得非常直觀。不寫程式。照 Illustrated Transformer 的圖自己重畫一遍,逐步標出每一步輸入輸出的意義:
Embedding → Self-Attention → Tiny Transformer
Input tokens → Embedding → Transformer blocks → Hidden representation → Output
並解釋 attention 在做什麼。面試題等級要能回答:Transformer 跟 RNN 有什麼差?Attention 在做什麼?Context window 是什麼?Tokenization 為什麼影響成本?
AI Engineer ★★★★☆ / AI Platform ★★★★☆ / ML Engineer ★★★★★
搞懂 pretrained model 是什麼、怎麼變成可以用的 instruction / reasoning model,學會讀 model card。
Pretraining → Base Model → Post-training → Instruction / Reasoning Model → Inference
並搞懂:token、context window、parameters、weights、temperature、sampling、SFT、RLHF、DPO、reasoning、distillation。
token / context window / sampling / temperature / inference 已在 Backend Day 81 講過,這裡引用,新角度放在 pretraining → post-training 的流程與 model card。
AI Engineer ★★★★★ / AI Application ★★★★★ / AI Platform ★★★★★(核心)
看到需求,知道該選哪一種 model。這一段不找大型課程,因為模型世界更新太快,改用「官方文件 + model cards + 實際比較」。
Provider → Model family → Modalities → Reasoning → Context → Tool calling
→ Structured output → API → Pricing → License → Self-hostable? → Best use cases
研究對象:OpenAI、Anthropic、Google、Meta、Qwen、DeepSeek、Mistral、xAI、Microsoft、AWS、NVIDIA。
這部分不要背。 產出是一張「AI model landscape」放進自己的 knowledge base,而且要定期更新,不寫死在課程裡。逐日教材只寫研究方法和要回答的問題,不寫「某模型現在 context 多長」這類很快會過期的數字。
AI Application ★★★★☆ / AI Engineer ★★★★☆ / AI Platform ★★★☆☆
這是一定要花時間補的區域。很多 application-level AI engineer 會 call API,但不知道 API 後面怎麼 serve model。能談 quantization、KV cache、batching、concurrency、throughput、GPU memory、vLLM、local inference,profile 就開始跟一般「會用 LLM API 的 developer」拉開差距。
把下面兩條路徑畫成架構圖,寫出每一層負責什麼、換掉某一層會影響什麼:
Model → Ollama / llama.cpp → Local API → Your backend
Model → vLLM → OpenAI-compatible API → Your backend
把這兩條路徑畫清楚,會讓你真正理解 Model ≠ Runtime ≠ Server ≠ API ≠ Application。
一份架構設計文件(共通要求見 content-standard.md):Model → llama.cpp / vLLM → API → Backend。說明 hardware、quantization、latency、throughput、memory 之間怎麼取捨,數據引用官方 benchmark 或文件,不要求自己實測。
AI Engineer ★★★★☆ / AI Platform ★★★★★ / AI Infrastructure ★★★★★
這一段本來就有 Backend 優勢,不找「AI API 入門」課。重點是 production skill,也是最容易轉換成工作成果的一段。
Problem → Model → Data → Deployment → Monitoring 看完整 AI system,非常適合 Backend 背景。設計下面這個抽象層的介面(不寫程式):對照兩家 API 文件填一張欄位對照表,再寫出抽象層的方法與資料結構:
Backend → Model abstraction → Provider A / Provider B / Local model
設計要涵蓋:streaming、retry、timeout、fallback、token / cost tracking、structured output。這會開始接近 AI Runtime 的雛形。
tool calling 的 schema / execution / validation / failure / retry 已在 Backend Day 85 講過,這裡引用,新角度放在跨 provider 抽象的設計與 streaming / cost tracking。
★★★★★
不只學 LangChain。不把「我會 LangChain + Pinecone」當能力,真正的能力是能解釋每一層為什麼存在。
Embedding → Vector → Collection → Search → Metadata filter。把下面的 pipeline 畫成架構圖,寫出每一層存在的理由:
PDF / Markdown → Parser → Chunk → Embedding → Vector DB → Retrieval → Reranking → LLM
然後針對六種常見錯誤填一張對照表:chunk 太大、chunk 太小、retrieval 太多、retrieval 太少、沒有 metadata、沒有 reranking。每一列寫出會發生什麼、為什麼、怎麼從結果發現。教材附有教材作者的實測數據可以對照。這會比看 20 篇 RAG 文章更快理解 RAG。
embedding、相似度、倒排索引 / BM25 / 向量索引、混合檢索、chunking 已在 Backend Day 82–84 講過,這裡引用,新角度放在完整 pipeline 每一層的設計與六種常見錯誤的對照分析。
一份架構設計文件(共通要求見 content-standard.md):Documents → ingestion → embedding → retrieval → reranking → LLM → citations,說明 retrieval quality、chunking 策略、latency、cost、evaluation 的設計與取捨。
★★★★★
公司真正想知道的是:你知道什麼情況該用 Agent,什麼情況不該用嗎? Agent 怎麼限制權限、怎麼避免無限 loop、tool failure 怎麼處理、怎麼 evaluation。這比「我用 LangGraph 寫過 agent」有價值得多。
State → Node → Edge → Execution,以及 persistence、memory、routing、multi-agent、human-in-the-loop。AI → MCP client → MCP server → Tools / Resources。不要把 MCP 當成 Agent 本身。agent loop、policy / 終止條件、reliability、state / checkpoint / recovery 已在 Backend Day 89–90 講過,這裡引用,新角度放在 workflow vs agent 的判斷、framework 的設計概念與 MCP。
一份架構設計文件(共通要求見 content-standard.md):LLM → tool selection → API → state → execution → evaluation,說明 permissions、failure handling、retry、human approval、evaluation 怎麼設計。
★★★★★
從 AI prototype developer 往 Production AI Engineer 移動。這一區沒有一門課能全部包好,採「官方 guide 拼裝」。
Cloud API vs Private Cloud vs VPC vs Self-hosted vs On-prem vs Hybrid
trust 分層 prompt、tool permission、approval gate、fail-closed / fail-open 與 TOCTOU、evaluation pipeline 已在 Backend Day 86–88、91 講過,這裡引用,新角度放在 OWASP LLM Top 10 的逐項對照、NIST AI RMF 與企業部署型態比較。
讓 profile 從 prototype 走到 production:evaluation、observability、security、prompt injection、permissions、audit、PII、reliability。
不再找一門「AI Runtime 課」,這是把前面 90 天全部整合起來。這是最能拉開職涯上限的一段:從「我會使用 AI」變成「我能設計 AI system」。
Application
│
AI Runtime
│
┌─────────────────┼──────────────────┐
↓ ↓ ↓
Model Context Tools
Router │ │
│ RAG MCP/APIs
│ │
Cloud / Local Memory
│
Inference
│
Hardware
橫切面再加入:Observability、Evals、Security、Permissions、Cost、Caching、Retry、Fallback、State、Scheduling、Human approval。
Backend Day 92 已做過「Design a production-grade AI Agent Runtime」的設計題,這裡引用,新角度是把前 90 天的 inference / RAG / multi-provider / agent 設計接進同一張架構圖,寫成完整的設計文件。
一份 end-to-end 架構設計文件(共通要求見 content-standard.md):Application → AI Runtime → Model / RAG / Tools / Memory / Evals,每一層與每個橫切面都寫出選型理由與 trade-off。這個做得好,對履歷的價值會比「完成 20 門 AI 課程」高很多。
四個作品都是架構設計文件,不寫程式。每份的共通要求(架構圖、每層選型理由、trade-off、評估方式)見 content-standard.md;下表是各自額外要涵蓋的項目。
| # | 作品 | 完成於 | 設計文件要涵蓋什麼 |
|---|---|---|---|
| 1 | Local LLM Serving | Phase 05 | hardware、quantization、latency、throughput、memory |
| 2 | Production RAG | Phase 07 | retrieval quality、chunking 對照、latency、cost、evaluation |
| 3 | Tool-using Agent | Phase 08 | permissions、failure handling、retry、human approval、evaluation |
| 4 | AI Runtime | Phase 10 | 把 1–3 串起來的 end-to-end 架構 |
Phase 09 的 eval 設計與安全檢查會回頭套在 Project 2 / 3 的設計上。
2026-10-09 已確認以下每個連結都能開啟(HTTP 200;有轉址的已換成新網址)。但只確認了首頁存在,各課程的章節 / unit 內容沒有逐一核對。逐日教材任務引用具體章節時,要實際開過那一頁確認,不能憑印象寫章節編號。
| 資源 | 用途 | 層級 | 連結 |
|---|---|---|---|
| Google ML Crash Course | ML mental model | Core | https://developers.google.com/machine-learning/crash-course |
| Hugging Face LLM Course | Transformer / LLM | Core | https://huggingface.co/learn/llm-course/en/chapter1/1 |
| Full Stack Deep Learning | AI system / production | Core | https://fullstackdeeplearning.com/ |
| Hugging Face Agents Course | Agent | Core | https://huggingface.co/learn/agents-course/ |
| vLLM | Inference / Serving | Core | https://docs.vllm.ai/en/latest/ |
| Stanford CS336 | LLM 深度理解 | Deep Dive(不放主線) | https://cs336.stanford.edu/ |
最值得深讀的四條主線:HF LLM Course、FSDL、HF Agents Course、vLLM。Google MLCC 負責補底層,CS336 留給真的想挖深 model / inference 原理的時候。
| 資源 | Phase | 層級 | 連結 |
|---|---|---|---|
| Google Introduction to Machine Learning | 01 | Companion | https://developers.google.com/machine-learning/intro-to-ml |
| 3Blue1Brown — Essence of Linear Algebra | 01 | Companion | https://www.3blue1brown.com/topics/linear-algebra |
| 3Blue1Brown — Neural Networks | 01 | Companion | https://www.3blue1brown.com/topics/neural-networks |
| Jay Alammar — The Illustrated Transformer | 02 | Companion | https://jalammar.github.io/illustrated-transformer/ |
| Attention Is All You Need | 02 | Deep Dive | https://arxiv.org/abs/1706.03762 |
| Hugging Face Transformers Documentation | 03 | Companion | https://huggingface.co/docs/transformers/index |
| Ollama | 05 | Companion | https://docs.ollama.com/ |
| llama.cpp | 05 | Companion | https://github.com/ggml-org/llama.cpp |
| DeepLearning.AI 短課(vLLM / SGLang 推論) | 05 | Companion | https://www.deeplearning.ai/courses |
| OpenAI API / Responses API | 06 | Core | https://developers.openai.com/api/docs |
| Anthropic API Documentation | 06 | Core | https://platform.claude.com/docs/en/api/overview |
| LlamaIndex | 07 | Core | https://developers.llamaindex.ai/python/framework/ |
| Qdrant | 07 | Companion | https://qdrant.tech/documentation/ |
| Sentence Transformers | 07 | Companion | https://www.sbert.net/ |
| Anthropic — Building Effective AI Agents | 08 | Companion(必讀) | https://resources.anthropic.com/building-effective-ai-agents |
| LangGraph | 08 | Companion | https://docs.langchain.com/oss/python/learn |
| Model Context Protocol | 08 | Companion | https://modelcontextprotocol.io/ |
| OpenAI Evaluation Guide | 09 | Core | https://developers.openai.com/api/docs/guides/evals |
| OWASP Top 10 for LLM Applications | 09 | Companion | https://owasp.org/projects/top-10-for-large-language-model-applications |
| NIST AI RMF | 09 | Companion | https://www.nist.gov/itl/ai-risk-management-framework |
Stanford CS336、Papers、CUDA / Triton、FlashAttention、distributed inference、fine-tuning、RL / reasoning training、advanced model architecture。
這條課程線的逐日教材是學習指引 + 過關標準,內容本身交給外部主線課程,不像 Backend 課程那樣自己寫完整教材。格式與驗收標準見同目錄的 content-standard.md。
之後如果要做課程,從這份已經學過、驗證過的 Knowledge Base 反向設計,而不是現在一邊學一邊猜學生要學什麼。