AI Phase 02 — Deep Learning → Transformer(Day 11–20)

100-Day AI Knowledge Challenge

AI Phase 02 — Deep Learning → Transformer(Day 11–20)

這 10 天正式進入 Transformer:從 token 與 embedding 出發,用手算與畫圖走過 self-attention、multi-head、positional encoding、causal mask,最後把零件組成一個 Tiny Transformer 的架構圖。Day 20 要能畫出 Input tokens → Embedding → Transformer blocks → Hidden representation → Output,並解釋 attention 在做什麼1。

主線是 Hugging Face LLM Course Chapter 1;Jay Alammar 的 The Illustrated Transformer 負責把資料流畫直觀;原始 paper 第一遍只回答「Transformer 解決了什麼問題」,不啃數學。這個 Phase 不直接跳 Stanford CS336,書面產出照 Illustrated Transformer 的圖自己重畫,逐步標出每一步輸入輸出的意義2。

這個 Phase 不寫程式。 每天的書面產出是筆記、手算、表格或圖,建議全部放在同一個資料夾 phase02/,Day 20 會用到前 9 天的產出。手算的數字都很小,紙筆或計算機就夠;需要 e 的次方時用計算機(e ≈ 2.718、e² ≈ 7.389)。主教材裡的程式碼範例(Hugging Face 的 pipeline、PyTorch 文件)看懂在做什麼就好,不用執行。

Day 16、17、19 有「實測數據表」,讓你不用自己跑就能看到結果。這些數字是教材作者 2026-10-18 用 PyTorch 2.14.1 在 CPU 上實測的;Day 19 的訓練過程固定了亂數種子,換一個版本或換一台機器,小數點後面的數字可能不同,但趨勢相同。

這個 Phase 沒有跟 Backend 課程重疊的主題(重疊從 AI Phase 03 開始),所以沒有「已在 Backend Day N 講過」的連結。

Day 11 — NLP 與 LLM 是什麼,文字怎麼變成 model 吃得進去的東西

今天要回答的問題

語言對 model 為什麼難?一段文字在進入 model 之前,要先經過哪一步?

主教材(Core)

  • Hugging Face LLM Course Chapter 1 — Introduction 的「Understanding NLP and LLMs」「What to expect?」,預估 10 分鐘
  • Chapter 1 — Natural Language Processing and Large Language Models(What is NLP? / The Rise of Large Language Models / Why is language processing challenging?),預估 20 分鐘
  • 書面產出,預估 50 分鐘

搭配(Companion,選讀)

  • Chapter 1 — Ungraded quiz 的第 5、6 題(transfer learning、pretraining 是否需要 label),之後 Day 18 會回頭用到

讀的時候抓這幾個重點

  • LLM 是 NLP 這個領域裡「規模放大」的一支。 第 2 頁先講 NLP 要處理什麼問題,再講 LLM 怎麼從中冒出來。讀的時候分清楚:NLP 是問題領域,LLM 是其中一種解法。
  • 語言難在「同一個字在不同上下文意思不同」。 「Why is language processing challenging?」一節的核心是:model 要的是數字,而文字的意義取決於前後文。這正是後面 attention 要處理的事。
  • Model 吃的是 token id,不是字串。 頁面不會細講 tokenization,但 Day 12 的 embedding 與 Day 20 的「tokenization 為什麼影響成本」都從這裡接起:文字先切成 token,再對應成整數 id。
  • 最容易誤會的是以為 token = 單字。 Token 可以是字元、subword 或整個字,切法由 tokenizer 決定,同一句話在不同 tokenizer 下的 token 數不同。

書面產出

在 phase02/D11-TOKENS.md 手做一個最簡單的字元級 tokenizer,句子是 attention is all you need:

  1. 列出 vocab。 把句子裡不重複的字元(空白也算一個)依字母順序排好,空白排第一個,依序編號 0、1、2……,寫成一張「字元 → id」的表。數一數 vocab 有幾個字元、整句有幾個 token(提示:vocab 是 12,token 數是 25)。
  2. Encode 與 decode。 用你的表把 need 換成 id 序列,再把這串 id 換回字元,確認還原成原字。
  3. 字元級 vs 單字級。 如果改成「一個單字一個 token」,同一句話的 vocab 大小與 token 數各是多少?填這張表:
切法vocab 大小這句話的 token 數遇到沒看過的字會怎樣
字元級1225
單字級
  1. 沒看過的字。 用字元級的表 encode bad,會卡在哪個字元?換成單字級呢?用兩三句話說明為什麼實際的 tokenizer 會選介於兩者之間的 subword。

過關標準

  • 能回答:LLM 跟 NLP 的關係是什麼?語言處理為什麼難?
  • 能回答:tokenizer 的輸入與輸出各是什麼?
  • 產出:D11-TOKENS.md,有字元 → id 表、need 的 encode 結果、填完的字元級 vs 單字級對照表,以及 bad 的說明
  1. 依 AI 課程線總綱(curriculum/ai/00-master-curriculum.md)第 7 節「Phase 02 — Deep Learning → Transformer」的目標與驗收
  2. 依 AI 課程線總綱第 7 節的主課程、搭配與書面產出安排,以及第 4 節(Phase 02 不在重疊對照表內)

Day 12 — Embedding:id 怎麼變成 vector

今天要回答的問題

nn.Embedding 到底在做什麼?它的輸出 shape 為什麼是 (token 數, 向量維度)?

主教材(Core)

  • Jay Alammar — The Illustrated Transformer 的「A High-Level Look」「Bringing The Tensors Into The Picture」,預估 20 分鐘
  • PyTorch — torch.nn.Embedding(頁首描述與 num_embeddings、embedding_dim 兩個參數),預估 10 分鐘
  • 書面產出,預估 50 分鐘

搭配(Companion,選讀)

  • 3Blue1Brown 的線性代數(Phase 01 Day 2)— 想複習「vector 是一串數字」時回去看

讀的時候抓這幾個重點

  • Embedding 是一張查表。 PyTorch 文件的描述是:為固定大小的字典保存 embedding,並依 index 回傳對應向量。沒有任何「計算」,只是用 id 取出第 id 列。
  • 這張表的內容是學出來的。 初始化時是隨機數字,training 時跟其他 weight 一起被 gradient descent 更新。Day 1 說「model 是一組數字」,embedding 表就是其中一大塊。
  • num_embeddings 是 vocab 大小,embedding_dim 是每個 token 的向量長度。 整張表的 shape 是 (vocab, dim),參數量就是兩者相乘。
  • Illustrated Transformer 的起點是「把輸入變成 tensor」。 讀「Bringing The Tensors Into The Picture」時,注意它把每個 token 變成一個向量,一整句變成一排向量;後面所有層處理的都是這排向量。

書面產出

在 phase02/D12-EMBED.md 寫:

  1. 手動查表。 一張 vocab = 4、dim = 3 的 embedding 表如下。輸入 id 序列 [2, 0, 2, 3],寫出輸出的 4 個向量。
id維度 1維度 2維度 3
00.10.20.3
10.0-0.50.4
21.00.0-1.0
30.30.30.3
  1. 參數量。 以字元級 tokenizer 處理 hello transformer(17 個字元、12 個不重複字元),每個 token 的向量長度是 4。寫出:embedding 表有幾列、每列幾個數字,各由什麼決定?整張表要存幾個數字(可訓練參數量)?再算兩種情況:vocab 變成 2 倍、或向量長度變成 2 倍,各要存幾個數字?
  2. 畫一張圖。 左邊是一排 token id,中間是 embedding 表,右邊是一排向量;用箭頭標出「id 2 → 表的第 2 列 → 輸出的第 1 個和第 3 個向量」,說明為什麼同一個 id 出現兩次,取出的向量完全相同。

過關標準

  • 能回答:embedding 表的大小由哪兩個數字決定?vocab 變成 2 倍,或每個向量的長度變成 2 倍,要存的數字各變幾倍?
  • 能回答:為什麼說 embedding 是「查表」而不是「運算」?
  • 產出:D12-EMBED.md,有第 1 題的 4 個向量、第 2 題的參數量與兩種加倍情況,以及第 3 題的圖

Day 13 — Transformer 能做什麼:用 pipeline 看全貌

今天要回答的問題

同一個 Transformer 家族,能做哪些任務?一個 pipeline 背後做了哪幾步?

主教材(Core)

  • Hugging Face LLM Course Chapter 1 — Transformers, what can they do?(Working with pipelines、Zero-shot classification、Text generation、Mask filling、Named entity recognition 這幾節;頁面上的程式碼與輸出看懂就好,不用執行),預估 30 分鐘
  • 書面產出,預估 50 分鐘

搭配(Companion,選讀)

  • 同一頁的 Available pipelines for different modalities 一節,看 text 以外還有哪些 pipeline

讀的時候抓這幾個重點

  • Pipeline 把「前處理 → model → 後處理」包成一個呼叫。 頁面用 pipeline("任務名稱") 示範;真正的流程是 tokenizer 切 token、model 算出輸出、再轉回人看得懂的結果。
  • 同一個架構家族,靠不同的 head 與 checkpoint 做不同任務。 分類、生成、填空、NER 看起來是不同東西,底下都是 Transformer。
  • Zero-shot 與 text generation 的差別。 Zero-shot classification 是給候選 label 讓 model 挑;text generation 是接著 prompt 一個 token 一個 token 往後生成。
  • Pipeline 會下載模型。 第一次跑會從 Hub 下載 checkpoint,需要網路與磁碟空間,不是本地內建的。

書面產出

在 phase02/D13-PIPELINES.md 寫:

  1. 四個 pipeline 的對照表。 依頁面上 Zero-shot classification、Text generation、Mask filling、Named entity recognition 四節的範例填寫:
任務輸入是什麼(除了文字還多給了什麼)輸出有哪些欄位每個欄位代表什麼這是在「理解」還是「生成」文字
Zero-shot classification
Text generation
Mask filling
Named entity recognition
  1. 讀 zero-shot 的輸出。 頁面範例的 scores 三個數字加起來是多少?labels 的順序是依什麼排的?用一句話說明這三個分數為什麼可以讀成「model 覺得屬於哪一類的機率」。
  2. Pipeline 的三步。 畫一張圖:文字 → [前處理] → [model] → [後處理] → 結果,用 text generation 的例子在每個箭頭上寫出傳的是什麼(字串、token id、model 的輸出分數、字串)。

過關標準

  • 能回答:pipeline 背後有哪三步?zero-shot classification 與 text generation 的輸出各長什麼樣子?
  • 能回答:為什麼同一個「Transformer」能做分類、生成、NER?
  • 產出:D13-PIPELINES.md,有填完的四列對照表、zero-shot 分數加總與排序的說明,以及 pipeline 三步的圖

Day 14 — Transformer 的資料流與 self-attention 的直覺

今天要回答的問題

一個 encoder 把一排向量變成另一排向量,中間 self-attention 讓每個位置「看」了誰?

主教材(Core)

  • The Illustrated Transformer — Now We're Encoding!、「Self-Attention at a High Level」,預估 30 分鐘
  • 原始 paper — Attention Is All You Need 的 abstract 頁,預估 10 分鐘;只回答「它想取代 recurrence 與 convolution,換成什麼」
  • 書面產出,預估 50 分鐘

搭配(Companion,選讀)

  • Illustrated Transformer 的「A High-Level Look」再看一次,對照今天的資料流

讀的時候抓這幾個重點

  • Encoder 的輸入和輸出長度相同。 一排 N 個向量進去,一排 N 個向量出來,每個輸出向量帶著「看過全句之後」的資訊。
  • Self-attention 讓每個位置直接取用其他位置的資訊。 頁面用「it 指的是誰」的例子:處理 it 時,model 會把注意力放在相關的字上。
  • Paper 的主張在 abstract 裡就能看到。 它提出完全建立在 attention 上、不用 recurrence 與 convolution 的架構,並說明更好平行化、訓練更快。
  • 最容易誤會的是「attention = 人類的注意力」。 它就是一組加權係數,沒有任何意識。

書面產出

在 phase02/D14-ATTN.md 用手算建立直覺。三個 token 的 2 維向量是 x1 = (1, 0)、x2 = (0, 1)、x3 = (1, 1)。這裡先跳過 Q、K、V(明天才講),直接拿向量本身互相比較:

  1. 相似度分數。 算出每一對 token 的 dot product,填成 3×3 的表(第 i 列第 j 欄 = xi · xj)。
  2. Softmax。 對每一列做 softmax:每一格換成 e^分數,再除以那一列的總和。寫出三列的權重(小數點後三位),並確認每一列加起來是 1。(對答案:第 1 列是 0.422、0.155、0.422。)
  3. 加權平均。 用第 2 題的權重,算出三個新向量:第 i 個新向量 = 第 i 列權重分別乘上 x1、x2、x3 再相加。(對答案:第 1 個新向量是 (0.845, 0.578)。)
  4. 解讀。 寫兩三句話:x3 的新向量為什麼最靠近它自己?x1 的新向量跟原本的 (1, 0) 差在哪裡,多了誰的資訊?

過關標準

  • 能回答:self-attention 的輸出每個位置,跟輸入對應位置的向量差在哪?
  • 能用一句話回答:Transformer 論文想解決什麼問題(用 abstract 的內容回答)
  • 產出:D14-ATTN.md,有 3×3 分數表、三列 softmax 權重、三個新向量,以及第 4 題的解讀

Day 15 — Self-attention 完整算式:Q、K、V

今天要回答的問題

Query、Key、Value 各從哪裡來?一次 self-attention 的矩陣運算長什麼樣子?

主教材(Core)

  • The Illustrated Transformer — 「Self-Attention in Detail」「Matrix Calculation of Self-Attention」,預估 35 分鐘
  • PyTorch — scaled_dot_product_attention(頁首描述與 query、key、value、attn_mask、is_causal、scale 參數名稱),預估 10 分鐘
  • 書面產出,預估 60 分鐘

搭配(Companion,選讀)

  • 回看 Day 2 的 matrix 乘法筆記,確認 x @ Wq 是在對每一列做同一個轉換

讀的時候抓這幾個重點

  • Q、K、V 都是同一排輸入乘上三個不同的 weight matrix。 三個 matrix 是學出來的;Q 代表「我在找什麼」,K 代表「我有什麼」,V 代表「我要傳出去的內容」。
  • 分數是 Q 與 K 的 dot product,再除以縮放係數。 縮放係數用來避免維度大時分數過大。
  • Softmax 之後才拿去加權 V。 Softmax 把分數變成每列加總為 1 的係數,輸出是 V 的加權和。
  • 整件事可以寫成幾個矩陣乘法。 這是 attention 能在 GPU 上平行算的原因,也是跟 RNN 最大的差別之一。

書面產出

在 phase02/D15-QKV.md 手算一次完整的 self-attention。兩個 token、維度 d = 2:

  • 輸入 X 的兩列是 (1, 0)、(0, 2)
  • Wq 是單位矩陣(兩列 (1, 0)、(0, 1)),Wk 的兩列是 (1, 1)、(0, 1),Wv 的兩列是 (2, 0)、(0, 1)
  1. 算 Q、K、V。 Q = X @ Wq、K = X @ Wk、V = X @ Wv,各寫出兩列。
  2. 算分數。 Q @ Kᵀ 是 2×2;再除以 sqrt(d) = sqrt(2) ≈ 1.414。
  3. Softmax 與輸出。 每一列做 softmax,再乘上 V。(對答案:權重第 1 列是 0.670、0.330;輸出第 1 列是 (1.340, 0.660)。)
  4. 對照 Illustrated Transformer 的六個步驟。 「Self-Attention in Detail」把計算拆成 first step 到 sixth step。做一張表,把你上面每一步算式對到第幾個 step,並寫出那個 step 在文章裡的例子用的數字(例如文章除以 8,因為 key 的維度是 64)。
  5. 放大成一般情況。 第 3 題的權重表是 2×2,因為只有 2 個 token。如果有 5 個 token,權重表有幾格?10 個、1,000 個 token 呢?token 數變 2 倍,格子數變幾倍?再用一句話寫出第 i 列第 j 欄代表什麼。

教材作者 2026-10-18 用 PyTorch 內建的 scaled_dot_product_attention 對同一組 Q、K、V 算過一次,結果跟上面手算的輸出一致(差距小於 0.00001)——也就是說,第 2–3 題就是這個函式在做的事。

過關標準

  • 能回答:attention 的權重表為什麼是「token 數 × token 數」?第 i 列第 j 欄代表什麼?prompt 變成 2 倍長,這張表的格子數變幾倍,這對長 prompt 的成本代表什麼?
  • 能回答:Q、K、V 各從哪裡來、各代表什麼?為什麼整個 attention 可以寫成幾次 matrix 乘法,這跟 GPU 有什麼關係?
  • 產出:D15-QKV.md,有 Q、K、V、分數、權重、輸出的手算結果、六個步驟的對照表,以及第 5 題權重表格子數的計算

Day 16 — Multi-head attention 與 positional encoding

今天要回答的問題

為什麼要多個 head?attention 本身看不到順序,順序資訊是怎麼補進去的?

主教材(Core)

  • The Illustrated Transformer — 「The Beast With Many Heads」「Representing The Order of The Sequence Using Positional Encoding」「The Residuals」,預估 35 分鐘
  • 書面產出,預估 70 分鐘

搭配(Companion,選讀)

  • 同頁「Matrix Calculation of Self-Attention」再看一次,對照多 head 如何沿用同一組運算

讀的時候抓這幾個重點

  • 多個 head 是用不同的 Q、K、V 轉換各看一次,再拼起來。 每個 head 可以關注不同種類的關係,最後再用一個 matrix 轉回原維度。
  • Self-attention 對順序是無感的。 把輸入的位置打亂,每個 token 的輸出只是跟著換位置。所以要另外加上 positional encoding,讓 model 知道誰在前誰在後。
  • Positional encoding 是加到 embedding 上,不是拼接。 兩者維度相同,直接相加。
  • Residual 讓每一層只需要學「修正量」。 輸出是輸入加上子層的結果,這也讓深層網路比較容易訓練。

書面產出

在 phase02/D16-HEADS.md 寫:

  1. Multi-head 的分工與參數量。 d = 512、8 個 head(Illustrated Transformer 用的數字):每個 head 分到幾維?8 個 head 的結果拼起來,為什麼剛好回到 512 維?如果 Q、K、V 用一個 d → 3d 的 Linear 一次算出來(weight 加 bias),參數量是多少?最後把 8 個 head 拼回去的 proj(d → d 的 Linear)參數量又是多少?(對答案:前者 787,968,後者 262,656。)如果改成只用 1 個 head,這兩個參數量會變嗎?由此說明:多個 head 多花的是參數,還是只是把同一份維度分給不同 head 各看一次?
  2. 畫 multi-head 的資料流。 一排向量 → 切成 8 份 → 每份各做一次 Day 15 的 attention → 拼回一排 → proj。每個箭頭旁寫一句這一步在做什麼(例如「8 份各自算出一張權重表,關注的關係可以不同」)。
  3. 順序無感的證明。 拿 Day 14 的三個向量,把 x1 和 x2 的位置對調(新順序是 (0, 1)、(1, 0)、(1, 1)),不用重算全部,先推論新的三個輸出向量會是什麼,再只重算第 1 個確認。用兩三句話說明:為什麼這代表沒有 positional encoding 的 attention 分不出「狗咬人」與「人咬狗」?
  4. Positional encoding 手算。 用 Illustrated Transformer 那種 sin / cos 的做法,d = 4 時第 pos 個位置的四個數字是 sin(pos)、cos(pos)、sin(pos/100)、cos(pos/100)(角度用 radian)。用計算機算出 pos = 0, 1, 2 的三列,填成 3×4 的表。(對答案:pos = 1 是 0.8415、0.5403、0.0100、0.99995。)寫一句話說明:為什麼把這三列分別加到同一個 embedding 上,model 就能分出它在第幾個位置?
  5. Residual。 用一兩句話寫出 residual 的式子(輸出 = ?),並說明它為什麼讓深層網路比較好訓練。

實測數據表(教材作者 2026-10-18 實測):一個 d = 16、4 個 head 的 multi-head attention,輸入 shape (2, 6, 16)。把 6 個位置照固定順序打亂,比較「先打亂再算」與「先算再打亂」的輸出是否相同:

條件輸出 shape先打亂再算 = 先算再打亂?
沒有 positional encoding(2, 6, 16)相同
輸入先加上 sin / cos positional encoding(2, 6, 16)不相同

過關標準

  • 能回答:為什麼要用多個 head,而不是只算一次 attention?多個 head 的結果最後怎麼合回一個?
  • 能回答:為什麼沒有 positional encoding 的 attention 看不出順序?實測數據表的哪一列證明了這件事?
  • 產出:D16-HEADS.md,有第 1 題的兩個參數量與「改成 1 個 head 會不會變」的回答、multi-head 資料流圖、對調順序的推論與驗算、3×4 的 positional encoding 表,以及 residual 的說明

Day 17 — Decoder、causal mask 與輸出層

今天要回答的問題

Decoder 為什麼不能偷看後面的 token?最後的輸出是怎麼變成「下一個 token 的機率」?

主教材(Core)

  • The Illustrated Transformer — 「The Decoder Side」「The Final Linear and Softmax Layer」「Recap Of Training」「The Loss Function」,預估 35 分鐘
  • 書面產出,預估 60 分鐘

搭配(Companion,選讀)

  • PyTorch scaled_dot_product_attention 頁面的 is_causal 參數,對照今天的 mask

讀的時候抓這幾個重點

  • Decoder 的 self-attention 要遮住未來的位置。 訓練時整句一起算,但第 i 個位置只能看 ≤ i 的 token,否則等於偷看答案。
  • 輸出層是一個 Linear 加 softmax。 最後一層的向量乘上 (d, vocab) 的 matrix,得到每個詞的分數,softmax 後成為機率。
  • Loss 是跟「正確的下一個 token」比。 訓練的目標就是讓正確 token 的機率高。
  • 最容易誤會的是以為 mask 在推論時才用。 它在訓練時就必須用,不然訓練出來的 model 沒有學會預測。

書面產出

在 phase02/D17-CAUSAL.md 寫:

  1. 畫 causal mask。 畫一張 4×4 的格子,第 i 列第 j 欄代表「第 i 個位置能不能看第 j 個位置」,能看的打勾、不能看的打叉。寫一句話說明打叉的格子在 softmax 之前被換成什麼值,為什麼換成那個值之後 softmax 出來會是 0。
  2. 把 mask 套到 Day 14。 用 Day 14 的 3×3 分數表,把打叉的格子拿掉(只對剩下的格子做 softmax),重算三列權重與三個新向量。(對答案:第 2 列權重是 0.269、0.731、0。)第 3 列跟 Day 14 比有沒有變?為什麼?
  3. 輸出層。 最後一層的向量是 d = 64,vocab 是 28 個字元。輸出 Linear 的 weight 是什麼 shape?加上 bias 有幾個參數?輸入 (B, T, 64),輸出 (B, T, 28) 的每個位置代表什麼?
  4. Loss 手算。 Loss 是「正確 token 的機率取 −ln」。用計算機算三種情況:model 完全亂猜(28 個字元機率都一樣,正確 token 拿到 1/28)、正確 token 拿到 0.5、拿到 0.9。這三個數字會在 Day 19 的訓練紀錄裡再出現。

實測數據表(教材作者 2026-10-18 實測):一個 d = 16、4 個 head 的 attention,輸入 6 個位置。只改最後兩個位置(第 5、6 個)的輸入,比較改前改後的輸出:

設定前 4 個位置的輸出有沒有變最後 2 個位置的輸出有沒有變
causal mask 開(is_causal=True)沒變變了
causal mask 關(is_causal=False)變了變了

過關標準

  • 能回答:把 causal mask 關掉,實測數據表第 1 欄為什麼從「沒變」變成「變了」?這對訓練 decoder 來說代表什麼問題?
  • 能回答:model 每個位置最後輸出的是什麼?「下一個 token」是怎麼從那裡選出來的?
  • 產出:D17-CAUSAL.md,有 4×4 mask 圖、套用 mask 後的三列權重與三個新向量、輸出層的參數量,以及三種情況的 loss

Day 18 — 架構全貌:Encoder、Decoder、Seq2Seq

今天要回答的問題

BERT 類、GPT 類、T5 類的 model 差在哪?什麼任務該選哪一種?

主教材(Core)

  • Hugging Face LLM Course Chapter 1 — How do Transformers work?(A bit of Transformer history、Transfer Learning、General Transformer architecture、Attention layers、Architectures vs. checkpoints),預估 35 分鐘
  • Chapter 1 — Transformer Architectures(Encoder models、Decoder models、Sequence-to-sequence models、Choosing the right architecture),預估 25 分鐘
  • 書面產出,預估 45 分鐘

搭配(Companion,選讀)

讀的時候抓這幾個重點

  • Encoder 看雙向、decoder 只看左邊、seq2seq 兩者都用。 這個差別直接決定它適合做理解(分類、NER)、生成,還是轉換(翻譯、摘要)。
  • Transfer learning 是現代 NLP 的前提。 先在大量文字上 pretraining,再針對任務微調;pretraining 通常不需要人工 label。
  • Architecture 與 checkpoint 不同。 Architecture 是骨架,checkpoint 是特定一次訓練後的 weights;「BERT」可能指其中任何一個。
  • 為什麼 Transformer 取代 RNN。 RNN 必須按順序處理,Transformer 可以平行處理整句,並且讓任意兩個位置直接互動。

書面產出

在 phase02/D18-ARCH.md 寫:

  1. 三類架構對照表:
類型代表 modelAttention 看哪裡(對照 Day 17 的 mask)適合任務一個你能想到的產品例子
Encoder
Decoder
Seq2Seq
  1. 對回 Day 13。 Day 13 對照表的四個 pipeline,各自最適合用哪一類架構?在 Day 13 的表旁邊加一欄,或在今天的檔案裡列出來,每個附一句理由。
  2. Architecture vs checkpoint。 用自己的話各寫一句定義,再舉一個例子說明「同一個 architecture、不同 checkpoint」會是什麼情況。

過關標準

  • 能回答:Transformer 跟 RNN 有什麼差?(面試題等級,至少兩點)
  • 能回答:做「文章分類」「寫續集」「中翻英」各該選哪一類架構?為什麼?
  • 產出:D18-ARCH.md,有填完的三類架構對照表、Day 13 四個 pipeline 對應的架構與理由,以及 architecture / checkpoint 的定義與例子

Day 19 — 組裝 Tiny Transformer:架構圖、參數量與訓練紀錄

今天要回答的問題

把前幾天的零件組起來,一個會續寫文字的小 model 長什麼樣子?訓練時 loss 怎麼變化,代表什麼?

主教材(Core)

  • 回頭翻 Day 12、16、17 的書面產出(embedding 查表、multi-head attention、causal mask 與輸出層);位置資訊這裡改用可學習的 position embedding(一張 (T, d) 的表,跟 token embedding 一樣是查表、一樣會被訓練),而不是 Day 16 的 sin / cos
  • 書面產出,預估 100 分鐘

搭配(Companion,選讀)

  • The Illustrated Transformer 的「Go Forth And Transform」一節,看延伸閱讀

讀的時候抓這幾個重點

  • 一個 Transformer block 就是 attention + MLP,各自包 residual 與 normalization。 把 block 疊起來就是 model 的深度。
  • 訓練目標是預測下一個 token。 輸入 x[:, :-1],目標是 x[:, 1:],每個位置各有一個 loss。
  • Loss 會下降,輸出不一定好。 這個規模只是為了確認管線是通的;重點是看 loss 往下走,而不是生成品質。

書面產出

今天的 model 規格如下(這就是教材作者實測用的設定):

項目值
訓練文字the quick brown fox jumps over the lazy dog. 重複 40 次,共 1,800 個字元
Tokenizer字元級(Day 11 的做法),vocab V = 28
每段長度 T32 個 token
向量維度 d64
Head 數 h4
Block 數 L2
每個 blockLayerNorm → causal multi-head attention → 加回 residual;LayerNorm → MLP(d → 4d → d,中間用 GELU)→ 加回 residual
Block 之後一個 LayerNorm,再接輸出 Linear(d → V)
位置資訊可學習的 position embedding,shape (T, d),跟 token embedding 相加
訓練每步隨機取 32 段(batch B = 32),AdamW、learning rate 0.003,共 300 步

在 phase02/D19-TINY.md 寫:

  1. 資料流圖。 從輸入的 token id 一路畫到輸出的機率:token embedding、position embedding、兩者相加、2 個 block(每個 block 裡畫出 attention 與 MLP 兩塊)、最後的 LayerNorm、輸出 Linear、softmax。每個方塊旁寫一句它在做什麼,並標出哪些方塊有要學的參數(第 2 題會逐一算)。
  2. 手算參數量。 填這張表(LayerNorm 每個有 2d 個參數;Linear 的參數 = 輸入維度 × 輸出維度 + 輸出維度):
零件怎麼算參數量
Token embedding
Position embedding
一個 block 的 2 個 LayerNorm
一個 block 的 attention(d → 3d 加 proj)
一個 block 的 MLP(兩個 Linear)
2 個 block 合計
最後的 LayerNorm
輸出 Linear
全部合計105,756

(對答案:一個 block 是 49,984。)哪一個零件佔最多?如果把 d 從 64 加倍到 128,哪幾項會變成大約 4 倍、哪幾項只變 2 倍?3. 為什麼目標往後錯一格。 從訓練文字取一段 the quick,寫出輸入是哪幾個字元、目標是哪幾個字元,並說明為什麼第 i 個位置的目標是第 i+1 個字元。這跟 Day 17 的 causal mask 有什麼關係?4. 讀訓練紀錄。 看下面的實測數據表回答:step 0 的 loss 跟 Day 17 第 4 題「完全亂猜」的 loss 比,接近嗎?step 250 的 loss 換算回去,正確 token 平均大約拿到多少機率(e^(−loss))?step 150 比 step 100 高,代表訓練壞掉了嗎?(提示:每一步是隨機取的 32 段。)5. 讀生成結果。 生成的文字幾乎完整重現原句,這代表 model 學會了英文嗎?用兩三句話說明這個實驗能證明什麼、不能證明什麼。

實測數據表(教材作者 2026-10-18 實測,PyTorch 2.14.1、CPU,亂數種子固定為 0):

StepLoss
03.5633
500.0668
1000.0275
1500.0340
2000.0282
2500.0222

訓練完以後,從字元 t 開始一次生成一個字元、共生成 60 個,結果是 the lazy dog. the quick brown fox jumps over the lazy dog. th。實際算出的參數量是 105,756。

過關標準

  • 能回答:這個 model 的參數主要花在哪個零件?d 從 64 加倍到 128,哪幾個零件的參數量大約變 4 倍、哪幾個只變 2 倍?由此說明:為什麼 model 的維度與層數會直接決定要多少記憶體?
  • 能回答:為什麼目標是輸入往後錯一格?
  • 產出:D19-TINY.md,有從輸入 token 畫到輸出機率的資料流圖、填完的參數量表(合計 105,756),以及第 3–5 題的書面回答

Day 20 — 畫出資料流,並回答面試題

今天要回答的問題

從一串 token 到下一個 token 的機率,資料經過哪些階段?這些階段在實際服務時怎麼對應成本?

主教材(Core)

  • Hugging Face LLM Course Chapter 1 — Deep dive into Text Generation Inference with LLMs(The Role of Attention、The Two-Phase Inference Process、Sampling Strategies、The KV Cache Optimization),預估 40 分鐘
  • Chapter 1 — Summary,預估 10 分鐘
  • 書面產出(畫圖與書面回答),預估 60 分鐘

搭配(Companion,選讀)

讀的時候抓這幾個重點

  • 推論分成 prefill 與 decode 兩階段。 Prefill 一次處理整個 prompt;decode 一次產生一個 token。兩者的運算特性不同,之後 Phase 05 會再回來。
  • Context window 是 attention 能看到的上限。 越長的 context,attention 要算的東西越多,成本跟著上升。
  • Tokenization 影響成本。 費用與延遲是依 token 數計算,同一段文字在不同 tokenizer 下的 token 數不同;Day 11 的字元級對照就是縮小版。
  • KV cache 是用記憶體換重複計算。 Decode 時把前面 token 的 K、V 存起來,不用每次重算。這部分只要知道概念,細節留到 Phase 05。

書面產出

在 phase02/D20-DATAFLOW.md(或紙上拍照放進資料夾)畫一張圖,至少包含這五個方塊,每一段標出傳的是什麼(token id、向量或機率)與這一步的意義:

Input tokens → Embedding → Transformer blocks → Hidden representation → Output

每個方塊旁標註對應到前面哪一天的書面產出(例如 Embedding → Day 12、Transformer blocks → Day 15–17、19)。再另外用自己的話寫出下面四題的答案,各 3–5 句,放進同一個檔案。

過關標準

  • 能用自己的話回答:Transformer 跟 RNN 有什麼差?Attention 在做什麼?Context window 是什麼?Tokenization 為什麼影響成本?
  • 產出:D20-DATAFLOW.md,有資料流圖(五個方塊都在,每一段標出傳的是什麼:token id、向量或機率),以及四題的書面回答
  • 自我檢查:把圖遮起來,只看 Day 19 的 model 規格表能不能重畫一次

Deep Dive(選讀)

  • 重讀 Attention Is All You Need 全文的 model architecture 一節,對照 Day 15–17 自己算過的矩陣(Deep Dive 層級,不計入 2 小時)