100-Day AI Knowledge Challenge
AI Phase 01 — AI / ML Fundamentals(Day 1–10)
這 10 天建立 ML 的 mental model:model、training、inference 到底是什麼。目標不是學數學,是讓後面的 neural network、embedding、attention 看得懂1。
主線是 Google Machine Learning Crash Course,陌生概念先回 Google Introduction to Machine Learning;線性代數與 neural network 的直覺交給 3Blue1Brown;書面產出照 Linear Regression → Classification → Small Neural Network 三段走2。
這個 Phase 不寫程式。 每天的書面產出是筆記、手算、表格或圖,建議全部放在同一個資料夾 phase01/,Day 10 會用到前 9 天的產出。手算只需要紙筆或計算機;Crash Course 頁面上的互動練習(拖 slider、按按鈕)是在網頁上操作,不算執行程式,有標出來的就做。
有幾天會給一張「實測數據表」,讓你不用自己跑就能看到訓練過程的數字。這些數字是教材作者 2026-10-18 在一台 Apple Silicon Mac 上實測的(NumPy 2.5.4、PyTorch 2.14.1),換一台機器或換一個版本,小數點後面的數字會不同,但趨勢相同。
這個 Phase 沒有跟 Backend 課程重疊的主題(重疊從 AI Phase 03 開始)。
Day 1 — ML 是什麼:model、training、inference
今天要回答的問題
「訓練一個 model」跟「用 model 做預測」各自在做什麼?兩者的輸入差在哪?
主教材(Core)
- Google Introduction to Machine Learning — What is Machine Learning?(Types of ML Systems、Supervised learning 的 Regression / Classification),預估 10 分鐘
- Google Introduction to Machine Learning — Supervised Learning(Data、Model、Training、Evaluating、Inference 五段),預估 15 分鐘
- 書面產出,預估 40 分鐘
搭配(Companion,選讀)
- Machine Learning Crash Course 首頁 — 先看一眼 14 個 module 的地圖(ML Models / Data / Advanced ML Models / Real-world ML),知道接下來 9 天會用到哪幾個
讀的時候抓這幾個重點
- Feature 和 label 是同一筆資料的兩半。 Feature 是 model 拿來預測的輸入,label 是「正確答案」。Supervised learning 的前提是訓練資料裡兩者都有;到了要預測的時候,手上只有 feature。
- Model 就是一組數字。 頁面說 model 是一組捕捉 feature 與 label 之間關係的數字,是 training 學出來的。先把「model = 程式碼」的印象換成「model = 程式碼 + 一堆學出來的數字」,後面講 parameter、weight 才接得上。
- Training 用有 label 的資料,inference 用沒有 label 的資料。 Training 是一直比較「model 的預測」跟「真正的 label」,依差距調整那組數字;inference 是數字固定之後,拿新的 feature 算出預測。最常見的誤會是以為 model 在 inference 時還在學。
- Regression 預測數字,classification 預測類別。 這兩個詞會貫穿整個 Phase:Day 3–5 講 regression,Day 6–7 講 classification。
書面產出
在 phase01/D01-TERMS.md 寫三樣東西:
- 五個詞的定義。 feature、label、model、training、inference,每個用自己的話寫一到兩句,不照抄頁面。
- 三個例子的拆解表。 挑三個你生活或工作裡的預測問題(不能用頁面上的例子),至少一個 regression、一個 classification:
| 要預測什麼 | Feature(至少 3 個) | Label | Regression 還是 classification | 訓練資料從哪裡來 |
|---|---|---|---|---|
| (例)二手車售價 | 年份、里程、品牌 | 成交價 | Regression | 過去的成交紀錄 |
- Training vs inference 的兩條資料流。 畫兩張小圖:training 那張要畫出「有 label 的資料 → model 預測 → 跟 label 比較 → 調整那組數字」的迴圈;inference 那張要畫出「只有 feature 的新資料 → 固定的 model → 預測」。兩張圖要標出哪裡有 label、哪裡的數字會變。
過關標準
- 能回答:training 和 inference 各需要哪些資料?哪一個需要 label?
- 能回答:為什麼說 model 是「一組數字」?那組數字是在哪個階段決定的?
- 產出:
D01-TERMS.md,有五個詞的定義、三列填完的例子表(不能用頁面上的例子),以及 training / inference 兩張資料流圖
Day 2 — 線性代數直覺:vector、matrix、dot product
今天要回答的問題
為什麼「一筆資料乘上一組 weight 再加起來」可以寫成一個 dot product,而一整批資料可以寫成一次 matrix 乘法?
主教材(Core)
- 3Blue1Brown Essence of Linear Algebra 第 1 章 — Vectors, what even are they?,預估 15 分鐘
- 第 2 章 — Linear combinations, span, and basis vectors,預估 15 分鐘
- 第 3 章 — Linear transformations and matrices,預估 15 分鐘
- 第 9 章 — Dot products and duality,預估 15 分鐘
- NumPy — NumPy: the absolute basics for beginners 的「Basic array operations」「Broadcasting」兩節(看懂範例在算什麼就好,不用執行),預估 15 分鐘
- 書面產出,預估 30 分鐘
搭配(Companion,選讀)
- 3Blue1Brown 第 4 章 — Matrix multiplication as composition,想知道「兩個 matrix 相乘」為什麼是那樣算時再看
讀的時候抓這幾個重點
- Vector 在 ML 裡就是「一筆資料的 feature 排成一列」。 一台車的重量、馬力、年份,就是一個 3 維 vector。3Blue1Brown 用箭頭畫 vector,但在 ML 裡更常把它當成一串數字;兩種看法都要能切換。
- Matrix 是一個轉換,不只是一張表。 第 3 章的重點是:matrix 乘上 vector,等於把空間做一次線性轉換。之後看到 neural network 的一層
Linear,就是「拿一個 matrix 轉換輸入」。 - Dot product 就是加權總和。
w · x = w1*x1 + w2*x2 + ...。Day 3 的 linear regression 預測值就是 feature vector 和 weight vector 的 dot product 再加上 bias。 - **NumPy 的
*是逐元素相乘,不是 matrix 乘法。** absolute basics 頁面的*都是 element-wise;matrix 乘法要用@(或np.dot)。這是新手最常算錯的地方。
書面產出
在 phase01/D02-DOT.md 手算下面這組資料(紙筆或計算機):
- 一筆資料 x = (1.5, 3.0, 2.0),weight w = (0.2, -0.5, 1.0),bias b = 0.1
- 一整批資料 X 有 4 筆,每筆 3 個 feature:
| 第幾筆 | feature 1 | feature 2 | feature 3 |
|---|---|---|---|
| 1 | 1.5 | 3.0 | 2.0 |
| 2 | 0.5 | 1.0 | 4.0 |
| 3 | 2.0 | 2.0 | 2.0 |
| 4 | 3.0 | 0.0 | 1.0 |
- 用「逐項相乘再相加」算出
w · x + b,寫出每一項。 - 算出
X @ w + b的 4 個數字,並寫一句話說明每個數字代表什麼(提示:第 1 個數字應該跟第 1 題的答案一樣)。 - 寫出
X * w(NumPy 的逐元素相乘加上 broadcasting)的結果 shape,並說明它跟X @ w差在哪裡:哪一個少做了「加起來」那一步? - 畫一張圖:左邊是 4×3 的 X,中間是 3 維的 w,右邊是 4 個預測值,用箭頭標出「X 的第 2 列 和 w 做 dot product → 第 2 個預測值」。
過關標準
- 能回答:為什麼一整批資料的預測可以用一次 matrix 乘法算完?跟一筆一筆做 dot product 比,結果有沒有不同?
- 能回答:一個 3×3 matrix 乘上一個 3 維 vector,用第 3 章的說法是在做什麼?
- 產出:
D02-DOT.md,有第 1 題的逐項算式、第 2 題的 4 個數字與說明、第 3 題「逐元素相乘」少做了哪一步的說明、第 4 題的圖
Day 3 — Linear regression 與 loss
今天要回答的問題
Linear regression 的 model 長什麼樣子?「這條線好不好」要怎麼用一個數字衡量?
主教材(Core)
- Machine Learning Crash Course — Linear regression,預估 10 分鐘
- Linear regression: Loss,預估 10 分鐘
- Linear regression: Parameters exercise(拖拉 Weight 與 Bias,找出 MSE 最小的線),預估 5 分鐘
- 書面產出,預估 50 分鐘
搭配(Companion,選讀)
- Google Introduction to Machine Learning — Supervised Learning 的「Training」段,回頭對照 loss 在 training 裡的角色
讀的時候抓這幾個重點
- Weight 和 bias 就是 parameter。
y' = b + w1*x1:w1、b是 training 要找的數字,也就是 Day 1 說的「model 那組數字」。Featurex1是輸入,不是 parameter。 - Loss 衡量的是預測跟 label 差多遠,跟方向無關。 頁面介紹 L1、L2、MAE、MSE、RMSE。差別在怎麼處理「差距」:取絕對值或取平方,再看要不要平均。
- MSE 會被 outlier 拉走,MAE 比較不會。 平方會放大大誤差,所以 MSE 對 outlier 很敏感。選哪個 loss 會改變「最好的那條線」長什麼樣子,不是無關緊要的細節。
- Parameters exercise 就是手動版的 training。 你拖 slider 找最小 MSE 的過程,就是 Day 4 gradient descent 要自動化的事。
書面產出
在 phase01/D03-LOSS.md 寫三樣東西:
- Parameters exercise 的紀錄。 在練習頁拖 slider,記下至少 4 組你試過的 (Weight, Bias),每組寫一句「這條線跟資料點比起來偏高、偏低還是太斜」(練習頁有顯示 MSE 的話一併記下)。頁面答案說這份資料最佳的 linear model MSE 是 3.37,對照你最後一組離它多遠。寫一句話:你是怎麼決定下一步往哪個方向拖的?
- 手算 MAE 與 MSE。 一個 model 對 4 筆資料的預測是 (3, 5, 7, 9)。分兩種情況,各算出每筆的誤差、MAE、MSE:
| 情況 | Label | 每筆誤差(預測 − label) | MAE | MSE |
|---|---|---|---|---|
| A:正常 | (3, 6, 7, 9) | |||
| B:最後一筆是 outlier | (3, 6, 7, 29) |
- 影響倍數。 從 A 到 B,MAE 變成幾倍?MSE 變成幾倍?用「取絕對值 vs 取平方」解釋為什麼倍數差這麼多,並寫一句:如果資料裡常有登錄錯誤的極端值,你會選哪一個當 loss,為什麼?
過關標準
- 能回答:weight、bias、feature、label 在
y' = b + w1*x1裡各是哪一個?哪些是 parameter? - 能回答:為什麼加入一個 outlier 後,MSE 的變化比 MAE 大很多?
- 產出:
D03-LOSS.md,有至少 4 組 slider 紀錄、A / B 兩列填完的表(每筆誤差、MAE、MSE),以及兩個倍數與解釋
Day 4 — Gradient descent 與 hyperparameter
今天要回答的問題
Gradient descent 怎麼自動找到 loss 最小的 weight 和 bias?Learning rate 太大或太小會發生什麼事?
主教材(Core)
- Machine Learning Crash Course — Linear regression: Gradient descent,預估 10 分鐘
- Linear regression: Hyperparameters,預估 10 分鐘
- Linear regression: Gradient descent exercise(learning rate 0.03、約 1.10e-5、1 三種設定),預估 5 分鐘
- 書面產出,預估 70 分鐘
搭配(Companion,選讀)
- Linear regression: Programming exercise — 在 Colab 用 Keras 建 linear regression 的程式練習。這條課程線不要求執行程式;想看「框架版」長什麼樣子,讀一遍程式碼就好
讀的時候抓這幾個重點
- Gradient descent 是一個重複四步的迴圈。 算目前的 loss → 找出往哪個方向調 weight 和 bias 能降低 loss → 往那個方向走一小步 → 重複,直到 loss 降不下去。「方向」就是 gradient(loss 對每個 parameter 的斜率)。
- Converge 是「再多跑也不會明顯變好」,不是 loss 變成 0。 收斂後 loss 仍會小幅波動。頁面也提到 linear model 的 loss surface 是 convex,所以收斂時就是最低點附近;之後的 neural network 沒有這個保證。
- Learning rate 是你設的,weight 是學出來的。 這就是 hyperparameter 和 parameter 的差別。Learning rate 太小,要跑很多次才收斂;太大,loss 會來回跳甚至越來越大,永遠不收斂。
- Loss curve 是判斷訓練狀況的第一個工具。 正常的曲線一開始陡降、之後趨緩變平。Day 8 會再看到 loss curve 出問題的幾種樣子。
書面產出
在 phase01/D04-GD.md 寫三樣東西:
- Gradient descent exercise 的紀錄。 練習頁的三種 learning rate 各記一行:按 Start 之後線和 MSE 怎麼變(很快穩定下來/一直在慢慢變/劇烈跳動)、最後的 MSE 大約多少、你判斷有沒有收斂。
- 手算兩步 gradient descent。 資料只有兩筆:(x=1, y=2)、(x=2, y=4)。Model 是
y' = w*x + b,從 w = 0、b = 0 開始,loss 用 MSE。MSE 對 w、b 的 gradient 公式直接給你(推導不是今天的重點):
- gradient_w = 2 × 平均(誤差 × x)
- gradient_b = 2 × 平均(誤差)
- 誤差 = 預測 − label;更新:w ← w − lr × gradient_w,b ← b − lr × gradient_b
分別用 lr = 0.1 和 lr = 1.0 各算兩步,填這張表(每個 lr 三列:第 0、1、2 步開始時的狀態):
| lr | 第幾步 | w | b | 兩筆預測 | 兩筆誤差 | MSE | gradient_w | gradient_b |
|---|---|---|---|---|---|---|---|---|
| 0.1 | 0 | 0 | 0 | (0, 0) | (−2, −4) | 10 | −10 | −6 |
| 0.1 | 1 | |||||||
| 0.1 | 2 | |||||||
| 1.0 | 0 | 0 | 0 | (0, 0) | (−2, −4) | 10 | −10 | −6 |
| 1.0 | 1 | |||||||
| 1.0 | 2 |
算完寫兩句話:lr = 0.1 時 MSE 怎麼變?lr = 1.0 時又怎麼變?w 的正負號發生了什麼事?
- 讀實測數據表。 下表是教材作者實測的結果:50 筆資料,真正的關係是 y = 3x + 2 再加上雜訊,w、b 從 0 開始跑 2000 步 gradient descent。這份資料上 MSE 最小的解(用公式直接算出來的最佳解)是 w ≈ 3.0785、b ≈ 1.6362。
| learning rate | 第 1 步 MSE | 第 10 步 MSE | 第 100 步 MSE | 第 2000 步 MSE | 最後的 w | 最後的 b |
|---|---|---|---|---|---|---|
| 0.0001 | 401.5 | 351.6 | 94.1 | 2.498 | 3.233 | 0.577 |
| 0.01 | 401.5 | 2.526 | 2.362 | 2.235 | 3.0785 | 1.636 |
| 0.05 | 401.5 | 約 2.35 × 10¹⁰ | 約 1.19 × 10⁸⁸ | 無法表示(約第 354 步起變成 inf / nan) | nan | nan |
對每一列寫一句判斷(收斂/還沒收斂/發散),並回答:lr = 0.01 找到的 w、b 為什麼不是剛好 3 和 2?lr = 0.0001 的 w 已經超過 3,為什麼還說它沒收斂(提示:看 b)?
過關標準
- 能回答:gradient descent 每一步用 gradient 做了什麼?看到一條 loss 越跑越大的紀錄(像手算的 lr = 1.0,或實測數據表的 0.05 那列),你第一個懷疑什麼?
- 能回答:learning rate 是 parameter 還是 hyperparameter?為什麼?
- 產出:
D04-GD.md,有練習頁三種 learning rate 的紀錄、手算表 lr = 0.1 與 lr = 1.0 各兩步填完,以及實測數據表三列各自的判斷與兩題回答
Day 5 — PyTorch 的 training loop:tensor、autograd、optimizer
今天要回答的問題
PyTorch 幫你省掉了 Day 4 的哪一段?Training loop 和 inference 在程式碼裡怎麼區分?
主教材(Core)
讀這三頁的文字說明與範例程式碼,看懂每一行在做什麼就好,不用執行:
- PyTorch Learn the Basics — Tensors(Initializing a Tensor、Attributes of a Tensor、Operations on Tensors、Bridge with NumPy),預估 20 分鐘
- Automatic Differentiation with torch.autograd(Computing Gradients、Disabling Gradient Tracking 兩節),預估 15 分鐘
- Optimizing Model Parameters(Hyperparameters、Optimization Loop 兩節;Prerequisite Code 的 FashionMNIST 部分先略過),預估 20 分鐘
- 書面產出,預估 50 分鐘
搭配(Companion,選讀)
- Automatic Differentiation with torch.autograd 的「Tensors, Functions and Computational graph」— 想知道 autograd 怎麼記住每一步運算時看
讀的時候抓這幾個重點
- Tensor 是能跑在 GPU 上、能算 gradient 的 NumPy array。 Tensors 頁面說 tensor 跟 NumPy array 很像,差別是可以放到 GPU 等 accelerator 上,而且預設建在 CPU。兩者可以互轉(Bridge with NumPy)。
- Autograd 取代的是 Day 4 手算的 gradient 公式。 對需要學的 tensor 設
requires_grad=True,算出 loss 後呼叫loss.backward(),gradient 就出現在.grad。你不用再自己推導 d(MSE)/dw。 - **Optimizer 取代的是「w -= lr * grad」那一步。** Optimization Loop 一節的三步是:
optimizer.zero_grad()→loss.backward()→optimizer.step()。忘了zero_grad(),gradient 會累加,是很常見的 bug。 torch.no_grad()是 inference 的標記。 Autograd 頁面說,模型訓練完只需要往前算的時候,用torch.no_grad()停止追蹤 gradient,也比較快。這就是程式碼層面上「training vs inference」的分界之一。
書面產出
在 phase01/D05-LOOP.md 寫三樣東西:
- 對照表。 把 Day 4 手算的每一個動作,對到用框架之後由誰負責:還是你自己要寫,或是框架自動做掉了?框架裡負責的角色寫成 model、loss function、autograd、optimizer 其中之一,不用寫出函式名稱:
| Day 4 手算的動作 | 用框架之後:自己寫,還是框架自動做 | 框架裡負責的角色 | 你在頁面哪一節看到的 |
|---|---|---|---|
| 用 w、b 算出兩筆預測 | |||
| 算 MSE | |||
| 用公式算 gradient_w、gradient_b | |||
| w ← w − lr × gradient_w | |||
| 下一步開始前,把上一步的 gradient 清掉 | |||
| 訓練完,拿新的 x 做預測、不再算 gradient |
- 忘了
zero_grad()會怎樣(手算)。 PyTorch 的.grad預設會把每次backward()的結果加上去,而不是覆蓋。沿用 Day 4 lr = 0.1 的手算:第 0 步的 gradient 是 (−10, −6),第 1 步「真正的」gradient 是你在 Day 4 表裡算出的那一列。如果第 1 步之前沒有清掉 gradient,optimizer.step()用到的 gradient 會是多少?更新後的 w、b 是多少?跟 Day 4 正確的第 1 步更新結果差多少? - Inference 比 training 少做了什麼。 從今天讀的頁面(Disabling Gradient Tracking 與 Optimization Loop 兩節),整理出 inference 比 training 少做的事(至少兩件),各寫一句:少做這件事省下了什麼。
過關標準
- 能回答:一步 training 由哪幾個動作組成?框架幫你自動做掉了 Day 4 手算的哪幾段?
- 能回答:inference 為什麼不需要追蹤 gradient?少做這件事帶來什麼好處?
- 產出:
D05-LOOP.md,有六列填完的對照表、沒清掉上一步 gradient 時的 gradient 與更新後 w、b 的手算,以及 inference 比 training 少做哪幾件事的說明
Day 6 — Logistic regression:從數字到機率
今天要回答的問題
要回答「是 / 不是」的問題時,為什麼 linear regression 不夠用?Sigmoid 和 log loss 補上了什麼?
主教材(Core)
- Machine Learning Crash Course — Logistic Regression,預估 5 分鐘
- Logistic regression: Calculating a probability with the sigmoid function,預估 10 分鐘
- Logistic regression: Loss and regularization,預估 10 分鐘
- 書面產出,預估 60 分鐘
搭配(Companion,選讀)
- Logistic regression 的 Test your knowledge,10 分鐘,自我檢查用
讀的時候抓這幾個重點
- Logistic regression = linear 的部分 + sigmoid。 先照 linear regression 算出
z = b + w1*x1 + ...(頁面把 z 叫 log-odds),再用 sigmoid1 / (1 + e^(-z))壓到 0 到 1 之間,當成機率。z 可以是任何大小,輸出永遠在 0 和 1 之間。 - Classification 的 loss 用 log loss,不用 MSE。 頁面的理由是 sigmoid 輸出的變化率不固定,squared loss 不適合;log loss 對「很有把握卻答錯」懲罰很重。
- Regularization 在這裡幾乎是必須的。 頁面提醒,沒有 regularization 時,logistic regression 會一直把 loss 往 0 推、weight 越長越大,特別是 feature 很多的時候。常見做法是 L2 regularization 或 early stopping。
- 輸出的是機率,不是類別。 要變成「是 / 不是」還需要一個 threshold,那是 Day 7 的主題。
書面產出
在 phase01/D06-LOGISTIC.md 寫三樣東西(計算機需要有 e^x 或 ln 鍵):
- Sigmoid 手算。 算出 z = −10、−2、0、2、10 時 sigmoid 的值(取到小數點後 4 位,很接近 0 或 1 的可以寫科學記號),並對照 sigmoid 頁面上的例子。寫一句話:z 從 2 變成 10,機率多了多少?z 從 0 變成 2 呢?這說明 sigmoid 在哪一段「變平」?
- Log loss vs squared loss 對照表。 一筆資料的真正 label 是 1,model 給的機率是 p。對同一筆資料,log loss 是 −ln(p),squared loss 是 (1 − p)²:
| model 給的機率 p | 這個預測算是 | log loss = −ln(p) | squared loss = (1 − p)² |
|---|---|---|---|
| 0.9 | 有把握且答對 | ||
| 0.5 | 不確定 | ||
| 0.1 | 有把握但答錯 | ||
| 0.01 | 非常有把握但答錯 |
- 一句話結論。 從表裡指出:p 從 0.1 降到 0.01 時,兩種 loss 各增加多少?squared loss 最大只會到多少?用這兩個觀察解釋頁面說的「log loss 對很有把握卻答錯懲罰很重」。
過關標準
- 能回答:logistic regression 的輸出為什麼一定在 0 和 1 之間?z 是什麼?
- 能回答:為什麼 classification 用 log loss,不用 MSE?
- 產出:
D06-LOGISTIC.md,有五個 z 的 sigmoid 值、四列填完的 loss 對照表,以及兩種 loss 的增加量與上限說明
Day 7 — Classification 的評估:threshold、confusion matrix、precision / recall
今天要回答的問題
把機率變成類別時,threshold 設多少要看什麼?為什麼 accuracy 99% 的 model 可能毫無用處?
主教材(Core)
- Machine Learning Crash Course — Thresholds and the confusion matrix,預估 12 分鐘
- Classification: Accuracy, recall, precision, and related metrics,預估 15 分鐘
- 書面產出,預估 60 分鐘
搭配(Companion,選讀)
- Classification: ROC and AUC,10 分鐘:把「所有 threshold 下的表現」畫成一條曲線
讀的時候抓這幾個重點
- Threshold 把機率切成類別,0.5 不一定是對的。 頁面特別提醒,兩種錯誤代價不同或類別不平衡時,0.5 不是合理的預設。
- Confusion matrix 的四格要用具體例子記。 以垃圾信為例:TP 是垃圾信被擋下,FP 是正常信被誤擋,FN 是垃圾信漏進來,TN 是正常信正常收到。先想清楚「誤擋正常信」和「漏掉垃圾信」哪個比較糟。
- Accuracy 在類別不平衡時會騙人。 頁面的例子:positive 只佔 1% 時,永遠猜 negative 的 model 有 99% accuracy,但完全沒用。
- Precision 和 recall 通常此消彼長。 提高 threshold 會減少 FP(precision 上升),但 FN 變多(recall 下降)。選 threshold 就是在選要犧牲哪一邊。
書面產出
在 phase01/D07-METRICS.md 寫三樣東西:
- 手算三個 threshold 的指標。 一個垃圾信 model 對 10 封信給出的機率如下(label 1 = 垃圾信):
| 信 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
|---|---|---|---|---|---|---|---|---|---|---|
| label | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 | 0 |
| model 給的機率 | 0.95 | 0.85 | 0.65 | 0.40 | 0.25 | 0.70 | 0.45 | 0.35 | 0.15 | 0.05 |
機率 ≥ threshold 就判成垃圾信。threshold = 0.5 那列已經算好當範例,另外兩列自己算:
| threshold | TP | FP | FN | TN | accuracy | precision | recall |
|---|---|---|---|---|---|---|---|
| 0.3 | |||||||
| 0.5 | 3 | 1 | 2 | 4 | 0.7 | 0.75 | 0.6 |
| 0.8 |
- 讀表。 threshold 從 0.3 → 0.5 → 0.8,precision 和 recall 各往哪個方向走?哪幾封信在 threshold 改變時從一格跑到另一格?如果你是信箱服務商,「誤擋客戶的正常信」比「漏一封垃圾信」嚴重得多,你會選哪個 threshold,為什麼?
- 不平衡的情境。 1000 封信裡只有 10 封是垃圾信,一個「永遠判成正常信」的 model:寫出它的 TP、FP、FN、TN,算出 accuracy 和 recall,並用一句話說明為什麼 accuracy 好看卻沒有用。
過關標準
- 能回答:threshold 從 0.5 調到 0.9,FP、FN、precision、recall 各往哪個方向變?為什麼?
- 能回答:舉一個「寧可 FP 多也不要 FN」的實際情境,並說明 threshold 該調高還是調低
- 產出:
D07-METRICS.md,有 threshold 0.3 與 0.8 兩列填完的指標表、讀表的三個回答,以及不平衡情境的四格數字、accuracy 與 recall
Day 8 — 資料切分、generalization 與 overfitting
今天要回答的問題
為什麼 training loss 很低的 model 可能是壞 model?要怎麼從 loss curve 看出 overfitting?
主教材(Core)
- Machine Learning Crash Course — Datasets: Dividing the original dataset,預估 10 分鐘
- Generalization(頁面主要內容是一段影片),預估 5 分鐘
- Overfitting,預估 10 分鐘
- Overfitting: Model complexity,預估 10 分鐘
- Overfitting: Interpreting loss curves,預估 10 分鐘
- 書面產出,預估 60 分鐘
搭配(Companion,選讀)
- Datasets, generalization, and overfitting module 的其他頁(Data characteristics、Labels、Imbalanced datasets 等),整個 module 共 105 分鐘,今天只取上面五頁
讀的時候抓這幾個重點
- Training / validation / test 三份資料各有用途。 Model 從 training set 學;訓練中用 validation set 調整;最後才用 test set 確認。頁面提醒,一直依照 test set 的結果調 model,model 會開始貼合 test set 的特性,test 結果就不再可信。
- Overfitting 是把 training set 背起來。 在 training data 上表現很好,在新資料上很差。偵測方法是看 training 和 validation 兩條 loss curve:一開始相近,後來 training loss 繼續降或持平,validation loss 卻往上走。
- 越複雜的 model 越容易 overfit。 Model complexity 頁面引用 Occam's razor:簡單的 model 常常對新資料預測得比較好。Regularization 就是把「複雜度」也加進要最小化的目標裡。
- Loss curve 出問題有幾種固定樣子。 來回震盪、突然暴衝、validation 跟 training 分岔、收斂後出現規律的方波。今天先把它們記成「症狀清單」,之後讀到 neural network 的訓練會用到。
書面產出
在 phase01/D08-OVERFIT.md 寫三樣東西:
- 讀實測數據表。 教材作者用 40 筆資料(y = sin(3x) 加上雜訊)實測:用不同 degree 的多項式當 model,分成「只給 15 筆 training data」和「給 28 筆 training data」兩種,剩下的當 validation(分別是 25 筆和 12 筆)。Degree 越高,model 的 parameter 越多(degree d 有 d + 1 個係數)。
| training 筆數 | degree | parameter 數 | train MSE | validation MSE |
|---|---|---|---|---|
| 15 | 1 | 2 | 0.2733 | 0.3039 |
| 15 | 3 | 4 | 0.0406 | 0.0557 |
| 15 | 9 | 10 | 0.0365 | 0.0747 |
| 15 | 14 | 15 | 約 0(1.8 × 10⁻²⁰) | 約 2,837,375 |
| 28 | 1 | 2 | 0.2752 | 0.2906 |
| 28 | 3 | 4 | 0.0397 | 0.0288 |
| 28 | 9 | 10 | 0.0363 | 0.0400 |
| 28 | 14 | 15 | 0.0356 | 0.0336 |
回答:(a) 15 筆時,你判斷從哪個 degree 開始 overfit?根據哪兩欄?(b) 15 筆、degree 14 的 train MSE 為什麼幾乎是 0(提示:15 個點、15 個係數)?(c) 同樣是 degree 14,training data 變成 28 筆後 validation MSE 怎麼變?這說明「資料量」和「model 複雜度」之間是什麼關係?(d) 28 筆時 validation 只剩 12 筆,degree 3 / 9 / 14 的 validation MSE 差距很小,你會因此下結論說 degree 14 最好嗎?為什麼?
- 畫圖。 把 15 筆那四列畫成「degree(橫軸)vs train / validation MSE(縱軸)」兩條線。validation 的數字差距非常大,縱軸用 log scale(每一格是 10 倍),手畫或用試算表畫都可以。在圖上標出你判斷開始 overfit 的位置。
- Loss curve 症狀表。 依 Interpreting loss curves 頁面,把它的四個 Exercise 列出的問題曲線各填一列(原因與處理多半寫在每題的答案說明裡;頁面沒給處理方式的,填「頁面未給」並寫下你自己的推測):
| 症狀(曲線長什麼樣子) | 頁面說的可能原因 | 頁面建議的處理 |
|---|---|---|
過關標準
- 能回答:為什麼不能只看 training loss 判斷 model 好不好?
- 能回答:validation set 和 test set 的差別是什麼?為什麼不能一直拿 test set 調 model?
- 產出:
D08-OVERFIT.md,有實測數據表四題的回答、15 筆版本的 degree vs MSE 圖(標出開始 overfit 的位置),以及 loss curve 症狀表(頁面列的每一種症狀各一列)
Day 9 — Neural network:為什麼要 hidden layer 與 activation function
今天要回答的問題
Neural network 比 logistic regression 多了什麼,讓它能分開「一圈包一圈」的資料?
主教材(Core)
- Machine Learning Crash Course — Neural networks,預估 5 分鐘
- Neural networks: Nodes and hidden layers,預估 15 分鐘
- Neural networks: Activation functions,預估 10 分鐘
- Neural Networks: Training using backpropagation,預估 10 分鐘
- 3Blue1Brown Neural Networks 第 1 章 — But what is a Neural Network?,預估 20 分鐘
- 第 2 章 — Gradient descent, how neural networks learn,預估 20 分鐘
- 書面產出,預估 40 分鐘
搭配(Companion,選讀)
- 3Blue1Brown 第 4 章 — What is backpropagation really doing?:想看 backpropagation 的直覺圖解時看
- Neural networks: Interactive exercises,15 分鐘,在瀏覽器裡調 hidden layer 數量看效果
讀的時候抓這幾個重點
- 問題的起點是非線性資料。 Neural networks module 的開頭是:一圈藍點被一圈橘點包住,直線分不開。手動加 feature cross 可以解,但要一直試;neural network 的價值是在訓練中自己學出有用的組合。
- 只疊 linear layer 沒有用。 Nodes and hidden layers 頁面說:線性運算的結果再做線性運算,還是線性的。所以多加幾層
Linear不會讓 model 變得能處理非線性資料。 - Activation function 才是非線性的來源。 頁面介紹 sigmoid、tanh、ReLU。ReLU 最簡單:負數變 0,正數不變。3Blue1Brown 第 1 章的補充也提到現在多用 ReLU,因為 sigmoid 在兩端變平,訓練會變慢。
- Weight 和 bias 的數量會很快變多。 3Blue1Brown 第 1 章那個辨識手寫數字的小網路就有 13,002 個 weight 和 bias。這就是 Day 1「model 是一組數字」的放大版。
- Backpropagation 是「用 gradient descent 訓練多層網路」的算法。 頁面列出三種常見問題:vanishing gradients、exploding gradients、dead ReLU。現在知道名字和症狀就好。
書面產出
在 phase01/D09-NN.md 寫四樣東西:
- 讀實測結果。 教材作者用「圈中圈」資料實測:內圈 300 個點(半徑 0–1,label 1)、外圈 300 個點(半徑 2–3,label 0)。只用 logistic regression(一層 linear + sigmoid)訓練 500 步,最後 log loss 約 0.692、accuracy 約 0.55。說明為什麼 accuracy 只比 0.5 好一點點(提示:logistic regression 的分界線是什麼形狀?畫一條直線切過圈中圈,兩邊各有哪些點?)。另外,log loss 0.692 很接近 −ln(0.5) ≈ 0.693,這代表 model 對每個點給的機率大概是多少?
- 手算 parameter 數量。 一層
Linear(a, b)有 a × b 個 weight 和 b 個 bias。算出:-Linear(2, 3)接 ReLU 接Linear(3, 1)總共幾個 parameter(ReLU 本身沒有 parameter)- 3Blue1Brown 第 1 章那個網路:784 個輸入 → 16 → 16 → 10,總共幾個 parameter,對照影片說的 13,002 兩題都要寫出每一層的算式。 - 畫網路圖。 畫出
Linear(2, 3) → ReLU → Linear(3, 1) → sigmoid這個網路:2 個輸入、3 個 hidden node、1 個輸出,每條連線代表一個 weight,在每個 hidden node 標出「先算加權總和、再過 ReLU」。在圖旁邊寫一句:如果把 ReLU 拿掉,整個網路等於哪一種 Day 6 學過的 model? - ReLU 的作用。 用 ReLU 的定義(負數變 0、正數不變),說明為什麼幾個 ReLU node 組合起來可以畫出「轉彎」的邊界,而不是只有一條直線。有做 Interactive exercises 的 Exercise 2(調整網路把橘點和藍點分開)的話,記下你最後用的 hidden layer 數、每層 node 數、activation,以及 training / test loss 有沒有降到頁面要求的 0.2 以下。
過關標準
- 能回答:為什麼沒有 activation function 時,疊再多層也只是一個 linear model?
- 能回答:ReLU 做了什麼?為什麼它讓網路能畫出彎曲的邊界?
- 產出:
D09-NN.md,有實測結果的解釋(accuracy 為什麼接近 0.5、log loss 0.692 代表什麼)、兩個網路的 parameter 數量逐層算式、網路圖,以及 ReLU 的說明
Day 10 — 小型 neural network、GPU、從 training 到 inference
今天要回答的問題
把這 10 天串起來:一個 model 從訓練到拿來預測,中間經過哪些步驟?GPU 在哪一步、為什麼有用?
主教材(Core)
- PyTorch Learn the Basics — Build the Neural Network(Get Device for Training、Define the Class、Model Layers、Model Parameters;讀懂程式碼就好,不用執行),預估 20 分鐘
- Save and Load the Model(Saving and Loading Model Weights,特別是
model.eval()的說明),預估 10 分鐘 - NVIDIA Blog — What's the Difference Between a CPU and a GPU?,預估 10 分鐘
- 書面產出,預估 70 分鐘
搭配(Companion,選讀)
- PyTorch Tensors 的「Operations on Tensors」開頭:用
.to()把 tensor 搬到 accelerator 的寫法,以及「跨裝置複製大 tensor 很花時間和記憶體」的提醒
讀的時候抓這幾個重點
nn.Module把 Day 5–9 的零件包起來。 Build the Neural Network 用nn.Linear、nn.ReLU、nn.Sequential組出網路,model.parameters()列出所有要學的 weight 和 bias。這就是 Day 9 手算 parameter 數量的程式版本。- Device 要明確指定。 教學裡用
torch.accelerator.is_available()判斷有沒有 GPU 等 accelerator,沒有就用 CPU。Model 和資料要在同一個 device 上才能一起算。 - GPU 有用,是因為 ML 的運算是大量相同的 matrix 運算。 NVIDIA 那篇的說法:GPU 有數百個核心,能同時處理數千個 thread,把問題拆成大量小任務一起算;deep learning 正是把大量資料灌進 neural network。對照 Day 2:一整批資料的預測就是一次
X @ W。 - Inference 前要
model.eval(),計算時包torch.no_grad()。 Save and Load 頁面提醒,沒呼叫model.eval()會讓 dropout、batch normalization 這類層的行為跟 inference 該有的不同,結果不一致。Training 會更新 weight;inference 是載入固定的 weight、只往前算。
書面產出
在 phase01/D10-SUMMARY.md 寫四樣東西:
- 讀實測結果:小網路解開圈中圈。 教材作者用 Day 9 同一份圈中圈資料,訓練
Linear(2, 16) → ReLU → Linear(16, 1)的小網路 2000 步,存檔、重新載入、呼叫model.eval()後在torch.no_grad()裡做 inference:
| 項目 | 實測值 |
|---|---|
| parameter 數量 | 65 |
| 最後的 log loss | 約 0.0055 |
| accuracy(同一份 600 個點) | 1.0 |
| 新點 (0.0, 0.5) 是內圈的機率 | 約 0.998 |
| 新點 (2.5, 0.0) 是內圈的機率 | 約 0.00036 |
用 Day 9 的方法手算 65 是怎麼來的(逐層算式);對照 Day 9 logistic regression 的 0.55,寫一句話說明差別來自哪裡;兩個新點各在內圈還是外圈,機率合理嗎?最後指出:accuracy 1.0 是在「訓練用的同一份資料」上量的,依 Day 8 的觀念,這個數字少了什麼才能說明 model 真的好?
- 從 training 到 inference 的流程圖。 畫一張圖,從「有 label 的資料」開始,經過 training loop(標出 Day 5 對照表裡的每一步)、存檔、載入、
model.eval()、torch.no_grad(),到「新資料 → 預測機率 → threshold → 類別」。在圖上標出:哪一段 weight 會變、哪一段不會;GPU 在哪幾段派得上用場。
- 讀實測結果:CPU vs GPU。 教材作者在同一台 Apple Silicon Mac 上,量一次 4096×4096 matrix 乘上 4096×4096 matrix 的平均時間(暖身一次後量 10 次取平均;GPU 是透過 PyTorch 的 MPS 後端用 Mac 內建的 GPU):
| 裝置 | 每次乘法的時間 |
|---|---|
| CPU | 約 0.101 秒 |
| GPU(MPS) | 約 0.028 秒 |
回答:(a) GPU 快了大約幾倍?(b) 一次 4096×4096 的 matrix 乘法裡,輸出有幾個數字?每個數字是幾項乘法的加總(提示:Day 2 的 dot product)?總共大約幾次乘法(寫出算式與數量級)?(c) 用 NVIDIA 那篇文章的說法,解釋為什麼這種工作特別適合 GPU。(d) 這個數字只代表這台機器、這個大小;如果 matrix 很小(例如 Day 9 的 2×3),你預期 GPU 還會比較快嗎?為什麼(提示:Companion 的「跨裝置複製」提醒)?
- 三種 model 總整理表1。 把這 10 天的三段串起來:
| Linear Regression | Classification(Logistic Regression) | Small Neural Network | |
|---|---|---|---|
| 在解決什麼問題 | |||
| 輸出是什麼 | |||
| loss 怎麼定義 | |||
| 參數怎麼被更新 | |||
| 對應哪幾天的書面產出 |
過關標準
以下五題是這個 Phase 的總驗收2,用自己的話寫在 D10-SUMMARY.md,每題 3–5 句,並各自指出這 10 天哪一天的書面產出可以佐證(寫出檔名):
- training 和 inference 到底差在哪?(提示:資料有沒有 label、weight 會不會變、inference 前要先把 model 切到預測模式並停止追蹤 gradient;佐證:Day 1 的資料流圖、Day 5 的對照表、今天的流程圖)
- parameter / weight 是什麼?(提示:用 Day 9 手算的 13 與 13,002、今天的 65 舉例)
- loss 是什麼?(提示:Day 3 的 MSE / MAE、Day 6 的 log loss)
- gradient descent 在做什麼?(提示:Day 4 手算的那兩步,以及 lr = 1.0 為什麼爆掉)
- GPU 為什麼有用?(提示:Day 2 一整批資料的一次 matrix 乘法、今天的乘法次數與 CPU / GPU 時間)
產出:
D10-SUMMARY.md:小網路實測結果的四個回答(含 65 的逐層算式)、training 到 inference 的流程圖、CPU / GPU 四題的回答(含乘法次數算式)、三種 model 總整理表填完- 上面五題的書面回答,每題都寫出佐證的檔名