AI Phase 01 — AI / ML Fundamentals(Day 1–10)

100-Day AI Knowledge Challenge

AI Phase 01 — AI / ML Fundamentals(Day 1–10)

這 10 天建立 ML 的 mental model:model、training、inference 到底是什麼。目標不是學數學,是讓後面的 neural network、embedding、attention 看得懂1。

主線是 Google Machine Learning Crash Course,陌生概念先回 Google Introduction to Machine Learning;線性代數與 neural network 的直覺交給 3Blue1Brown;書面產出照 Linear Regression → Classification → Small Neural Network 三段走2。

這個 Phase 不寫程式。 每天的書面產出是筆記、手算、表格或圖,建議全部放在同一個資料夾 phase01/,Day 10 會用到前 9 天的產出。手算只需要紙筆或計算機;Crash Course 頁面上的互動練習(拖 slider、按按鈕)是在網頁上操作,不算執行程式,有標出來的就做。

有幾天會給一張「實測數據表」,讓你不用自己跑就能看到訓練過程的數字。這些數字是教材作者 2026-10-18 在一台 Apple Silicon Mac 上實測的(NumPy 2.5.4、PyTorch 2.14.1),換一台機器或換一個版本,小數點後面的數字會不同,但趨勢相同。

這個 Phase 沒有跟 Backend 課程重疊的主題(重疊從 AI Phase 03 開始)。

Day 1 — ML 是什麼:model、training、inference

今天要回答的問題

「訓練一個 model」跟「用 model 做預測」各自在做什麼?兩者的輸入差在哪?

主教材(Core)

  • Google Introduction to Machine Learning — What is Machine Learning?(Types of ML Systems、Supervised learning 的 Regression / Classification),預估 10 分鐘
  • Google Introduction to Machine Learning — Supervised Learning(Data、Model、Training、Evaluating、Inference 五段),預估 15 分鐘
  • 書面產出,預估 40 分鐘

搭配(Companion,選讀)

讀的時候抓這幾個重點

  • Feature 和 label 是同一筆資料的兩半。 Feature 是 model 拿來預測的輸入,label 是「正確答案」。Supervised learning 的前提是訓練資料裡兩者都有;到了要預測的時候,手上只有 feature。
  • Model 就是一組數字。 頁面說 model 是一組捕捉 feature 與 label 之間關係的數字,是 training 學出來的。先把「model = 程式碼」的印象換成「model = 程式碼 + 一堆學出來的數字」,後面講 parameter、weight 才接得上。
  • Training 用有 label 的資料,inference 用沒有 label 的資料。 Training 是一直比較「model 的預測」跟「真正的 label」,依差距調整那組數字;inference 是數字固定之後,拿新的 feature 算出預測。最常見的誤會是以為 model 在 inference 時還在學。
  • Regression 預測數字,classification 預測類別。 這兩個詞會貫穿整個 Phase:Day 3–5 講 regression,Day 6–7 講 classification。

書面產出

在 phase01/D01-TERMS.md 寫三樣東西:

  1. 五個詞的定義。 feature、label、model、training、inference,每個用自己的話寫一到兩句,不照抄頁面。
  2. 三個例子的拆解表。 挑三個你生活或工作裡的預測問題(不能用頁面上的例子),至少一個 regression、一個 classification:
要預測什麼Feature(至少 3 個)LabelRegression 還是 classification訓練資料從哪裡來
(例)二手車售價年份、里程、品牌成交價Regression過去的成交紀錄
  1. Training vs inference 的兩條資料流。 畫兩張小圖:training 那張要畫出「有 label 的資料 → model 預測 → 跟 label 比較 → 調整那組數字」的迴圈;inference 那張要畫出「只有 feature 的新資料 → 固定的 model → 預測」。兩張圖要標出哪裡有 label、哪裡的數字會變。

過關標準

  • 能回答:training 和 inference 各需要哪些資料?哪一個需要 label?
  • 能回答:為什麼說 model 是「一組數字」?那組數字是在哪個階段決定的?
  • 產出:D01-TERMS.md,有五個詞的定義、三列填完的例子表(不能用頁面上的例子),以及 training / inference 兩張資料流圖
  1. 依 AI 課程線總綱(curriculum/ai/00-master-curriculum.md)第 6 節「Phase 01 — AI / ML Fundamentals」的目標
  2. 依 AI 課程線總綱第 6 節的主課程、搭配與書面產出安排,以及第 3 節 Principle 1–3

Day 2 — 線性代數直覺:vector、matrix、dot product

今天要回答的問題

為什麼「一筆資料乘上一組 weight 再加起來」可以寫成一個 dot product,而一整批資料可以寫成一次 matrix 乘法?

主教材(Core)

搭配(Companion,選讀)

讀的時候抓這幾個重點

  • Vector 在 ML 裡就是「一筆資料的 feature 排成一列」。 一台車的重量、馬力、年份,就是一個 3 維 vector。3Blue1Brown 用箭頭畫 vector,但在 ML 裡更常把它當成一串數字;兩種看法都要能切換。
  • Matrix 是一個轉換,不只是一張表。 第 3 章的重點是:matrix 乘上 vector,等於把空間做一次線性轉換。之後看到 neural network 的一層 Linear,就是「拿一個 matrix 轉換輸入」。
  • Dot product 就是加權總和。 w · x = w1*x1 + w2*x2 + ...。Day 3 的 linear regression 預測值就是 feature vector 和 weight vector 的 dot product 再加上 bias。
  • **NumPy 的 * 是逐元素相乘,不是 matrix 乘法。** absolute basics 頁面的 * 都是 element-wise;matrix 乘法要用 @(或 np.dot)。這是新手最常算錯的地方。

書面產出

在 phase01/D02-DOT.md 手算下面這組資料(紙筆或計算機):

  • 一筆資料 x = (1.5, 3.0, 2.0),weight w = (0.2, -0.5, 1.0),bias b = 0.1
  • 一整批資料 X 有 4 筆,每筆 3 個 feature:
第幾筆feature 1feature 2feature 3
11.53.02.0
20.51.04.0
32.02.02.0
43.00.01.0
  1. 用「逐項相乘再相加」算出 w · x + b,寫出每一項。
  2. 算出 X @ w + b 的 4 個數字,並寫一句話說明每個數字代表什麼(提示:第 1 個數字應該跟第 1 題的答案一樣)。
  3. 寫出 X * w(NumPy 的逐元素相乘加上 broadcasting)的結果 shape,並說明它跟 X @ w 差在哪裡:哪一個少做了「加起來」那一步?
  4. 畫一張圖:左邊是 4×3 的 X,中間是 3 維的 w,右邊是 4 個預測值,用箭頭標出「X 的第 2 列 和 w 做 dot product → 第 2 個預測值」。

過關標準

  • 能回答:為什麼一整批資料的預測可以用一次 matrix 乘法算完?跟一筆一筆做 dot product 比,結果有沒有不同?
  • 能回答:一個 3×3 matrix 乘上一個 3 維 vector,用第 3 章的說法是在做什麼?
  • 產出:D02-DOT.md,有第 1 題的逐項算式、第 2 題的 4 個數字與說明、第 3 題「逐元素相乘」少做了哪一步的說明、第 4 題的圖

Day 3 — Linear regression 與 loss

今天要回答的問題

Linear regression 的 model 長什麼樣子?「這條線好不好」要怎麼用一個數字衡量?

主教材(Core)

搭配(Companion,選讀)

  • Google Introduction to Machine Learning — Supervised Learning 的「Training」段,回頭對照 loss 在 training 裡的角色

讀的時候抓這幾個重點

  • Weight 和 bias 就是 parameter。 y' = b + w1*x1:w1、b 是 training 要找的數字,也就是 Day 1 說的「model 那組數字」。Feature x1 是輸入,不是 parameter。
  • Loss 衡量的是預測跟 label 差多遠,跟方向無關。 頁面介紹 L1、L2、MAE、MSE、RMSE。差別在怎麼處理「差距」:取絕對值或取平方,再看要不要平均。
  • MSE 會被 outlier 拉走,MAE 比較不會。 平方會放大大誤差,所以 MSE 對 outlier 很敏感。選哪個 loss 會改變「最好的那條線」長什麼樣子,不是無關緊要的細節。
  • Parameters exercise 就是手動版的 training。 你拖 slider 找最小 MSE 的過程,就是 Day 4 gradient descent 要自動化的事。

書面產出

在 phase01/D03-LOSS.md 寫三樣東西:

  1. Parameters exercise 的紀錄。 在練習頁拖 slider,記下至少 4 組你試過的 (Weight, Bias),每組寫一句「這條線跟資料點比起來偏高、偏低還是太斜」(練習頁有顯示 MSE 的話一併記下)。頁面答案說這份資料最佳的 linear model MSE 是 3.37,對照你最後一組離它多遠。寫一句話:你是怎麼決定下一步往哪個方向拖的?
  2. 手算 MAE 與 MSE。 一個 model 對 4 筆資料的預測是 (3, 5, 7, 9)。分兩種情況,各算出每筆的誤差、MAE、MSE:
情況Label每筆誤差(預測 − label)MAEMSE
A:正常(3, 6, 7, 9)
B:最後一筆是 outlier(3, 6, 7, 29)
  1. 影響倍數。 從 A 到 B,MAE 變成幾倍?MSE 變成幾倍?用「取絕對值 vs 取平方」解釋為什麼倍數差這麼多,並寫一句:如果資料裡常有登錄錯誤的極端值,你會選哪一個當 loss,為什麼?

過關標準

  • 能回答:weight、bias、feature、label 在 y' = b + w1*x1 裡各是哪一個?哪些是 parameter?
  • 能回答:為什麼加入一個 outlier 後,MSE 的變化比 MAE 大很多?
  • 產出:D03-LOSS.md,有至少 4 組 slider 紀錄、A / B 兩列填完的表(每筆誤差、MAE、MSE),以及兩個倍數與解釋

Day 4 — Gradient descent 與 hyperparameter

今天要回答的問題

Gradient descent 怎麼自動找到 loss 最小的 weight 和 bias?Learning rate 太大或太小會發生什麼事?

主教材(Core)

搭配(Companion,選讀)

  • Linear regression: Programming exercise — 在 Colab 用 Keras 建 linear regression 的程式練習。這條課程線不要求執行程式;想看「框架版」長什麼樣子,讀一遍程式碼就好

讀的時候抓這幾個重點

  • Gradient descent 是一個重複四步的迴圈。 算目前的 loss → 找出往哪個方向調 weight 和 bias 能降低 loss → 往那個方向走一小步 → 重複,直到 loss 降不下去。「方向」就是 gradient(loss 對每個 parameter 的斜率)。
  • Converge 是「再多跑也不會明顯變好」,不是 loss 變成 0。 收斂後 loss 仍會小幅波動。頁面也提到 linear model 的 loss surface 是 convex,所以收斂時就是最低點附近;之後的 neural network 沒有這個保證。
  • Learning rate 是你設的,weight 是學出來的。 這就是 hyperparameter 和 parameter 的差別。Learning rate 太小,要跑很多次才收斂;太大,loss 會來回跳甚至越來越大,永遠不收斂。
  • Loss curve 是判斷訓練狀況的第一個工具。 正常的曲線一開始陡降、之後趨緩變平。Day 8 會再看到 loss curve 出問題的幾種樣子。

書面產出

在 phase01/D04-GD.md 寫三樣東西:

  1. Gradient descent exercise 的紀錄。 練習頁的三種 learning rate 各記一行:按 Start 之後線和 MSE 怎麼變(很快穩定下來/一直在慢慢變/劇烈跳動)、最後的 MSE 大約多少、你判斷有沒有收斂。
  1. 手算兩步 gradient descent。 資料只有兩筆:(x=1, y=2)、(x=2, y=4)。Model 是 y' = w*x + b,從 w = 0、b = 0 開始,loss 用 MSE。MSE 對 w、b 的 gradient 公式直接給你(推導不是今天的重點):
  • gradient_w = 2 × 平均(誤差 × x)
  • gradient_b = 2 × 平均(誤差)
  • 誤差 = 預測 − label;更新:w ← w − lr × gradient_w,b ← b − lr × gradient_b

分別用 lr = 0.1 和 lr = 1.0 各算兩步,填這張表(每個 lr 三列:第 0、1、2 步開始時的狀態):

lr第幾步wb兩筆預測兩筆誤差MSEgradient_wgradient_b
0.1000(0, 0)(−2, −4)10−10−6
0.11
0.12
1.0000(0, 0)(−2, −4)10−10−6
1.01
1.02

算完寫兩句話:lr = 0.1 時 MSE 怎麼變?lr = 1.0 時又怎麼變?w 的正負號發生了什麼事?

  1. 讀實測數據表。 下表是教材作者實測的結果:50 筆資料,真正的關係是 y = 3x + 2 再加上雜訊,w、b 從 0 開始跑 2000 步 gradient descent。這份資料上 MSE 最小的解(用公式直接算出來的最佳解)是 w ≈ 3.0785、b ≈ 1.6362。
learning rate第 1 步 MSE第 10 步 MSE第 100 步 MSE第 2000 步 MSE最後的 w最後的 b
0.0001401.5351.694.12.4983.2330.577
0.01401.52.5262.3622.2353.07851.636
0.05401.5約 2.35 × 10¹⁰約 1.19 × 10⁸⁸無法表示(約第 354 步起變成 inf / nan)nannan

對每一列寫一句判斷(收斂/還沒收斂/發散),並回答:lr = 0.01 找到的 w、b 為什麼不是剛好 3 和 2?lr = 0.0001 的 w 已經超過 3,為什麼還說它沒收斂(提示:看 b)?

過關標準

  • 能回答:gradient descent 每一步用 gradient 做了什麼?看到一條 loss 越跑越大的紀錄(像手算的 lr = 1.0,或實測數據表的 0.05 那列),你第一個懷疑什麼?
  • 能回答:learning rate 是 parameter 還是 hyperparameter?為什麼?
  • 產出:D04-GD.md,有練習頁三種 learning rate 的紀錄、手算表 lr = 0.1 與 lr = 1.0 各兩步填完,以及實測數據表三列各自的判斷與兩題回答

Day 5 — PyTorch 的 training loop:tensor、autograd、optimizer

今天要回答的問題

PyTorch 幫你省掉了 Day 4 的哪一段?Training loop 和 inference 在程式碼裡怎麼區分?

主教材(Core)

讀這三頁的文字說明與範例程式碼,看懂每一行在做什麼就好,不用執行:

  • PyTorch Learn the Basics — Tensors(Initializing a Tensor、Attributes of a Tensor、Operations on Tensors、Bridge with NumPy),預估 20 分鐘
  • Automatic Differentiation with torch.autograd(Computing Gradients、Disabling Gradient Tracking 兩節),預估 15 分鐘
  • Optimizing Model Parameters(Hyperparameters、Optimization Loop 兩節;Prerequisite Code 的 FashionMNIST 部分先略過),預估 20 分鐘
  • 書面產出,預估 50 分鐘

搭配(Companion,選讀)

讀的時候抓這幾個重點

  • Tensor 是能跑在 GPU 上、能算 gradient 的 NumPy array。 Tensors 頁面說 tensor 跟 NumPy array 很像,差別是可以放到 GPU 等 accelerator 上,而且預設建在 CPU。兩者可以互轉(Bridge with NumPy)。
  • Autograd 取代的是 Day 4 手算的 gradient 公式。 對需要學的 tensor 設 requires_grad=True,算出 loss 後呼叫 loss.backward(),gradient 就出現在 .grad。你不用再自己推導 d(MSE)/dw。
  • **Optimizer 取代的是「w -= lr * grad」那一步。** Optimization Loop 一節的三步是:optimizer.zero_grad() → loss.backward() → optimizer.step()。忘了 zero_grad(),gradient 會累加,是很常見的 bug。
  • torch.no_grad() 是 inference 的標記。 Autograd 頁面說,模型訓練完只需要往前算的時候,用 torch.no_grad() 停止追蹤 gradient,也比較快。這就是程式碼層面上「training vs inference」的分界之一。

書面產出

在 phase01/D05-LOOP.md 寫三樣東西:

  1. 對照表。 把 Day 4 手算的每一個動作,對到用框架之後由誰負責:還是你自己要寫,或是框架自動做掉了?框架裡負責的角色寫成 model、loss function、autograd、optimizer 其中之一,不用寫出函式名稱:
Day 4 手算的動作用框架之後:自己寫,還是框架自動做框架裡負責的角色你在頁面哪一節看到的
用 w、b 算出兩筆預測
算 MSE
用公式算 gradient_w、gradient_b
w ← w − lr × gradient_w
下一步開始前,把上一步的 gradient 清掉
訓練完,拿新的 x 做預測、不再算 gradient
  1. 忘了 zero_grad() 會怎樣(手算)。 PyTorch 的 .grad 預設會把每次 backward() 的結果加上去,而不是覆蓋。沿用 Day 4 lr = 0.1 的手算:第 0 步的 gradient 是 (−10, −6),第 1 步「真正的」gradient 是你在 Day 4 表裡算出的那一列。如果第 1 步之前沒有清掉 gradient,optimizer.step() 用到的 gradient 會是多少?更新後的 w、b 是多少?跟 Day 4 正確的第 1 步更新結果差多少?
  2. Inference 比 training 少做了什麼。 從今天讀的頁面(Disabling Gradient Tracking 與 Optimization Loop 兩節),整理出 inference 比 training 少做的事(至少兩件),各寫一句:少做這件事省下了什麼。

過關標準

  • 能回答:一步 training 由哪幾個動作組成?框架幫你自動做掉了 Day 4 手算的哪幾段?
  • 能回答:inference 為什麼不需要追蹤 gradient?少做這件事帶來什麼好處?
  • 產出:D05-LOOP.md,有六列填完的對照表、沒清掉上一步 gradient 時的 gradient 與更新後 w、b 的手算,以及 inference 比 training 少做哪幾件事的說明

Day 6 — Logistic regression:從數字到機率

今天要回答的問題

要回答「是 / 不是」的問題時,為什麼 linear regression 不夠用?Sigmoid 和 log loss 補上了什麼?

主教材(Core)

搭配(Companion,選讀)

讀的時候抓這幾個重點

  • Logistic regression = linear 的部分 + sigmoid。 先照 linear regression 算出 z = b + w1*x1 + ...(頁面把 z 叫 log-odds),再用 sigmoid 1 / (1 + e^(-z)) 壓到 0 到 1 之間,當成機率。z 可以是任何大小,輸出永遠在 0 和 1 之間。
  • Classification 的 loss 用 log loss,不用 MSE。 頁面的理由是 sigmoid 輸出的變化率不固定,squared loss 不適合;log loss 對「很有把握卻答錯」懲罰很重。
  • Regularization 在這裡幾乎是必須的。 頁面提醒,沒有 regularization 時,logistic regression 會一直把 loss 往 0 推、weight 越長越大,特別是 feature 很多的時候。常見做法是 L2 regularization 或 early stopping。
  • 輸出的是機率,不是類別。 要變成「是 / 不是」還需要一個 threshold,那是 Day 7 的主題。

書面產出

在 phase01/D06-LOGISTIC.md 寫三樣東西(計算機需要有 e^x 或 ln 鍵):

  1. Sigmoid 手算。 算出 z = −10、−2、0、2、10 時 sigmoid 的值(取到小數點後 4 位,很接近 0 或 1 的可以寫科學記號),並對照 sigmoid 頁面上的例子。寫一句話:z 從 2 變成 10,機率多了多少?z 從 0 變成 2 呢?這說明 sigmoid 在哪一段「變平」?
  2. Log loss vs squared loss 對照表。 一筆資料的真正 label 是 1,model 給的機率是 p。對同一筆資料,log loss 是 −ln(p),squared loss 是 (1 − p)²:
model 給的機率 p這個預測算是log loss = −ln(p)squared loss = (1 − p)²
0.9有把握且答對
0.5不確定
0.1有把握但答錯
0.01非常有把握但答錯
  1. 一句話結論。 從表裡指出:p 從 0.1 降到 0.01 時,兩種 loss 各增加多少?squared loss 最大只會到多少?用這兩個觀察解釋頁面說的「log loss 對很有把握卻答錯懲罰很重」。

過關標準

  • 能回答:logistic regression 的輸出為什麼一定在 0 和 1 之間?z 是什麼?
  • 能回答:為什麼 classification 用 log loss,不用 MSE?
  • 產出:D06-LOGISTIC.md,有五個 z 的 sigmoid 值、四列填完的 loss 對照表,以及兩種 loss 的增加量與上限說明

Day 7 — Classification 的評估:threshold、confusion matrix、precision / recall

今天要回答的問題

把機率變成類別時,threshold 設多少要看什麼?為什麼 accuracy 99% 的 model 可能毫無用處?

主教材(Core)

搭配(Companion,選讀)

讀的時候抓這幾個重點

  • Threshold 把機率切成類別,0.5 不一定是對的。 頁面特別提醒,兩種錯誤代價不同或類別不平衡時,0.5 不是合理的預設。
  • Confusion matrix 的四格要用具體例子記。 以垃圾信為例:TP 是垃圾信被擋下,FP 是正常信被誤擋,FN 是垃圾信漏進來,TN 是正常信正常收到。先想清楚「誤擋正常信」和「漏掉垃圾信」哪個比較糟。
  • Accuracy 在類別不平衡時會騙人。 頁面的例子:positive 只佔 1% 時,永遠猜 negative 的 model 有 99% accuracy,但完全沒用。
  • Precision 和 recall 通常此消彼長。 提高 threshold 會減少 FP(precision 上升),但 FN 變多(recall 下降)。選 threshold 就是在選要犧牲哪一邊。

書面產出

在 phase01/D07-METRICS.md 寫三樣東西:

  1. 手算三個 threshold 的指標。 一個垃圾信 model 對 10 封信給出的機率如下(label 1 = 垃圾信):
信12345678910
label1111100000
model 給的機率0.950.850.650.400.250.700.450.350.150.05

機率 ≥ threshold 就判成垃圾信。threshold = 0.5 那列已經算好當範例,另外兩列自己算:

thresholdTPFPFNTNaccuracyprecisionrecall
0.3
0.531240.70.750.6
0.8
  1. 讀表。 threshold 從 0.3 → 0.5 → 0.8,precision 和 recall 各往哪個方向走?哪幾封信在 threshold 改變時從一格跑到另一格?如果你是信箱服務商,「誤擋客戶的正常信」比「漏一封垃圾信」嚴重得多,你會選哪個 threshold,為什麼?
  2. 不平衡的情境。 1000 封信裡只有 10 封是垃圾信,一個「永遠判成正常信」的 model:寫出它的 TP、FP、FN、TN,算出 accuracy 和 recall,並用一句話說明為什麼 accuracy 好看卻沒有用。

過關標準

  • 能回答:threshold 從 0.5 調到 0.9,FP、FN、precision、recall 各往哪個方向變?為什麼?
  • 能回答:舉一個「寧可 FP 多也不要 FN」的實際情境,並說明 threshold 該調高還是調低
  • 產出:D07-METRICS.md,有 threshold 0.3 與 0.8 兩列填完的指標表、讀表的三個回答,以及不平衡情境的四格數字、accuracy 與 recall

Day 8 — 資料切分、generalization 與 overfitting

今天要回答的問題

為什麼 training loss 很低的 model 可能是壞 model?要怎麼從 loss curve 看出 overfitting?

主教材(Core)

搭配(Companion,選讀)

讀的時候抓這幾個重點

  • Training / validation / test 三份資料各有用途。 Model 從 training set 學;訓練中用 validation set 調整;最後才用 test set 確認。頁面提醒,一直依照 test set 的結果調 model,model 會開始貼合 test set 的特性,test 結果就不再可信。
  • Overfitting 是把 training set 背起來。 在 training data 上表現很好,在新資料上很差。偵測方法是看 training 和 validation 兩條 loss curve:一開始相近,後來 training loss 繼續降或持平,validation loss 卻往上走。
  • 越複雜的 model 越容易 overfit。 Model complexity 頁面引用 Occam's razor:簡單的 model 常常對新資料預測得比較好。Regularization 就是把「複雜度」也加進要最小化的目標裡。
  • Loss curve 出問題有幾種固定樣子。 來回震盪、突然暴衝、validation 跟 training 分岔、收斂後出現規律的方波。今天先把它們記成「症狀清單」,之後讀到 neural network 的訓練會用到。

書面產出

在 phase01/D08-OVERFIT.md 寫三樣東西:

  1. 讀實測數據表。 教材作者用 40 筆資料(y = sin(3x) 加上雜訊)實測:用不同 degree 的多項式當 model,分成「只給 15 筆 training data」和「給 28 筆 training data」兩種,剩下的當 validation(分別是 25 筆和 12 筆)。Degree 越高,model 的 parameter 越多(degree d 有 d + 1 個係數)。
training 筆數degreeparameter 數train MSEvalidation MSE
15120.27330.3039
15340.04060.0557
159100.03650.0747
151415約 0(1.8 × 10⁻²⁰)約 2,837,375
28120.27520.2906
28340.03970.0288
289100.03630.0400
2814150.03560.0336

回答:(a) 15 筆時,你判斷從哪個 degree 開始 overfit?根據哪兩欄?(b) 15 筆、degree 14 的 train MSE 為什麼幾乎是 0(提示:15 個點、15 個係數)?(c) 同樣是 degree 14,training data 變成 28 筆後 validation MSE 怎麼變?這說明「資料量」和「model 複雜度」之間是什麼關係?(d) 28 筆時 validation 只剩 12 筆,degree 3 / 9 / 14 的 validation MSE 差距很小,你會因此下結論說 degree 14 最好嗎?為什麼?

  1. 畫圖。 把 15 筆那四列畫成「degree(橫軸)vs train / validation MSE(縱軸)」兩條線。validation 的數字差距非常大,縱軸用 log scale(每一格是 10 倍),手畫或用試算表畫都可以。在圖上標出你判斷開始 overfit 的位置。
  1. Loss curve 症狀表。 依 Interpreting loss curves 頁面,把它的四個 Exercise 列出的問題曲線各填一列(原因與處理多半寫在每題的答案說明裡;頁面沒給處理方式的,填「頁面未給」並寫下你自己的推測):
症狀(曲線長什麼樣子)頁面說的可能原因頁面建議的處理

過關標準

  • 能回答:為什麼不能只看 training loss 判斷 model 好不好?
  • 能回答:validation set 和 test set 的差別是什麼?為什麼不能一直拿 test set 調 model?
  • 產出:D08-OVERFIT.md,有實測數據表四題的回答、15 筆版本的 degree vs MSE 圖(標出開始 overfit 的位置),以及 loss curve 症狀表(頁面列的每一種症狀各一列)

Day 9 — Neural network:為什麼要 hidden layer 與 activation function

今天要回答的問題

Neural network 比 logistic regression 多了什麼,讓它能分開「一圈包一圈」的資料?

主教材(Core)

搭配(Companion,選讀)

讀的時候抓這幾個重點

  • 問題的起點是非線性資料。 Neural networks module 的開頭是:一圈藍點被一圈橘點包住,直線分不開。手動加 feature cross 可以解,但要一直試;neural network 的價值是在訓練中自己學出有用的組合。
  • 只疊 linear layer 沒有用。 Nodes and hidden layers 頁面說:線性運算的結果再做線性運算,還是線性的。所以多加幾層 Linear 不會讓 model 變得能處理非線性資料。
  • Activation function 才是非線性的來源。 頁面介紹 sigmoid、tanh、ReLU。ReLU 最簡單:負數變 0,正數不變。3Blue1Brown 第 1 章的補充也提到現在多用 ReLU,因為 sigmoid 在兩端變平,訓練會變慢。
  • Weight 和 bias 的數量會很快變多。 3Blue1Brown 第 1 章那個辨識手寫數字的小網路就有 13,002 個 weight 和 bias。這就是 Day 1「model 是一組數字」的放大版。
  • Backpropagation 是「用 gradient descent 訓練多層網路」的算法。 頁面列出三種常見問題:vanishing gradients、exploding gradients、dead ReLU。現在知道名字和症狀就好。

書面產出

在 phase01/D09-NN.md 寫四樣東西:

  1. 讀實測結果。 教材作者用「圈中圈」資料實測:內圈 300 個點(半徑 0–1,label 1)、外圈 300 個點(半徑 2–3,label 0)。只用 logistic regression(一層 linear + sigmoid)訓練 500 步,最後 log loss 約 0.692、accuracy 約 0.55。說明為什麼 accuracy 只比 0.5 好一點點(提示:logistic regression 的分界線是什麼形狀?畫一條直線切過圈中圈,兩邊各有哪些點?)。另外,log loss 0.692 很接近 −ln(0.5) ≈ 0.693,這代表 model 對每個點給的機率大概是多少?
  2. 手算 parameter 數量。 一層 Linear(a, b) 有 a × b 個 weight 和 b 個 bias。算出:- Linear(2, 3) 接 ReLU 接 Linear(3, 1) 總共幾個 parameter(ReLU 本身沒有 parameter)- 3Blue1Brown 第 1 章那個網路:784 個輸入 → 16 → 16 → 10,總共幾個 parameter,對照影片說的 13,002 兩題都要寫出每一層的算式。
  3. 畫網路圖。 畫出 Linear(2, 3) → ReLU → Linear(3, 1) → sigmoid 這個網路:2 個輸入、3 個 hidden node、1 個輸出,每條連線代表一個 weight,在每個 hidden node 標出「先算加權總和、再過 ReLU」。在圖旁邊寫一句:如果把 ReLU 拿掉,整個網路等於哪一種 Day 6 學過的 model?
  4. ReLU 的作用。 用 ReLU 的定義(負數變 0、正數不變),說明為什麼幾個 ReLU node 組合起來可以畫出「轉彎」的邊界,而不是只有一條直線。有做 Interactive exercises 的 Exercise 2(調整網路把橘點和藍點分開)的話,記下你最後用的 hidden layer 數、每層 node 數、activation,以及 training / test loss 有沒有降到頁面要求的 0.2 以下。

過關標準

  • 能回答:為什麼沒有 activation function 時,疊再多層也只是一個 linear model?
  • 能回答:ReLU 做了什麼?為什麼它讓網路能畫出彎曲的邊界?
  • 產出:D09-NN.md,有實測結果的解釋(accuracy 為什麼接近 0.5、log loss 0.692 代表什麼)、兩個網路的 parameter 數量逐層算式、網路圖,以及 ReLU 的說明

Day 10 — 小型 neural network、GPU、從 training 到 inference

今天要回答的問題

把這 10 天串起來:一個 model 從訓練到拿來預測,中間經過哪些步驟?GPU 在哪一步、為什麼有用?

主教材(Core)

搭配(Companion,選讀)

  • PyTorch Tensors 的「Operations on Tensors」開頭:用 .to() 把 tensor 搬到 accelerator 的寫法,以及「跨裝置複製大 tensor 很花時間和記憶體」的提醒

讀的時候抓這幾個重點

  • nn.Module 把 Day 5–9 的零件包起來。 Build the Neural Network 用 nn.Linear、nn.ReLU、nn.Sequential 組出網路,model.parameters() 列出所有要學的 weight 和 bias。這就是 Day 9 手算 parameter 數量的程式版本。
  • Device 要明確指定。 教學裡用 torch.accelerator.is_available() 判斷有沒有 GPU 等 accelerator,沒有就用 CPU。Model 和資料要在同一個 device 上才能一起算。
  • GPU 有用,是因為 ML 的運算是大量相同的 matrix 運算。 NVIDIA 那篇的說法:GPU 有數百個核心,能同時處理數千個 thread,把問題拆成大量小任務一起算;deep learning 正是把大量資料灌進 neural network。對照 Day 2:一整批資料的預測就是一次 X @ W。
  • Inference 前要 model.eval(),計算時包 torch.no_grad()。 Save and Load 頁面提醒,沒呼叫 model.eval() 會讓 dropout、batch normalization 這類層的行為跟 inference 該有的不同,結果不一致。Training 會更新 weight;inference 是載入固定的 weight、只往前算。

書面產出

在 phase01/D10-SUMMARY.md 寫四樣東西:

  1. 讀實測結果:小網路解開圈中圈。 教材作者用 Day 9 同一份圈中圈資料,訓練 Linear(2, 16) → ReLU → Linear(16, 1) 的小網路 2000 步,存檔、重新載入、呼叫 model.eval() 後在 torch.no_grad() 裡做 inference:
項目實測值
parameter 數量65
最後的 log loss約 0.0055
accuracy(同一份 600 個點)1.0
新點 (0.0, 0.5) 是內圈的機率約 0.998
新點 (2.5, 0.0) 是內圈的機率約 0.00036

用 Day 9 的方法手算 65 是怎麼來的(逐層算式);對照 Day 9 logistic regression 的 0.55,寫一句話說明差別來自哪裡;兩個新點各在內圈還是外圈,機率合理嗎?最後指出:accuracy 1.0 是在「訓練用的同一份資料」上量的,依 Day 8 的觀念,這個數字少了什麼才能說明 model 真的好?

  1. 從 training 到 inference 的流程圖。 畫一張圖,從「有 label 的資料」開始,經過 training loop(標出 Day 5 對照表裡的每一步)、存檔、載入、model.eval()、torch.no_grad(),到「新資料 → 預測機率 → threshold → 類別」。在圖上標出:哪一段 weight 會變、哪一段不會;GPU 在哪幾段派得上用場。
  1. 讀實測結果:CPU vs GPU。 教材作者在同一台 Apple Silicon Mac 上,量一次 4096×4096 matrix 乘上 4096×4096 matrix 的平均時間(暖身一次後量 10 次取平均;GPU 是透過 PyTorch 的 MPS 後端用 Mac 內建的 GPU):
裝置每次乘法的時間
CPU約 0.101 秒
GPU(MPS)約 0.028 秒

回答:(a) GPU 快了大約幾倍?(b) 一次 4096×4096 的 matrix 乘法裡,輸出有幾個數字?每個數字是幾項乘法的加總(提示:Day 2 的 dot product)?總共大約幾次乘法(寫出算式與數量級)?(c) 用 NVIDIA 那篇文章的說法,解釋為什麼這種工作特別適合 GPU。(d) 這個數字只代表這台機器、這個大小;如果 matrix 很小(例如 Day 9 的 2×3),你預期 GPU 還會比較快嗎?為什麼(提示:Companion 的「跨裝置複製」提醒)?

  1. 三種 model 總整理表1。 把這 10 天的三段串起來:
Linear RegressionClassification(Logistic Regression)Small Neural Network
在解決什麼問題
輸出是什麼
loss 怎麼定義
參數怎麼被更新
對應哪幾天的書面產出

過關標準

以下五題是這個 Phase 的總驗收2,用自己的話寫在 D10-SUMMARY.md,每題 3–5 句,並各自指出這 10 天哪一天的書面產出可以佐證(寫出檔名):

  • training 和 inference 到底差在哪?(提示:資料有沒有 label、weight 會不會變、inference 前要先把 model 切到預測模式並停止追蹤 gradient;佐證:Day 1 的資料流圖、Day 5 的對照表、今天的流程圖)
  • parameter / weight 是什麼?(提示:用 Day 9 手算的 13 與 13,002、今天的 65 舉例)
  • loss 是什麼?(提示:Day 3 的 MSE / MAE、Day 6 的 log loss)
  • gradient descent 在做什麼?(提示:Day 4 手算的那兩步,以及 lr = 1.0 為什麼爆掉)
  • GPU 為什麼有用?(提示:Day 2 一整批資料的一次 matrix 乘法、今天的乘法次數與 CPU / GPU 時間)

產出:

  • D10-SUMMARY.md:小網路實測結果的四個回答(含 65 的逐層算式)、training 到 inference 的流程圖、CPU / GPU 四題的回答(含乘法次數算式)、三種 model 總整理表填完
  • 上面五題的書面回答,每題都寫出佐證的檔名
  1. 依 AI 課程線總綱第 6 節「書面產出」:依序寫出 Linear Regression → Classification → Small Neural Network 各自在解決什麼問題、loss 怎麼定義、參數怎麼被更新
  2. 依 AI 課程線總綱第 6 節「驗收:Day 10 必須能解釋」列出的五題