AI Phase 04 — Multimodal + Model Ecosystem(Day 31–40)

100-Day AI Knowledge Challenge

AI Phase 04 — Multimodal + Model Ecosystem(Day 31–40)

這 10 天的目標只有一個:看到需求,知道該選哪一種 model1。這個 Phase 不跟大型課程,因為模型世界更新太快;改用「官方文件 + model cards + 實際比較」,每天讀的都是各家官方頁面與 Hugging Face 文件。

前三天先補 multimodal 的基本觀念(Day 31)、雲端 API 怎麼送圖與怎麼計費(Day 32)、本地端怎麼跑 vision-language model(Day 33)。Day 34–35 把 Phase 03 學的 model card 讀法延伸到 multimodal model,並加上 license 與「能不能自己架」。Day 36–38 用同一套研究模板把 OpenAI、Anthropic、Google、Meta、Qwen、DeepSeek、Mistral、xAI、Microsoft、AWS、NVIDIA 逐家填完。Day 39 用三個情境練習選型,Day 40 整合成可以長期更新的 AI model landscape。

研究模板(每家 provider 都用同一套)2:Provider → Model family → Modalities → Reasoning → Context → Tool calling → Structured output → API → Pricing → License → Self-hostable? → Best use cases。

這個 Phase 的規則:不背。 教材只寫研究方法和要回答的問題,不寫「某模型現在 context 多長」「某模型現在多少錢」這類很快過期的數字3。你填進 landscape 的每一格都要附來源連結與查證日期,查不到就寫「未查到」,不要憑印象填。

總綱第 4 節的重疊對照表沒有列 Phase 04,所以這個 Phase 沒有需要引用 Backend 課程的重疊日4。

驗收兩項各落在哪一天5:「完成 AI model landscape,至少涵蓋總綱列出的 provider,每家依研究模板填完」是 Day 36–38 填表、Day 40 整合與檢查;「給 3 個情境,寫出選型理由」是 Day 39。

這個 Phase 沒有需要跑的程式碼:研究日的產出是填完的表和書面回答。Day 33 的文件範例需要下載模型,列為選做,教材沒有替你預先寫出執行結果。

Day 31 — Multimodal 是什麼:輸入、輸出與任務

今天要回答的問題

「multimodal model」到底指什麼?看圖、聽音、讀文字、生成圖片,是同一類 model 嗎?

主教材(Core)

  • Hugging Face Community Computer Vision Course — Unit 4 的 A Multimodal World(What is Multimodality? / Multimodal Datasets / Multimodal Tasks and Models / Multimodal Search 四節),預估 30 分鐘
  • Hugging Face Blog — Vision Language Models Explained(What is a Vision Language Model? / Overview of Open-source Vision Language Models / Finding the right Vision Language Model),預估 35 分鐘
  • 實作(填表),預估 40 分鐘

搭配(Companion,選讀)

  • 同一篇 blog 的 Technical Details、Using Vision Language Models with transformers 兩節,預估 20 分鐘;Day 33 會用到
  • Computer Vision Course 的課程歡迎頁,列出 13 個 Unit,其中 Unit 4 是 Multimodal Models、Unit 11 是 Zero Shot Computer Vision,用來看 multimodal 在整門課裡的位置,預估 10 分鐘

讀的時候抓這幾個重點

  • Modality 是資料的形式,不是 model 的品牌。 文字、圖片、音訊、影片都是 modality。「multimodal」要問清楚兩件事:輸入吃哪些、輸出產哪些。很多人說「這個 model 是 multimodal」,其實只是輸入能放圖片、輸出還是文字。
  • 「看得懂圖」跟「畫得出圖」是兩種能力。 讀的時候把 Multimodal Tasks and Models 那一節的任務分成「理解類」(輸入含圖、輸出文字)和「生成類」(輸出是圖片或其他媒體)。Day 32 會看到有些 provider 的 API 只做理解、不做生成。
  • Vision Language Model(VLM)是「接受圖片輸入的語言模型」。 Transformers 文件(Day 33 會讀)的定義是「VLM 是接受圖片輸入的 language model」,所以 Phase 03 學的 pretraining → post-training 流程在這裡仍然適用,只是多了「圖片怎麼進到 model」這一步。
  • Benchmark 只能當參考。 blog 的 Finding the right Vision Language Model 一節介紹了 MMMU、MMBench 這類評測。讀的時候記住:leaderboard 會變、題目跟你的任務也未必相同,Day 39 的選型要靠自己的任務來判斷,不是靠排名。

實作

在自己的 knowledge base 建一個 modality-notes 頁面,做一張「modality 矩陣」:

  • 欄位:任務名稱、輸入 modality、輸出 modality、屬於理解類還是生成類
  • 列:至少 6 個任務,全部從 A Multimodal World 的 Multimodal Tasks and Models 一節和 VLM blog 裡挑,並在每列後面附上你抄自哪一節

再寫一小段(3–5 句)回答:「如果需求是『把發票照片轉成 JSON』,輸入與輸出 modality 各是什麼?屬於哪一類任務?」

過關標準

  • 能回答:multimodal 要問的兩個問題是什麼?
  • 能回答:理解類與生成類差在哪?舉一個各自的任務。
  • 能回答:為什麼 benchmark 排名不能直接當選型依據?
  • 產出:modality-notes 裡至少 6 列的矩陣,加上發票轉 JSON 的那一段回答

Deep Dive(選讀)

  • 讀完 Computer Vision Course Unit 4 其他頁面。Unit 4 底下 CLIP 相關頁的網址(試過 /clip_and_relatives/clip)與 Unit 4 的 tasks_models_overview 頁,2026-10-16 查證時無法開啟(回 404),所以沒有列進主教材;請在課程目錄裡自己找,找到再補上。
  1. 依 AI 課程線總綱(curriculum/ai/00-master-curriculum.md)第 9 節「Phase 04 — Multimodal + Model Ecosystem」的目標
  2. 依 AI 課程線總綱第 9 節的「研究模板」與研究對象
  3. 依 AI 課程線總綱第 3 節 Principle 5「模型生態不寫死」與 curriculum/ai/content-standard.md 對 Phase 04 的規定
  4. 依 AI 課程線總綱第 4 節跟 Backend 課程的重疊對照表(表中沒有 Phase 04)
  5. 依 AI 課程線總綱第 9 節「驗收」兩項

Day 32 — 雲端 API 怎麼送圖:Claude、OpenAI、Gemini 的 vision 文件

今天要回答的問題

三家 API 傳圖片給 model 的方式、計費邏輯與限制有什麼共通點和差異?哪些事是「做之前要先查文件」的?

主教材(Core)

  • Anthropic — Vision(Send images to Claude / Image limits and costs / Limitations / FAQ),預估 30 分鐘
  • OpenAI — Images and vision(Analyze images 底下的 Giving a model images as input / Image input requirements / Choose an image detail level / Calculating costs / Limitations),預估 30 分鐘
  • Google — Image understanding(Passing images to Gemini / Prompting with multiple images / Limitations and key technical information 底下的 Token calculation 與 Media resolution),預估 30 分鐘
  • 實作(填表),預估 30 分鐘

搭配(Companion,選讀)

  • Gemini 同一頁的 Object detection 與 Segmentation 兩節,看「回傳座標」是怎麼做的;對照 Anthropic Vision 頁裡連到的 Coordinates and bounding boxes,預估 20 分鐘

讀的時候抓這幾個重點

  • 送圖的方式通常有三種:直接內嵌、給 URL、先上傳再引用。 Anthropic 頁面列的是 base64、URL、Files API 的 file_id;Gemini 頁面列的是 URL、inline data、File API。重點不是背語法,而是知道「圖片很多或多輪對話時,先上傳再引用」是為了避免每一輪都重送整張圖。
  • 同一個 provider 在不同平台上的支援可能不一樣。 Anthropic 頁面註明在 Amazon Bedrock 與 Google Cloud 上目前只有 base64 一種來源。這提醒你:選型時要查「你實際用的那個平台」的文件,不只是 model 本身的文件。
  • 圖片是以 token 計費,而且各家算法不同。 OpenAI 頁面分別介紹 Patch-based 與 Tile-based image tokenization,Anthropic 與 Gemini 也各有自己的 token 計算章節。做成本估算時,要用該家文件的公式,不要拿 A 家的算法套 B 家。
  • 「理解圖片」不等於「生成圖片」。 Anthropic Vision 的 FAQ 明講 Claude 是 image understanding model,不能生成或編輯圖片;OpenAI 同一頁則同時有 Generate or edit images 和 Analyze images 兩個區塊。需求裡有「要產圖」時,這一點會直接影響選型。
  • 每家都列出視覺能力的限制,而且很值得先讀。 例如 Anthropic 的 Limitations 列了辨識人物、計數精度、空間推理、AI 生成圖偵測、醫療影像等;OpenAI 與 Gemini 也各有 Limitations 一節。把限制抄進你的 landscape,比抄 benchmark 有用。

實作

做一張「image input 比較表」,欄位如下,三家各填一列,每格後面附你查到的那一節名稱:

  • 送圖方式(有哪幾種)
  • 圖片多或多輪對話時的建議做法
  • 計費怎麼算(只寫算法的種類,例如「依 patch」「依 tile」,不寫具體數字)
  • 能不能生成圖片(能 / 不能 / 同一個 API 但不同 model)
  • 文件列出的前三項限制
  • 你查證的日期

查不到的格子寫「未查到」,不要用印象補。

過關標準

  • 能回答:圖片多輪重送會造成什麼問題?各家的解法是什麼(文件裡叫什麼名字)?
  • 能回答:為什麼不能直接拿 A 家的圖片 token 公式估 B 家的成本?
  • 能回答:需求裡要「讀圖」和要「產圖」,選型上各要看哪一個 provider 的哪個頁面?
  • 產出:填完的 image input 比較表(3 列 × 6 欄,全部有來源)

Deep Dive(選讀)

  • 同一份表再加上 Mistral 的 Document Processing(Document AI services),比較「通用 vision model」跟「專門做文件的服務」是不同類型的選擇;Day 39 的 OCR 情境會用到。

Day 33 — 本地端跑 Vision-Language Model:Transformers 的 image-text-to-text

今天要回答的問題

在自己的機器上跑 VLM,輸入要怎麼組、要選哪一型 model、記憶體不夠時有哪些手段?

主教材(Core)

  • Hugging Face Transformers 文件 — Image-text-to-text(開頭的 model 類型說明與 instruction-tuned 推論範例 / Pipeline / Fit models in smaller hardware / Iterative chatting with cache),預估 45 分鐘
  • 實作(讀範例 + 填表,選做實跑),預估 60 分鐘

搭配(Companion,選讀)

  • 同頁的 Streaming 一節,預估 10 分鐘;之後做聊天介面時會用到
  • Day 31 的 VLM blog 裡 Using Vision Language Models with transformers 一節,預估 15 分鐘

讀的時候抓這幾個重點

  • VLM 有三種:base、chat fine-tuned、instruction fine-tuned。 頁面一開始就這樣分,並說明這份指南用的是 instruction-tuned model。這跟 Phase 03 的 base model 只會續寫、instruction model 才會回答是同一件事,在多模態上沒有例外。
  • 輸入是 processor + chat template,不是單純的 tokenizer。 範例把圖片和文字都放進 messages 的 content 裡,再用 processor 的 apply_chat_template() 處理。換 model 時,確認該 model 的 processor 與 chat template 是否照這個流程走。
  • Pipeline 是最快上手的路徑。 頁面的 Pipeline 一節指定 image-text-to-text 這個任務,就能用同一個介面換不同 model。適合比較不同 VLM,但 Pipeline 隱藏了很多細節。
  • 記憶體不夠時可以量化,但頁面也講了代價。 Fit models in smaller hardware 一節示範 int8 量化,並直接說明「no free lunch」:量化可以省記憶體,卻會增加延遲。這個取捨會在 Phase 05 展開,今天只要知道有這件事。
  • 多輪對話可以重用 cache。 Iterative chatting with cache 一節說明,若每一輪都把整段對話重新處理,已經編碼過的圖片或音訊會被重算;先用文字模式處理 template、只對新的多模態內容另外處理,就能重用先前的結果。

實作

讀完上面五點後,用文件範例做一張「本地 VLM 啟動 checklist」,不需要下載任何模型就能完成:

  • 範例裡出現哪些 model id?(頁面用了 Qwen/Qwen3-VL-4B-Instruct、llava-hf/llava-interleave-qwen-0.5b-hf、HuggingFaceTB/SmolVLM-256M-Instruct、google/gemma-4-E2B-it)把它們分成「頁面用在 instruction-tuned 範例」「用在 Pipeline 範例」「用在量化範例」「用在 cache 範例」。
  • 寫下載入 model 所需的 Python 類別與 processor 類別各是哪一個(照頁面範例抄,並標註抄自哪一節)。
  • 寫出你的機器在「不量化」與「int8 量化」兩種情況下,各自要檢查什麼(顯卡記憶體?CPU?)。不需要寫數字。

選做:有 GPU 或 Colab 時,照 Pipeline 一節的範例實際跑一次,把輸出貼進筆記。教材撰寫時沒有替你實跑這段,輸出以你機器上的結果為準。

過關標準

  • 能回答:base、chat、instruction 三型 VLM 差在哪?本頁範例選哪一型?
  • 能回答:為什麼 VLM 的輸入要用 processor 加 chat template,而不是只用 tokenizer?
  • 能回答:量化的好處與代價各是什麼?
  • 產出:本地 VLM 啟動 checklist(model id 分組、類別名稱、兩種情況的檢查項目);若有實跑,附上輸出

Deep Dive(選讀)

  • 頁面 Further Reading 列出 Image-text-to-text task page 與 VLM 微調(TRL)的文章,等到後面做客製需求時再讀。

Day 34 — 讀 Model Card:Multimodal 版

今天要回答的問題

拿到一張陌生的 multimodal model card,哪些欄位要先看、哪些欄位決定「能不能用在我的需求」?

主教材(Core)

  • Hugging Face Hub 文件 — Model Cards(Model card metadata:library、base model、dataset、pipeline_tag、license、Evaluation Results),預估 25 分鐘
  • Hugging Face Hub 文件 — Annotated Model Card Template(Model Details / Uses / Bias, Risks, and Limitations / Training Details / Evaluation),預估 25 分鐘
  • 實作:讀 microsoft/Phi-4-multimodal-instruct 的 model card 並填表,預估 50 分鐘

搭配(Companion,選讀)

  • 回頭看 Phase 03 Day 25(Model Overview)與 Day 30 的兩欄比較表,對照今天的欄位

讀的時候抓這幾個重點

  • Model card 是 repo 的 README,頂端的 YAML 是機器可讀的 metadata。 頁面說明 license、base_model、datasets、pipeline_tag、library_name 都寫在這裡,Hub 的篩選與顯示靠它們。所以搜尋 model 時,可以直接用 pipeline_tag(任務類型)與 license 篩選。
  • base_model 會標出這個 repo 跟別的 model 的關係。 頁面說 Hub 會推斷關係是 adapter、merge、quantized、finetune 其中一種。看到 quantized 變體時,要回頭去看它的 base model 的 card:變體的 card 不一定把原始 model 的限制重寫一遍,這是讀 model card 容易漏看的地方。
  • Annotated template 告訴你「一張完整的 card 應該有什麼」,缺了什麼就是警訊。 例如 Uses 裡有 Out-of-Scope Use,Bias, Risks, and Limitations 底下有 Recommendations,Evaluation 要有 Testing Data、Factors、Metrics。讀別人的 card 時,缺了其中一塊就在表上標「卡片沒寫」。
  • Benchmark 與 Evaluation 段落要看「怎麼測的」。 Phi-4-multimodal-instruct 的 card 另有 Appendix A: Benchmark Methodology。只看分數不看方法,就容易把不同設定的結果拿來比。
  • Multimodal card 要多看「支援哪些 modality 的輸入」與 Cautions 之類的限制段落。 這張 card 有 Intended Uses、Responsible AI Considerations、Safety、Cautions 等段落,逐一讀過再決定能不能放進你的產品。

實作

在 knowledge base 建 model-card-reading 頁面,對 Phi-4-multimodal-instruct 填一張表,每列要寫「card 裡哪一段說的」:

  • Modalities(輸入 / 輸出)
  • Intended Uses
  • Out-of-scope 或 Cautions(如果卡片有)
  • License(寫 license 識別碼與連結;只寫你實際點進去看到的)
  • Evaluation 的測法(只寫方法,不抄分數)
  • Training 資訊裡有沒有說用了什麼資料
  • 卡片裡缺少的欄位,對照 Annotated Model Card 列出來

過關標準

  • 能回答:pipeline_tag、base_model、license 各自能在 Hub 上用來做什麼?
  • 能回答:看到一個 quantized 變體,為什麼要回去看 base model?
  • 能回答:Phi-4-multimodal-instruct 的 card 有哪些段落、缺了哪些 Annotated template 的欄位?
  • 產出:model-card-reading 的填完的表(每格有出處段落名稱)

Deep Dive(選讀)

  • 對一個你自己有興趣的 VLM 重做一次這張表,並比較兩張表缺的欄位。

Day 35 — License 與「能不能自己架」

今天要回答的問題

「open」到底是什麼意思?拿到一個模型,我能不能商用、能不能自己架、有什麼附帶條件?

主教材(Core)

  • Hugging Face Hub 文件 — Licenses(license 識別碼列表,以及 license: other 搭配 license_name、license_link 的規則),預估 25 分鐘
  • Meta — Llama Models(頁面列出的 Llama 4、Llama Guard 4、Llama 3.3 等 model 連結,以及 Prompt Formatting 一節),預估 30 分鐘
  • Qwen 的 Hugging Face 組織頁(用 collection 分組列出 model),預估 20 分鐘
  • 實作(填表),預估 40 分鐘

搭配(Companion,選讀)

  • Hub 文件 Model Cards 的「Specifying a license」一節,看自訂授權怎麼標

讀的時候抓這幾個重點

  • 「能下載 weights」不等於「開源」,更不等於「可以任意商用」。 Licenses 頁面的列表裡,除了 apache-2.0、mit 這類通用授權,還有 llama4、gemma、grok2-community 這類以廠商命名的專屬授權。看到後者,就要去讀授權原文,不能假設它跟 Apache 2.0 一樣。
  • license: other 是個警訊,不是答案。 頁面說用 other 時要在 repo 放 LICENSE 檔,並用 license_name 與 license_link 說明。所以 metadata 只寫 other,你還得點進去看實際條款。
  • API 型的 model 沒有 weights,所謂「license」變成服務條款。 你在 Day 36–38 查雲端 API 時,「Self-hostable?」那欄多半是「否」,但仍要查它的使用條款與資料處理方式,那是不同性質的限制。
  • 同一個家族在不同尺寸、不同版本的授權可能不同。 不要因為一個 model 是 Apache 2.0,就假設同家族的其他 model 也是。Qwen 組織頁以 collection 分組,進去之後每個 model 都要各看各的 card。
  • Self-hostable 的實際意義有三層:能不能拿到 weights、授權允不允許你的用法、你的硬體跑不跑得動。 三個都滿足才算。

實作

做一張「license 檢查表」,對下列三個 model 各填一列(model 自己從 Meta Llama Models 頁與 Qwen 組織頁各挑 1–2 個、再加 Day 34 的 Phi-4-multimodal-instruct,共三個):

  • model 名稱與你點進去的 card 連結
  • license 識別碼(從 card metadata 抄)
  • 你點進授權原文,寫下三件事:能否商用、有沒有用戶數或地區之類的附帶條件、衍生模型要不要標註來源。授權原文看不懂或讀不到的就寫「未讀懂」或「打不開」,並標註日期
  • Self-hostable 三層判斷(拿得到 weights / 授權允許 / 硬體跑得動)各打勾或打叉

過關標準

  • 能回答:apache-2.0 與 llama4 這類 license 識別碼,差別在哪?
  • 能回答:看到 license: other 時,下一步要做什麼?
  • 能回答:Self-hostable 的三層判斷是什麼?
  • 產出:license 檢查表,三列全部附上你點進去的連結與查證日期

Deep Dive(選讀)

  • 把表擴充成你自己會用到的 5–10 個 model,之後放進 Day 40 的 landscape。

Day 36 — Provider 研究(一):OpenAI、Anthropic、Google

今天要回答的問題

這三家目前各有哪些 model 家族?依研究模板,每一欄的答案在官方文件的哪個頁面?

主教材(Core)

  • OpenAI — Models(Choosing a model / Flagship models / Specialized models;每個 model 列出 Model ID、Reasoning、價格、Max output、Context window、Knowledge cutoff、Tools),預估 35 分鐘
  • Anthropic — Models overview(Compare models 比較表與底下每一列的說明、Legacy models、Using the Models API),預估 35 分鐘
  • Google — Models | Gemini API(依 model 家族分組的各節、Previous models、Model version name patterns、Model deprecations;每個 model 列出名稱、說明、endpoint 與狀態標籤如 Stable、Preview),預估 35 分鐘
  • 實作(填表),預估 15 分鐘

搭配(Companion,選讀)

讀的時候抓這幾個重點

  • 三家的 models 頁面欄位不同,所以模板有些欄位要去別頁找。 OpenAI 的頁面直接列出 Reasoning、Context window、Tools;Gemini 頁面主要列名稱、說明、endpoint 與狀態;Anthropic 的比較表則有 thinking、effort、context、各雲端平台的 model ID。填模板時,頁面沒列的欄位,標「此頁沒有,需到 XX 頁查」,不要漏填。
  • Model 有生命週期。 Gemini 頁面有 Model deprecations 與 Previous models,Anthropic 比較表有 Retirement 欄,並連到 model deprecations 頁。寫進 landscape 時,要把「狀態」與「預計退役」當成必填欄位。
  • Model ID 的寫法不是一成不變。 Anthropic 頁面說明 ID 是 pinned snapshot、有些有 alias;Gemini 頁面有「Model version name patterns」一節。串接時要用文件指定的 ID,不要自己猜命名規則。
  • 同一個 model 可能出現在多個平台,ID 與支援範圍會不同。 Anthropic 比較表列了 Amazon Bedrock、Google Cloud、Microsoft Foundry 等平台的 ID。你選的是「model + 平台」的組合。
  • 價格與 context 這類數字今天會看到,但不要抄進教材。 填 landscape 時可以抄,但一定要同格寫上查證日期,因為它們會變。

實作

在 knowledge base 建 model-landscape 頁面(後面幾天都會用)。欄位照研究模板:Provider、Model family、Modalities、Reasoning、Context、Tool calling、Structured output、API、Pricing、License、Self-hostable?、Best use cases,外加「來源連結」與「查證日期」兩欄。

今天填 OpenAI、Anthropic、Google 三列(或三家各一個你挑的 model family):

  • 各家 models 頁面有直接列出的欄位就填
  • 頁面沒有的欄位(常見:Tool calling、Structured output 的細節)標「此頁沒有」,並先留空;Phase 06 會專門學這兩項,今天不需要找到
  • Pricing 欄只填「價格頁連結」加日期,今天先不抄數字
  • Best use cases 欄寫該家文件自己怎麼說(例如 Anthropic 的 Choosing the right model 有 selection matrix),並標註出處

過關標準

  • 能回答:這三家的 models 頁面各自提供研究模板的哪些欄位、缺哪些?
  • 能回答:model 的狀態與退役資訊在每家文件的哪裡?
  • 能回答:為什麼「model + 平台」才是選型單位?
  • 產出:model-landscape 有 3 列,每列附來源連結與查證日期,查不到的格子標「未查到」或「此頁沒有」

Deep Dive(選讀)

  • 讀 OpenAI Models 頁底下的 Browse our full catalog of models,看專用 model(Specialized models)有哪些類型。

Day 37 — Provider 研究(二):Meta、Qwen、DeepSeek、Mistral

今天要回答的問題

這四家(多數有 open weights)的 model 家族與授權怎麼分?它們的 API 與自架路線各是什麼?

主教材(Core)

  • Meta — Llama Models(Day 35 看過;今天回頭看 Prompt Formatting 與 model 清單),預估 20 分鐘
  • Qwen — Hugging Face 組織頁(collection 分組),預估 20 分鐘
  • DeepSeek — Your First API Call 與 Models & Pricing(Model Details / 功能表的 Json Output、Tool Calls、Responses API、Anthropic API、Chat Prefix Completion (Beta)、FIM Completion (Beta)、Vision / Deduction Rules),預估 35 分鐘
  • Mistral — Models Overview(Featured Models / All models 底下的 Generalist、OCR、Audio、Code、Embedding、Moderation and safety、Time series 等分類 / Deprecated & retired models),預估 30 分鐘
  • 實作(填表),預估 15 分鐘

搭配(Companion,選讀)

  • Hub 文件 Model Cards 的 base_model 一節,看這些家族的 quantized 或 fine-tune 變體怎麼標

讀的時候抓這幾個重點

  • Open weights 家族通常要分「官方 API」和「自己架」兩條路。 DeepSeek 與 Mistral 都有自己的 API 文件頁;Meta 與 Qwen 教材只查證到 model 清單頁與組織頁,有沒有官方 API 要你自己查並標明來源。填表時 API 欄與 Self-hostable 欄分開填。
  • 同一個頁面可能把「功能支援」寫成一張表。 DeepSeek 的 Models & Pricing 頁有 Json Output、Tool Calls、Vision 等功能列,直接對應模板的 Structured output、Tool calling、Modalities 欄。讀的時候記下哪些功能標了 Beta。
  • Mistral 的頁面以用途分類。 Generalist、OCR、Audio、Code、Embedding、Moderation and safety 各是一類,且每個 model 有授權或存取標籤。這種分法本身就是選型線索:需求是 OCR,就先看 OCR 那一類,而不是通用 model。
  • 自己架 open weights 時,prompt 格式要自己處理。 Meta 的 Llama Models 頁有一節 Prompt Formatting(教材只確認到這個標題,內容請你自己讀);Day 33 已經看過 processor 與 chat template 的做法,兩者對照著讀。
  • Qwen 的組織頁按 collection 分組,版本與尺寸很多。 填表時寫「家族名稱 + 你查證的 collection」,不要把整個組織頁壓成一列。

實作

在 model-landscape 補上 Meta、Qwen、DeepSeek、Mistral 四列,規則與 Day 36 相同。額外加兩欄:

  • 官方 API?(有 / 沒有 / 未查到,附連結)
  • 取得 weights 的方式(Hub 連結 / 要申請 / 沒有),Self-hostable 欄以 Day 35 的三層判斷填

Mistral 一列請寫兩個 model family(例如一個通用、一個專用類別),因為它的頁面本來就是依用途分類。

過關標準

  • 能回答:這四家各自有沒有官方 API、有沒有公開 weights?
  • 能回答:DeepSeek 功能表裡哪些功能標示 Beta?它對應到模板的哪一欄?
  • 能回答:Mistral 為什麼要依用途選 model 類別?
  • 產出:model-landscape 增加到 7 列,新增欄位都有來源,查不到的標「未查到」

Deep Dive(選讀)

  • 比較 Qwen 組織頁與 Llama Models 頁:哪一個提供較完整的 prompt format 說明?

Day 38 — Provider 研究(三):xAI、Microsoft、AWS、NVIDIA

今天要回答的問題

這四家有的做自家 model,有的做平台(hosting 多家 model)。填研究模板時,怎麼區分「model provider」與「model 平台」?

主教材(Core)

  • xAI — Models(Text API Pricing 底下的 Model、Context、Input、Cached input、Output 欄位與 Long-context tier / Imagine Pricing / Voice Pricing / Which model should I choose? / Model Aliases),預估 25 分鐘
  • Microsoft — microsoft/Phi-4-multimodal-instruct(Day 34 讀過;今天只看 Model Summary、Intended Uses、License),預估 15 分鐘
  • AWS — Models at a glance(Models supported 表:依 provider 列出 Bedrock 提供的 model,並連到各 model 的 card),預估 30 分鐘
  • NVIDIA — NVIDIA NIM 文件首頁(Large Language Models、Vision Language Models、Visual Generative AI、Speech、NIM Microservices、NVIDIA Blueprints 等分類),預估 30 分鐘
  • 實作(填表),預估 20 分鐘

搭配(Companion,選讀)

  • Bedrock 舊頁 Supported foundation models 現在只是一則說明:資訊已搬到 Models at a glance。可以留意「文件會搬家」這件事

讀的時候抓這幾個重點

  • AWS 與 NVIDIA 的角色跟前面幾家不同。 Bedrock 的 Models at a glance 以 provider 分列,同一頁出現 Anthropic、Meta、Mistral、Qwen、DeepSeek、OpenAI、Google、NVIDIA、xAI 等多家 model;NVIDIA NIM 文件則以「微服務類別」分類(LLM、VLM、Speech…)。它們回答的是「在哪裡跑」,Day 36–37 的 provider 回答的是「誰做的 model」。
  • Microsoft 這一列,教材只替你查證到 Phi 系列的 model card。 Microsoft 的雲端平台頁面(例如 Anthropic 比較表提到的 Microsoft Foundry)這次沒有逐頁查證;填 landscape 時,請自己找對應文件頁,找到並開過再填,沒找到就標「未查到」。
  • xAI 的 models 頁偏價格導向。 欄位是 Model、Context、Input、Cached input、Output,另有 Imagine(圖像)與 Voice 兩種計價與 Model Aliases。用 alias 時,要查頁面對 alias 的說明,確認它指向哪個版本。
  • 平台頁的好處是「同一個 API 比較多家」,代價是各家功能可能不完整對應。 例如 Anthropic Vision 頁就註明在 Bedrock 與 Google Cloud 上只支援 base64 圖片來源。選平台時要回頭查 model 在該平台的限制。
  • 平台頁列出的 model 會不斷變動。 Bedrock 舊頁要你去新頁就是例子。landscape 的「查證日期」欄存在的原因就在這裡。

實作

在 model-landscape 補完最後四列:xAI、Microsoft、AWS、NVIDIA。

  • xAI:照模板填,頁面沒有的欄位標「此頁沒有」
  • Microsoft:用 Phi-4-multimodal-instruct 的 card 填 model 相關欄位;平台相關欄位自己查,並寫明來源
  • AWS、NVIDIA:新增一欄「角色」,填「平台」,並在 Model family 欄寫「託管多家 model」;Best use cases 欄寫你從文件看出的「適合在什麼情況下選這個平台」,附出處

完成後把 11 家 provider 全部排在同一張表,並確認每列都有來源連結與查證日期。

過關標準

  • 能回答:model provider 與 model 平台差在哪?各舉一例(用本頁資料)。
  • 能回答:為什麼 alias 與平台頁的內容需要記查證日期?
  • 能回答:Microsoft 這一列哪些欄位是教材替你查證的、哪些是你自己查的?
  • 產出:model-landscape 包含總綱列的 11 家 provider(OpenAI、Anthropic、Google、Meta、Qwen、DeepSeek、Mistral、xAI、Microsoft、AWS、NVIDIA),每列有來源與日期

Deep Dive(選讀)

  • 開 Bedrock Models at a glance 裡任一個 model 的 card,對照該 model 在原廠文件的描述有什麼不同。

Day 39 — 三個情境選型:OCR 抽取、長文件問答、低延遲本地部署

今天要回答的問題

給定一個需求,怎麼用 landscape 把候選縮到兩三個,並且說得出「為什麼是它、什麼情況下要換」?

主教材(Core)

  • Anthropic — Choosing the right model(Establish key criteria / Choose the best model to start with 的兩種起手式 / Decide whether to upgrade or change models / Combine models),預估 20 分鐘
  • Anthropic — Context windows(How the context window works 的 context rot 一段 / Context window sizes by model 的說明方式),預估 15 分鐘
  • Google — Long context(Long context use cases / Long context optimizations / Long context limitations),預估 20 分鐘
  • Mistral — Document Processing(Document AI services 入口),預估 10 分鐘
  • 實作(寫三個情境的選型說明),預估 55 分鐘

搭配(Companion,選讀)

  • Day 33 的 Transformers 頁 Fit models in smaller hardware 一節,用在「低延遲本地部署」情境

讀的時候抓這幾個重點

  • 選型先寫判準,再看 model。 Anthropic 的指南用 capabilities、speed、cost、effort 四個判準起手;你要先寫出自己這個情境最看重哪一項,才不會被 model 的名氣帶走。
  • 兩種起手式:從便宜的往上,或從最強的往下。 指南的 Option 1 是先用快又便宜的 model 做原型、不夠再升級;Option 2 是先用最強的把效果做出來、再往下優化成本。哪一種適合,取決於「效果沒達標的代價」與「成本壓力」誰大。
  • 不要只憑 context 大小選長文件方案。 Anthropic 的 Context windows 頁面說,token 增加後 accuracy 與 recall 會下降(context rot),所以「放得下」不等於「用得好」;Gemini 的 Long context 頁也有 Long context limitations 與 optimizations 兩節。長文件問答的選型要包含「怎麼切、怎麼驗證答案正確」,這是 Phase 07 RAG 的內容。
  • OCR 與文件抽取常有專門的類別。 Day 37 看到 Mistral 的 models 頁有獨立的 OCR 類別,且有 Document AI 服務。選型時,「通用 VLM 能不能做」與「專用文件服務能不能做」是兩條候選路線,要放在一起比。
  • 決定不能只靠文件。 Anthropic 指南最後也強調:用自己的任務與資料建 benchmark,比較準確度、品質、邊界情況,再權衡成本。選型說明裡一定要寫「我會怎麼驗證」。

實作

在 knowledge base 建 model-selection 頁面,對下面三個情境各寫一份選型說明。每份的格式:

  • 需求拆解:輸入是什麼(modality、大小)、輸出是什麼、延遲與成本的優先序、資料能不能離開本機
  • 判準(至少 3 條),並寫出哪一條權重最大
  • 候選(2–3 個),從你的 model-landscape 挑,每個附一句「為什麼入選」並連回 landscape 那一列
  • 最終選擇與理由,以及「什麼情況下我會換」
  • 驗證計畫:準備幾筆什麼樣的測試資料、用什麼判斷對錯(寫出可以檢查的標準,不是「看起來不錯」)

三個情境:

  • 情境 A:OCR + extraction。 輸入是掃描的發票或表單圖片,輸出是固定欄位的結構化資料。
  • 情境 B:長文件問答。 輸入是一份很長的文件,使用者連續追問,答案要能追溯到原文位置。
  • 情境 C:低延遲本地部署。 資料不能離開公司內網,要在一台記憶體有限的機器上低延遲回答,輸入包含圖片。

過關標準

  • 能回答:這三個情境各自最重要的判準是哪一條?為什麼不是同一條?
  • 能回答:情境 B 為什麼不能只用「context 越大越好」來選?
  • 能回答:每個情境「我會怎麼驗證選型對不對」。
  • 產出:model-selection 的三份選型說明,每份都有判準、候選(連回 landscape)、最終選擇、換 model 的條件與驗證計畫

Deep Dive(選讀)

  • 讀 Anthropic 指南連到的 Combine models(用便宜 model 當 worker、強 model 當 advisor 的組合策略),想想情境 A 能不能用兩階段做法。

Day 40 — 整合 AI Model Landscape,並設計更新機制

今天要回答的問題

怎麼讓這張表在三個月後還能用?這個 Phase 的兩項驗收是否都有可檢查的證據?

主教材(Core)

  • 回顧 Day 34 的 Model Cards(new_version 與 base_model_relation 的說明)與 Day 36 的 Gemini Models(Model deprecations),看文件本身怎麼表示「新版本」與「退役」,預估 25 分鐘
  • 實作(整合、補洞、寫更新機制、自我檢查),預估 90 分鐘

搭配(Companion,選讀)

  • 回頭看 Day 31 blog 的 Finding the right Vision Language Model,想想「leaderboard」在你的更新機制裡該放哪裡(只當線索,還是當欄位)

讀的時候抓這幾個重點

  • 能過期的資訊要標日期,而且要能一眼看出哪格該重查。 價格、context、model 名稱、狀態都會變。表裡每一格有來源與查證日期,是更新的前提。
  • Model card 的 new_version 與 base_model_relation 是現成的更新線索。 Hub 文件說 new_version 會在 model 頁顯示新版連結,base_model_relation 標出 adapter、merge、quantized、finetune。你的更新機制可以借用同樣的概念:每列記「被取代為」與「衍生自」。
  • 文件結構本身是更新的訊號。 Gemini 頁有 Model deprecations、Anthropic 頁有 Retirement 欄、Bedrock 舊頁指向新頁。每一列要記下「去哪一頁查變動」,而不是只記當時的答案。
  • Landscape 是用來選型的,不是用來背的。 驗收是「看到需求,能用它縮小候選」;Day 39 的三份選型說明是這張表有沒有用的實測。

實作

  1. 把 modality-notes、model-card-reading、model-landscape、model-selection 整理到同一個 knowledge base 資料夾,並加一份 README 說明這四份各是什麼、怎麼互相連結。
  2. 檢查 model-landscape:11 家 provider 都在、每列照研究模板填完、每格有來源連結與查證日期、查不到的格子明確標「未查到」或「此頁沒有」。把缺漏列成一份「待補清單」。
  3. 寫 landscape-update-policy:- 多久重查一次(寫你自己能做到的頻率)- 每列的「去哪一頁看變動」- 觸發重查的條件(例如你要開新專案、provider 發出新 model)- 超過多久沒查證就標「過期」
  4. 驗收對照:兩項驗收各自指到哪個檔案、哪幾列或哪幾份,可以讓別人(或一個月後的你)直接檢查。

過關標準

  • 能回答:landscape 裡哪些欄位最容易過期?更新機制怎麼處理?
  • 能回答:兩項驗收各自的證據在哪個檔案?
  • 產出:資料夾 README、model-landscape(11 家、全部有來源與日期)、待補清單、landscape-update-policy,以及一張驗收對照表(驗收項目 → 證據檔案 → 是否完成)

Deep Dive(選讀)

  • 把更新機制寫成一個自己會用的提醒(行事曆或待辦),並在第一次提醒時照政策實際重查三列。