首頁
訂閱電子報
Generative AI Engineer 之
大語言模型 LLM 應用開發工作坊
大語言模型 LLM (Large Language Model) 是 ChatGPT 背後的技術，透過學習 OpenAI API 和 Prompt Engineering 技能，軟體工程師就可以開發出新時代的生成式 AI 應用。
呼叫 API 能有什麼難的? 當你想真正開發 AI 應用時，就會發現有許多背景知識需要補齊。有一堆新的專有術語，不明覺厲的函式庫和 arXiv 論文，讓人摸不著頭緒。這門課將提供清晰且完整的指南，帶你進入 AI 應用開發的領域。
直播錄影回放 販售中！
📺 課程內容
本課程為 2025/4/26、2025/5/3、2025/5/10 三場直播課程的完整錄影回放與數位教材，您將獲得：
  1. Google Drive 資料夾連結: 內含 PDF 課程投影片與 Python 範例程式碼
  1. 課程錄影 MP4 檔案: 總時長 14 小時 35 分鐘，滿滿的投影片講解、程式碼 Walkthrough 和各種 Live demo。總時長不含直播最後的問答環節，學員 QA 另有詳細的文字回答在 Slido 上。
  1. Slido 問答頁面: 收錄直播期間學員提問與講師回覆，錄影回放票也可持續提問至本期課程下架停售為止
💡 下一期新的直播課程，可享有老鳥回訓票半價優惠。
💰 課程費用
  • 一般票 TWD 8,400 /每人
  • 老鳥回訓票(之前曾參加過 ihower 付費工作坊) TWD 4,200 /每人
📌 為什麼老鳥值得回訓？
AI 技術更新飛快，幾個月就有大變化，每次備課都會根據最新進展進行更新調整，內容與 2024 年上課版本又大為不同。為了讓老鳥持續保持技術領先，我們提供回訓票半價優惠，邀您一起精進再進化。
⚠️ 注意：此課程的直播錄影主要使用 OpenAI GPT-4.1 模型，已經有點過時。OpenAI 已於 2025 年 8 月新推出 GPT-5 以及開源的 gpt-oss 模型。下一期課程預計在 2025 Q4 開課，內容將全面更新至新模型，並預計針對 Agent 章節進一步強化推理模型的實作內容。
您可以考慮：
  • 先買本期錄影追到 2025 Q2 的 AI 發展進度: 之後參加新版課程可享半價回訓優惠(下一期會調漲價格)
  • 或是就等下一期再參加
⚠️ 不同於事先錄製的光鮮亮麗線上課程，此為三場線上直播課程的錄影，內容未經剪接與後製，你會看到講師即時操作、學員即時發問，當然也會有 live demo 的一點點意外，完整呈現真實的上課過程。
🎬 課程教材和直播錄影總覽
  • 📄 課程投影片 PDF: 共 390 頁，系統性整理開發 LLM 應用所需的知識脈絡
  • 💻 Python 程式範例: 共 30 個 Google Colab 範例，可立即執行練習，示範怎麼做出來
  • 🧪 Prompting 評估工具範例: 包含 Langsmith、Braintrust、Promptfoo 三套工具範例
  • 🌐 Production-Ready 的伺服器程式範例: 以 FastAPI 實作 Streaming 串流，前後端分離
  • 📺 直播課程錄影: 總時長 14 小時 35 分鐘，明細如下:
Day 1 課程影片
  • 1-1: OpenAI API 基礎、溫度、Tokenizer、OpenAI Model Spec（01:04:31）
  • 🧪 Colab 實作: Chat API、System Message、簡易 Chatbot app、常見用法
  • 1-2: JSON 結構化輸出、多模態模型、Prompt 設計、Few-Shot、CoT、LLM 運作原理、如何處理幻覺（01:10:23）
  • 🧪 Colab 實作: JSON mode 和 Structured Outputs
  • 🧪 Colab 實作: 示範多模態 TTS、圖片生成、圖片解讀、OCR、Structured Outputs 搭配 Pydantic 解析 PDF
  • 🧪 Colab 實作: 示範 Few-Shot 和各種 CoT 技巧
  • 1-3: 推理模型、Prompt Engineering、評估驅動開發、自動化評估、評估框架（01:28:00）
  • 🧪 Colab 實作: 使用推理模型範例
  • 🧪 Colab 實作: 以書籍分類為例，示範提示詞工程的過程，包括準確率評估和 LLM-as-a-Judge，並用 LangSmith 和 Promptfoo 示範評估框架畫面
  • 1-4: LLM Ecosystem、開源模型、LLM 評測排行榜、簡介本機部署方案（00:29:08）
Day 2 課程影片
  • 2-1: Agentic Workflow 流程，包括 Prompt Chaining、Routing、Parallelization、Orchestrator-workers、Evaluator-optimizer 等、Whisper 語音辨識、模型如何使用外部工具、使用 Braintrust 做 LLMOps 監控（01:15:54）
  • 🧪 Colab: 以上 Workflow 每個都有程式案例
  • 🧪 Colab: 串接外部工具案例
  • 2-2: Embedding 詞嵌入、Naive RAG、進階 RAG 技術(1): 切塊 Chunking、挑選 Embedding 模型（01:11:20）
  • 🧪 Colab: Embedding 做向量搜尋和分類
  • 🧪 Colab: Naive RAG 以及使用向量資料庫
  • 2-3: 進階 RAG 技術(2): 多模態 RAG、向量資料庫、RAG 生成策略、多重索引策略、Query 最佳化、二階段檢索策略和 Reanker 模型 (01:02:22）
  • 🧪 Colab: 財經報告的 Query 最佳化和二階段檢索進階範例
  • 2-4: 進階 RAG 技術(3): PDF 解析、Agentic RAG、示範 Deep Search、RAG 評估、LLM 安全性議題 (00:55:44）
  • 🧪 Colab: 包含表格和圖片的 PDF 解析範例
  • 🧪 Colab: Deep Search 範例
  • 🧪 Colab: RAG 評估範例，使用 Braintrust 評估框架和 Ragas
  • 🧪 Colab: Prompt Injection 範例
Day 3 課程影片
  • 3-1: Function Calling、串流輸出 Streaming，完整的 FastAPI 範例（01:22:47）
  • 🧪 Colab: Function Calling 詳細過程示範、ReAct 範例
  • 🧪 Colab: Streaming 範例， 包括如何搭配結構化輸出，解析 Partial JSON
  • 🧪 FastAPI 伺服器範例，包括 Streaming 和 Streaming 結構化輸出
  • 3-2: LLM-Based Agent 實作、使用 OpenAI Agents SDK 開發購物車聊天機器人、實作 RAG 知識庫 Agent、如何提升 Agent 呼叫工具的規劃能力、示範 Deep Search Agent（01:40:02）
  • 🧪 Colab: 如何做出 Agent (from scratch)
  • 🧪 Colab: 購物車聊天機器人，引導用戶完成結帳
  • 🧪 Colab: RAG 知識庫 Agent，包括處理複雜的多跳問題
  • 3-3: Multi-Agents 架構，使用 OpenAI Agents SDK 實作 Handoffs、Agents as Tools、Deterministic workflow、Parallelization (Orchestrator-workers)、Human-in-the-loop、Self-Reflection、Guardrails 等模式 (01:17:38）
  • 🧪 Colab: 以上每種架構都有程式案例
  • 3-4: Agent 相關技術，包括 Code Interpreter、Computer Use、MCP、CodeAct、評估 Agent 等（01:13:13）
  • 🧪 Colab: Code Interpreter、MCP Server 和 MCP Client 示範
  • 3-5: 簡介模型是如何訓練出來的、如何用 OpenAI 做微調（00:24:41）
  • 🧪 Colab: OpenAI SFT 微調

公開班(202504)學員的真實評價和推薦

這門LLM 應用開發工作坊真的讓我收穫超多。最大的感受是內容很紮實，每一段都講重點，學起來很踏實。最棒的是可以直接實作，邊學邊做，學到的東西馬上能應用在自己的專案上，完全不是那種聽了很熱血但事後忘光的課。老師也超有戰鬥力，問問題幾乎都是即時回覆，還會給你延伸的建議，讓人很有繼續學下去的動力。再來，這次因為是老師獨立開課，課程安排上感覺多說了很多細節，對上班族超讚，也提供錄影檔案回放，想到就能回來補課、複習，不怕被時間追著跑。過程中，學到很多額外的新知識，像是進階RAG、最新的OpenAI Agent結構、多代理人、MCP這些以前不熟的概念，老師都講得清楚又實用，真的很推這門課。如果你對 AI 應用開發有興趣，這門課值得花時間深耕！ 課程內容很豐富，老師也很即時地解答學員的問題。教材和工具涵蓋了各種應用，還有老師的經驗分享，還有一些新技術的介紹，真的很實用！ 課程內容十分充實，收穫總比預期的更多，真的是很棒的課程 謝謝老師, 真的收穫滿滿, 希望以後還有機會多聽老師的課充實 AI 和 LLM 的新知 這三天下來收穫很多，不管是 LLM 的介紹，Prompt 的應用，還是最後結合 Agent 的使用，老師的講解非常仔細。雖然三天下來都超時，但能保證老師沒有馬虎，都盡量提供我們最新和最完整的內容，期待下次老師能帶給我們更棒的課程 ! ihower老師的課程絕對讓你值回票價,滿滿的實作技巧絕對讓你上完課就能立即上手 課堂中讓我印象最深的，是一個結合 agent 與 function calling 的線上書店 AI 客服機器人。它能夠協助並引導用戶選書、查詢庫存、解決問題，像是補齊送貨地址等情況，幾乎不用人工介入。這個例子看似簡單，卻反映出一個常見且具體的現實需求。從互動體驗來看，技術上已經相對成熟，能有效處理整個服務流程。即使身為開發者，看到這樣的應用實作，仍然感到十分驚艷！ 非常實用 把目前很零散的東西都整理得很棒 理論跟實務都有兼顧 比起一些只教langchain 的課程值得太多囉 老師的教材整理得很詳盡，搭配程式碼的說明，非常好! 感謝完全無私奉現自己的心得和經驗，內容超充實，收獲良多。 上過好幾位老師的LLM串接，是目前看到最完整的且提供詳細Colab範例程式的 課程非常豐富，建議預留好課前自習、課後複習的時間。非常適合工程師更進一步瞭解LLM及相關趨勢的一門課，同學程度由淺到深都有。 66.7 % 覺得難度剛好 29.2% 覺得難度稍微深 58.3% 覺得授課節奏剛好 41.7 % 覺得授課節奏偏快

課程特色
知識最全面
涵蓋範圍最廣最深入，兼顧理論與實務，從 Prompt Design, Prompt Engineering, RAG 到 Agent 面面俱到
課程最精實
上課無冷場無灌水、各種進階內容、實戰內容、參考資料、補充資料，以及最新生成式 AI 業界消息
範例最通用
範例程式碼單純使用 Python 和 OpenAI 官方 Python SDK，不依賴第三方特定框架。無論你熟悉何種程式語言，都可以理解其運作原理，而不是在學特定框架用法。
講師介紹
我是 ihower，2002年開始從事 Web App 軟體開發工作，2018年成立愛好資訊科技有限公司，專長是 AI Engineering 和 Ruby on Rails 技術。
除了軟體開發，也經常做技術分享和教育訓練，在 ALPHACamp 擔任多年程式講師，並在各大型技術研討會擔任講者，參與過 COSCUP、MOPCON、RubyConf Taiwan、RubyConf China、WebConf 等。
我經營的 AI 工程主題電子報《愛好 AI Engineer》，定期分享技術文章、實作經驗與應用案例，已成為眾多 AI 工程師與開發者的重要知識來源。
同時，我也是 OpenAI Agents SDK 的積極開源貢獻者(詳見 Commits 和 Pull Requests 成果)，與全球開發者共同完善 LLM 應用開發框架，推動 AI 工程實務發展。
課程內容
全面了解如何使用 OpenAI API 來開發基於 LLM 的各種 AI 應用開發的知識
簡要內容可以參考我這份公開投影片: 淺談 Generative AI Engineer 和 LLM 應用開發 Roadmap
工作坊課程會是最新更新版，包括將近 400 頁的投影片講義，以及 Google Colab Notebook (在瀏覽器中編寫及執行Python 程式碼) 講解實作。由於 AI 世界技術進展迅速，本課綱有可能隨時調整。
課程大綱
認識 OpenAI API
  • 什麼是 Temperature 和 Tokenization
  • Completion API 和 Chat API
  • 常見用法: 摘要、推理、文本轉換、擴寫
  • 多模態模型，包括影像解讀、OCR 文字辨識、語音辨識、語音合成等示範
  • 推理型模型 Reasoning Model
  • 幻覺 Hallucination 現象
  • 結構化 JSON 輸出和使用 Pydantic 工具
  • 簡介 LLM Security 和 Prompt Injection
Prompt Engineering 提示工程
  • 撰寫 Prompt (提示詞) 的最佳實務
  • LLM 的運作原理
  • Chain of Thought 思維鏈推理
  • 如何做 Evaluation (評估)
  • 如何用 Metaprompt 工具做 Prompt 最佳化
  • 示範評估框架 Braintrust 和 promptfoo
Chaining Prompts 和工作流程
  • Chaining Prompts 提示鏈串接外部工具
  • 路由 Routing Prompt 流程
  • 反思 Self-Reflection 流程
  • 平行 Parallelization 流程: 長文本摘要
  • 協調工作者 Orchestrator-workers 流程: 長文自動拆分子主題進行搜尋和寫作
  • Whisper 語音轉文字，以處理 Podcast 為例
檢索增強生成 RAG 應用
  • 使用詞嵌入 Embeddings 做語意搜尋
  • Native RAG 的問題和進階 RAG 實務
  • 索引階段的 Chunking 如何切
  • 如何處理包含表格和圖表的 PDF
  • 多模態 RAG: 如何處理圖片的索引
  • 向量資料庫 Vector Stores 的選擇
  • 混合檢索 Hybrid Search
  • Context Enrichment 生成策略
  • Multi-Vector 多重索引策略
  • Contextual Embeddings 策略
  • 查詢理解 Query Understanding，包括 Query Rewrite、Query Expansion、HyDE、Sub-Questions 等等
  • Agentic RAG、Iterative RAG 和 Deep Search
  • RAG 如何做評估
  • 檢索指標 Precision 和 Recall
  • 認識 RAG Triad 評估以及 Ragas 評估
  • Long Context RAG 的發展
對話 Chatbot 和 Agents 應用
  • 使用 Function Calling 串接多外部工具
  • 什麼是 ReAct Prompting
  • 使用 Function Calling 打造 Agent 元件
  • Chatbot 和 Streaming 串流輸出、如何用串流處理結構化輸出
  • 提供 Production-Ready 等級 FastAPI Server 範本程式碼: 非同步、串流處理結構化輸出、前後端分離
  • 撰寫 Agent Instructions 的最佳實務，如何增強模型 Function Calling 的規劃能力
  • 實作購物車結帳 Chatbot
  • 實作知識庫 RAG Agent
  • 實作深度搜尋 Deep Search Agent
  • Multi-Agents 的原理，以及 Agentic Workflow 和 Multi-Agents 的各種架構
  • 使用 OpenAI Agents SDK 實作多代理人架構:包括 Handoffs、Agents as Tools、Deterministic workflow Parallelization (Orchestrator-workers)、Human-in-the-loop、Self-Reflection、Guardrails 等等常見架構
  • 示範 Computer Use 工具
  • 示範 Code Interpreter 工具
  • Model Context Protocol (MCP): 實作 MCP server 以及 MCP client
  • 簡介 Agent 如何評估
認識 LLM Ecosystem
  • 概述各種模型和服務提供商: OpenAI、Anthropic Claude、Azure OpenAI、Google Vertex AI、AWS Bedrock
  • 開源模型的發展
  • 如何看 LLM 評測排行榜
  • LLM 相關的 Ecosystem 工具介紹
模型訓練和微調
  • 淺談模型是如何訓練的: Pre-training 和 Post-training, SFT, RL, RLHF
  • 簡介 OpenAI 提供的微調功能
  • 何時用微調或 RAG 來增強模型能力?
Google Colab 程式範例
滿滿三十個可執行的 Python 程式範例，可立即有效執行
Google Colab 程式範例
將近三十個可執行的 Python 程式範例，均可有效執行
上課形式
  • 投影片講述 (大約近400頁)
  • Google Colab 示範和講解程式碼 (將近30個可執行的 notebooks 涵蓋所有主題)，這是課程的精華所在
  • 學員可用 Google Colab 實際操作執行，需自備 OpenAI API Key，若沒有可提供一日 API Key 供練習使用。
  • 線上班包含 QA 總長度約 15 小時
課程適合對象
有開發經驗的 Web/Mobile/Desktop 應用程式開發者、軟體工程師，不需要熟悉 Python (課程雖然用 Python 講解，但只會用簡單的語法)，需有串接 Web APIs 和使用 ChatGPT 的經驗。
不限制任何程式語言背景，本課程特色就是教如何用 OpenAI API 進行串接、學習 Prompting，而不是只教特定程式語言的 AI 框架。
這不是一堂輕鬆的課: 這堂課不是快快樂樂看短影片覺得有在學習，而是希望你能一邊流汗、一邊苦撐跟上節奏，最後收穫滿滿、腦袋爆炸但超有成就感的實戰課。
若您沒有任何 App 應用程式開發經驗、沒有串接過 Web APIs、甚至看不懂程式碼的話，不建議報名此課程。本工作坊內容非常密集、資訊量巨大，非資訊專業的程式初學者恐跟不上進度。
課程定位
以 API 為界，這張圖(出處)描述四種職位，左側偏向機器學習，右側偏向產品應用開發。
本課程的定位是 AI Engineer 工程師、需要開發 AI App 的從業人員。我本身是 Fullstack Engineer 出身，特別了解哪些是開發軟體應用時，需要哪些 AI 知識。
這張圖(出處)描述了 AI Stack 包括有四層: 應用層、開發層、模型層、基礎設施。
本課程明確定位在 Application development 應用開發，如何寫 code 呼叫模型 API 來打造 app 應用。因此不包括如何使用 AI 工具、Transformer 模型理論、模型訓練、模型部署等內容不在課程範圍內。
FAQ
Q: 本課程不包含什麼?
本課程聚焦 LLM AI 應用程式開發所需要的 Prompt Engineering、RAG、Agents 知識以及 API 串接，因此不會教 ChatGPT 入門使用、機器學習理論、LLM 歷史沿革、深度學習 Transformer 架構、模型訓練、AI 趨勢案例、企業 AI 工具導入、AI 個人工作提升、AI 產品設計、AI UX、AI Coding、Vibe Coding 等等不是本課程內容。本課程會教如何直覺看待 LLM 模型的思維，但就像寫應用程式不需要先學會做出編譯器，寫 LLM AI 應用也不需要先學會如何做出深度學習模型。
Q: 課程用什麼程式語言? 是否需要先會 Python?
會用 Python，但不需要事先學習沒關係。Workshop 會提供線上的 Google Colab 範本做練習，上課只要有筆電+瀏覽器就可以，無需煩惱安裝環境。只會用到簡單的 Python 語法。只要有寫過 JavaScript, Ruby, PHP, Java, C# 等語言，並有串接 HTTP API 的經驗，上課就沒有問題。
Q: 需要有機器學習和深度學習基礎嗎?
不需要，只要會寫程式，無論是何種程式語言專長均可。
Q: 會教 LangChain 或 Llamaindex 框架嗎?
不會，本課程偏好直接呼叫 LLM API，以及使用 OpenAI 官方提供的 Python SDK。不依賴第三方例如 LangChain、LlamaIndex 等應用框架。這些複雜的框架經常過度抽象和封裝，不但限制了修改彈性，也增加了除錯的難度。花時間學習框架，你只是花大部分的時間在學習框架專屬的 API 如何使用，而非確實了解 Prompt 和 Chaining Prompts 的原理。
Q: 會教地端開源模型嗎? 需要自備 GPU 嗎?
不會，本課程主要使用 OpenAI API，不需要自備 GPU。本課程不會教如何使用地端開源模型，因為目前自架開源模型來開發 AI 應用，在效能和 API 功能上仍有不少限制，往往事倍功半。因此暫時還不在課程範圍內。現階段建議使用線上的 LLM API 服務，例如 OpenAI API、Azure OpenAI、Google Gemini API、Amazon Bedrock 這種根據 Token 用量計費的雲端服務。
Q: 會教如何微調大型語言模型嗎?
不會教微調技術(PEFT, LoRA 等)，也不會教自行部署開源模型做微調，例如透過 PEFT 自己寫 code 來做微調這種不會教，這是機器學習工程師才需要的技能。
會介紹如何使用 OpenAI API 的微調功能，透過 API 平台商提供的功能來做微調，這種無需自備 GPU 伺服器。這是應用應用軟體工程師能夠上手使用的方式。
Q: 這些知識不是 ChatGPT 或網路就能找到嗎？為何要付費?
A: 還真不行。
  1. 內容更新即時: 課程內容緊跟 AI 工程最新實務，很多技巧網路上還沒有，更不在大模型 LLM 的訓練資料裡面。
  1. 過濾錯誤與迷思: 網路資訊良莠不齊，太多內容只是紙上談兵。錯誤和過時做法也非常多，一年前的 AI 開發做法可能已經過時，課程會給你最新驗證過的最佳實務。
  1. 實戰經驗與系統化整理: 來自真實專案的經驗與取捨，系統化整理，節省你反覆試錯的時間。
本課程特別適合想要深入了解各種做法的優缺點、想比較不同實作策略的開發者。針對同一個問題，課程會講解並示範多種思路，帶你理解為什麼這樣設計、何時該用哪種方式，幫助你靈活應用在自己的開發專案中。相對地，本課程不適合只想「無腦安裝一個開源套件，學如何設定，能跑就好」的工程師，這門課可能會不太符合你的期待。
生成式 AI 工程是近幾年的全新領域，和已經發展數十年的 App 應用開發不同，最佳實務只有親身實作過的人才知道。這堂課讓你少走彎路、快速全面理解上手。
過往開課紀錄
(與以下單位合作開課)
  • 2024/5/23 (已結束)
  • 2023/9/17 第一梯 (已結束)
  • 2023/10/15 第二梯 (已結束)
  • 2024/1/6 第三梯 (已結束)
  • 2023/11/20~11/27 第二梯 (已結束)
  • 2024/3/4~3/10 第一梯 (已結束)
學員課後評價
2024/5 公開班
2024/3 公開班
2024/1 公開班
2023/11 公開班
2023/11 精誠資訊 企業內訓
2023/10 公開班
學員公開貼文分享
  • 2025/4/26 公開班
  • 2024/3/4 公開班
  • 2023/11/20 公開班
  • 2023/10/15 公開班
  • 2023/9/17 公開班
  • 2023/8/25 AI Builder Day 演講
企業包班、企業內訓
請 E-mail 來信聯繫洽詢報價: [email protected]
愛好 Generative AI Engineer 知識庫
愛好 AI Engineer 電子報
歡迎加入 Telegram 討論群
歡迎加入愛好 LLM 公開群，一起討論生成式 AI 技術最新消息和八卦。
愛好資訊科技有限公司
統一編號：42970112
Copyright 2018-2025 AIHAO Information Technology Co.
Made with