大語言模型 LLM 應用開發工作坊

2-1: Agentic Workflow 流程（01:15:54）

包括 Prompt Chaining、Routing、Parallelization、Orchestrator-workers、Evaluator-optimizer 等、Whisper 語音辨識、模型如何使用外部工具、使用 Braintrust 做 LLMOps 監控

• Colab: 以上 Workflow 每個都有程式案例
• Colab: 串接外部工具案例

2-2: Embedding 詞嵌入、Naive RAG、進階 RAG 技術(1)（01:11:20）

切塊 Chunking、挑選 Embedding 模型

• Colab: Embedding 做向量搜尋和分類
• Colab: Naive RAG 以及使用向量資料庫

2-3: 進階 RAG 技術(2)（01:02:22）

多模態 RAG、向量資料庫、RAG 生成策略、多重索引策略、Query 最佳化、二階段檢索策略和 Reranker 模型

• Colab: 財經報告的 Query 最佳化和二階段檢索進階範例

2-4: 進階 RAG 技術(3)（00:55:44）

PDF 解析、Agentic RAG、示範 Deep Search、RAG 評估、LLM 安全性議題

• Colab: 包含表格和圖片的 PDF 解析範例
• Colab: Deep Search 範例
• Colab: RAG 評估範例，使用 Braintrust 評估框架和 Ragas
• Colab: Prompt Injection 範例

3-1: Function Calling、串流輸出 Streaming，完整的 FastAPI 範例（01:22:47）

• Colab: Function Calling 詳細過程示範、ReAct 範例
• Colab: Streaming 範例，包括如何搭配結構化輸出，解析 Partial JSON
• FastAPI 伺服器範例，包括 Streaming 和 Streaming 結構化輸出

3-2: LLM-Based Agent 實作（01:40:02）

使用 OpenAI Agents SDK 開發購物車聊天機器人、實作 RAG 知識庫 Agent、如何提升 Agent 呼叫工具的規劃能力、示範 Deep Search Agent

• Colab: 如何做出 Agent (from scratch)
• Colab: 購物車聊天機器人，引導用戶完成結帳
• Colab: RAG 知識庫 Agent，包括處理複雜的多跳問題

3-3: Multi-Agents 架構（01:17:38）

使用 OpenAI Agents SDK 實作 Handoffs、Agents as Tools、Deterministic workflow、Parallelization (Orchestrator-workers)、Human-in-the-loop、Self-Reflection、Guardrails 等模式

• Colab: 以上每種架構都有程式案例

3-4: Agent 相關技術（01:13:13）

包括 Code Interpreter、Computer Use、MCP、CodeAct、評估 Agent 等

• Colab: Code Interpreter、MCP Server 和 MCP Client 示範

3-5: 簡介模型是如何訓練出來的、如何用 OpenAI 做微調（00:24:41）

• Colab: OpenAI SFT 微調

4-1: OpenAI Agents SDK + FastAPI、OpenAI Responses API（01:14:14）

• 在 FastAPI 上開發 Agent
• Colab: Responses API 範例

4-2: Context Engineering 上下文工程（00:58:35）

• 使用 Context Editing 技巧的 Agent 範例

4-3: Agent Eval 評估、前後端整合發展、TTFT 和 Prompt Caching（01:14:40）

• Guardrail 評估範例，包括合成問題、資料標注、資料集拆分、評估 TPR/TNR 指標、DSPy 最佳化

4-4: RAG 最新發展和 Recall 評估（00:44:54）

• Recall 評估範例，包括合成問題，評估嵌入模型、Top-k、切塊大小的 Recall 和 MRR 指標