大語言模型 LLM 應用開發工作坊

OpenAI API

• Completion API 和 Chat API 的差異
• 什麼是 Temperature 和 Tokenization
• 常見用法: 摘要、推理、文本轉換、擴寫
• 結構化 JSON 輸出和使用 Pydantic 工具
• 幻覺 Hallucination 現象

Multimodal 多模態

• 影像解讀、OCR 文字辨識
• 語音辨識與語音合成
• 圖片生成

Prompt Design 提示詞設計

• 撰寫 Prompt (提示詞) 的最佳實務
• LLM 的運作原理
• Few-Shot 範例設計
• Chain of Thought 思維鏈推理

Reasoning Model 推理模型

• 推理模型與一般模型的差異和適用場景
• 如何調整推理強度 Reasoning Effort

Prompt Engineering 提示工程

• 如何做 Evaluation (評估)
• 如何用 Metaprompt 工具做 Prompt 最佳化
• 示範評估框架 Braintrust 和 promptfoo

LLM Ecosystem

• 概述各種模型和服務提供商: OpenAI、Anthropic Claude、Azure OpenAI、Google Vertex AI、AWS Bedrock
• 開源模型的發展
• 如何看 LLM 評測排行榜
• LLM 相關的 Ecosystem 工具介紹

Chaining Prompts 和 Agentic Workflow

• Chaining Prompts 提示鏈串接外部工具
• 路由 Routing 流程
• 反思 Self-Reflection 流程
• 平行 Parallelization 流程: 長文本摘要
• 協調工作者 Orchestrator-workers 流程: 長文自動拆分子主題進行搜尋和寫作
• Whisper 語音轉文字，以處理 Podcast 為例

Embeddings 詞嵌入

• 使用詞嵌入做語意搜尋和分類
• 如何選擇 Embedding 模型

RAG 檢索增強生成

• Naive RAG 的問題和進階 RAG 實務
• 索引階段的 Chunking 如何切
• 如何處理包含表格和圖表的 PDF
• 向量資料庫 Vector Stores 的選擇

Advanced RAG 進階檢索技術

• 混合檢索 Hybrid Search
• Context Enrichment 生成策略
• Multi-Vector 多重索引策略
• Contextual Embeddings 策略
• 多模態 RAG: 如何處理圖片的索引
• 查詢理解 Query Understanding，包括 Query Rewrite、Query Expansion、HyDE、Sub-Questions 等
• 使用 Reranker 模型實作二階段檢索
• Agentic RAG、Iterative RAG 和 Deep Search
• Long Context RAG 的發展

Function Calling 和 Agent

• 使用 Function Calling 串接多個外部工具
• 什麼是 ReAct Prompting
• 使用 Function Calling 打造 Agent 元件
• 撰寫 Agent Instructions 的最佳實務，如何增強模型呼叫工具的規劃能力
• 實作知識庫 RAG Agent，包括處理複雜的多跳問題
• 實作深度搜尋 Deep Search Agent

Conversational Agent 對話式代理人

• Chatbot 和 Streaming 串流輸出、如何用串流處理結構化輸出
• 實作購物車結帳 Chatbot，引導用戶完成結帳
• 提供 Production-Ready 等級 FastAPI Server 範本程式碼: 非同步、串流處理結構化輸出、前後端分離

Agent using Reasoning Model and Responses API

• OpenAI Responses API 和 Chat Completions API 的差異
• 推理模型應用在 Agent 上的注意事項
• 使用 OpenAI Agents SDK 搭配 FastAPI 開發 Agent

Multi-Agent Patterns 多代理人架構

• 三種基本架構: Handoffs、Sub-agents (Agents as Tools) 和 Agentic Workflow
• Single-Agent 和 Multi-Agent 的選擇判斷、Context 隔離與共享
• 使用 OpenAI Agents SDK 實作多代理人架構
• 常見 Anti-Patterns: 擬人化分工、Router 誤用、視覺化 workflow builder 的反模式
• Token 預算，以及 Prompt Cache 對多輪對話的影響

Security 安全性

• Content Safety 和 Jailbreaking 越獄手法
• Prompt Injection: Direct、Indirect、Prompt Leaking 和指揮鏈 Chain of Command
• 致命三要素 Lethal Trifecta 和 Agents Rule of Two
• RAG 的權限控管，以及檢索內容被當成指示的風險
• OWASP Top 10 for LLM Applications 和 for Agentic Applications
• 三層防禦: Prompt 層、Guardrail 層，以及架構層的設計模式 (Action-Selector、Plan-Then-Execute、Dual LLM 等)
• 人在迴圈 Human-in-the-loop 和自動核准的設計原則

TTFT 和 Prompt Caching

• TTFT (Time To First Token) 延遲最佳化
• Prompt Caching 的運作原理和成本效益

Context Engineering 上下文工程

• Context Window 管理和壓縮策略
• Context Editing 技巧的 Agent 範例

MCP (Model Context Protocol)

• 實作 MCP server 以及 MCP client
• MCP 的痛點，以及仍然適用的場景

Code Actions

• Code Interpreter 和各家 API 實現的對比
• 為什麼 Agent 需要沙箱，以及隔離技術的取捨
• CodeAct: 把計畫直接寫成程式碼
• Code Mode 和 Programmatic Tool Calling (PTC)
• 有檔案系統的沙箱，以及跨 session 的工作區

Agent Skills 和 CLI

• Skill 的定義和三層漸進式揭露
• SKILL.md 的結構和 Frontmatter 規格
• Skill 的設計模式和常見反模式
• Skills、MCP、CLI 的分工，以及如何為 Agent 設計 CLI

Agent Evaluation 評估

• 三種評分方式: 程式打分、人工打分、LLM as Judge
• 合成資料的維度設計和資料集切分
• 錯誤分析 Error Analysis 和人工標註
• Binary Classification Judge、TPR 和 TNR 指標
• RAG 檢索評估: Precision、Recall、RAG Triad 和 Ragas
• Text-to-SQL 評估
• Online Eval: Traces 取樣和生產環境監控

Harness Engineering

• Deep Agent 的六項核心能力: Plan & Todos、Filesystem & Bash、Sub-Agent、Memory、Skills 和更多工具
• Prompt、Context、Harness Engineering 的三層演進
• Guides (前饋) 和 Sensors (回饋)、Generate → Verify → Fix 流程
• 四個介入時機: 工具執行內、Request 之間、單輪結束 Stop Hook、外層 Loop
• 框架選型: Codex SDK、Claude Agent SDK、LangChain / LangGraph、Pydantic AI