教育訓練
學習資源
公司簡介
訂閱電子報
ihower 的 Generative AI Engineer 專業教育訓練
大語言模型 LLM (Large Language Model) 是 ChatGPT 背後的技術,透過學習 OpenAI API 和 Prompt Engineering 技能,軟體工程師就可以開發出新時代的生成式 AI 應用。
訂閱電子報,獲得課程精華投影片
Generative AI Engineer 系列一
大語言模型 LLM 應用開發工作坊
(與以下單位合作開課)
ALPHA Camp 線上直播班
2023/11/20~11/27 (已結束)
2024/3/4, 3/6, 3/10 (已結束)
2024/7 (暫定)
加入線上班 Wait List
2024 生成式 AI 年會 實體工作坊
2024/5/23 (尚未開放報名)
五倍學院 台北實體班
2023/9/17 第一梯 (已結束)
2023/10/15 第二梯 (已結束)
2024/1/6 第三梯 (已結束)
加入實體班 Wait List
課程特色
知識最全面
涵蓋範圍最廣最深入,兼顧理論與實務,從 Prompt Design, Prompt Engineering, RAG 到 Agent 面面俱到
課程最精實
上課無冷場無灌水、各種參考資料、補充資料,以及最新生成式 AI 業界消息
範例最通用
範例程式碼使用 Plain Old Python 語法,不依賴特定框架。無論你用何種程式語言,都可以輕易轉換實作
講師介紹
我是 ihower,2002年開始從事 Web App 軟體開發工作,2018年成立
愛好資訊科技有限公司
,專長是
Ruby on Rails
和
Generative AI
技術。
曾在各大型技術研討會擔任講者,參與過 COSCUP、MOPCON、RubyConf Taiwan、RubyConf China、WebConf 等,有多年的軟體開發和教學經驗。
更多資訊
部落格:
https://ihower.tw
學經歷:
Linkedin
Facebook
Twitter
專業證照
edx: Large Language Models 專業認證
edX: LLM Foundation Models from the Ground Up
edX: LLM Application through Production
Elvis's Prompt Engineering for LLMs
Coursera: 台灣大學 機器學習技法
Coursera: 台灣大學 機器學習基石
課程內容
內容可以參考我這份公開投影片:
淺談 Generative AI Engineer 和 LLM 應用開發 Roadmap
工作坊課程會是最新更新版 + 加料超多補充資料 ,並主要著重在 Google Colab Notebook 程式碼講解實作。由於 AI 世界技術進展迅速,本課綱有可能隨時調整。
課程大綱
認識 OpenAI API
什麼是 Temperature 和 Tokenization
Completion API 和 Chat API
GPT-4V API 影像解讀辨識
Text-To-Speech (TTS) API 文字轉語音
DALL-E 3 API 圖片生成
Google Colab 實驗環境 (在瀏覽器中編寫及執行Python 程式碼)
Prompt Engineering 提示工程
撰寫 Prompt (提示詞) 的最佳實務
LLM 的運作原理
Chain of Thought 思維鏈推理
Generated Knowledge 策略
Chaining Prompts 提示鏈串接外部工具
常見用法: 摘要、推理、文本轉換、擴寫
如何做 Evaluation (評估)
如何對付幻覺 Hallucination
現象
檢索增強生成 RAG 應用
使用詞嵌入 Embeddings 做語意搜尋
多模態 Multimodal Embeddings
檢索增強生成 Retrieval Augmentation Generation (RAG)
向量資料庫 Vector Stores
各種進階 RAG 技巧: Query expansion 和 Re-Ranking 等
RAG 評估以及合成評估資料 (Synthetic data)
使用 Dynamic(kNN) Few-Shot Prompting 提升性能
長文本摘要處理
Map Reduce 摘要法
Whisper 語音轉文字,以處理 Podcast 為例
代理人 Agents 應用
什麼是 ReAct Prompting
如何用 Function Calling 做 Agent 串接多外部工具
如何用 Function Calling 搭配 Pydantic 技巧做資料擷取
OpenAI Assistants API
對話 Chatbot 應用
OpenAI Stream 串流輸出,以 Gradio UI 為例
客服 Chatbot
實作 RAG 問答 Chatbot
實作購物車結帳 Chatbot
其他議題
簡介 Google Gemini API 和多模態
LLM 相關的 Ecosystem 工具介紹
LLM Security 和 Prompt Injection 應對方式
淺談 Pre-trained model 和 Fine-tuned 模式
如何微調(Fine-Tuning) 以及合成訓練資料 (Synthetic data)
概述各種模型和服務提供商: OpenAI、Anthropic Claude、Azure OpenAI、Google Vertex AI、AWS Bedrock 和 Hugging Face
Google Colab 程式範例
滿滿三十多個可執行的 Plain Old Python 程式範例,可立即有效執行
Google Colab 程式範例
滿滿三十多個可執行的 Plain Old Python 程式範例,可立即有效執行
上課形式
投影片講述 (大約有100多頁)
Google Colab 示範和講解程式碼 (大約30多個可執行的 notebooks 涵蓋所有主題),這是課程的精華所在,絕非紙上談兵
學員可用 Google Colab 實際操作執行,需自備 OpenAI API Key,若沒有可提供一日 API Key 供練習使用。
課程長度7小時,內容緊湊無冷場
一日實體課程的安排是 9:30~12:00 以及 13:00~17:30 (每小時休息10分鐘)
線上直播課的安排是分成三次上課
課程適合對象
有開發經驗的 Web/Mobile/Desktop 應用程式開發者、軟體工程師,不需要熟悉 Python (課程雖然用 Python 講解,但只會用非常簡單的語法),需有串接 Web APIs 和使用 ChatGPT 的經驗。
不限制任何程式語言背景,本課程特色就是教如何用 OpenAI API 進行串接、學習 Prompting,而不是只教特定程式語言的 AI 框架。
若您沒有任何 App 應用程式開發經驗、沒有串接過 Web APIs,不建議參加此工作坊。
課程內容非常密集、資訊量巨大,不建議看不懂程式碼的初學者參加。
以 API 為界,這張圖描述四種職位,左側偏向機器學習,右側偏向產品應用開發。
本課程的定位是 AI Engineer,而我本身是 Fullstack Engineer 出身,特別了解哪些是開發軟體應用時,需要哪些 AI 知識。
FAQ
Q: 直播課和實體課有什麼差別嗎?
學習教材是沒有差別的,就是上課體驗的差別。線上直播課程會分三個晚上,課後有個作業和社群小聚。實體課則是一天密集上完。
Q: 本課程不包含什麼?
本課程聚焦 LLM AI 應用程式開發所需要的 Prompt Engineering 及 API 串接,因此不會教 ChatGPT 使用、機器學習、深度學習 Transformer 架構、LLM 歷史沿革、AI 趨勢案例、企業 AI 工具導入、AI 個人工作提升、Co-pilot 工具、AI 產品設計、AI UX 等等不是本課程內容。
Q: 課程用什麼程式語言? 是否需要先會 Python?
會用 Python,但不需要事先學習沒關係。Workshop 會提供線上的 Google Colab 範本做練習,上課只要有筆電+瀏覽器就可以,無需煩惱安裝環境。只會用到非常簡單的 Python 語法。只要有寫過 JavaScript, Ruby, PHP, Java, C# 等語言,並有串接 HTTP API 的經驗,上課就沒有問題。
Q: 需要有機器學習和深度學習基礎嗎?
不需要,本課程的目標學員是 Web 全端或後端工程師,無論是何種程式語言專長均可。
Q: 會教 LangChain 這套框架嗎?
不會,本課程盡量直接呼叫 LLM API,而不依賴使用 LangChain。LangChain 是個 PoC 階段開發很方便,但是高度抽象恐不適合上 Production 的框架。 本課程的學員因為能夠確實了解 Prompt 和 Chaining Prompts 的原理,因此無論你的 App 用什麼語言,都可以實作出來。 講者本身使用 Ruby on Rails 來開發 LLM 應用,也不是 Python 專長。
Q: 那會用
OpenAI 的 Python 套件
嗎?
連這個也盡量不會用,因為這個 library 還是做了一些額外的包裝,雖然對 Python 工程師來說很方便,但是因為本課程的準備方向是以非 Python 工程師也能學了之後,用自己熟悉的程式語言實作出來。因此只會用 HTTP request 拿到 JSON、 程式語言只用到字串、數字、陣列、雜湊、函式等等語法而已。
Q: 本課程會做出完整可以立即部署的 app 嗎?
會用
Gradio
做些簡單的 UI 示範,但在緊湊的6-7個小時課程內,主要重點是 Prompt Engineering 和 LLM 的 API 串接,因此不會花時間教 App 開發和部署。例如 WebSocket、LINE Messaging API、Discord Bot、Slack API、Telegram Bot 等即時聊天技術不在本課程範圍。
Q: 會教如何訓練AI模型嗎? 需要自備 GPU 嗎?
不會,也不需要 GPU。本課程不會教如何用地端伺服器(或租用整台雲端伺服器)來訓練、部署模型,這是大公司專門的機器學習工程師才需要的技能跟工作。我們會使用 Token based pricing 的線上 LLM 服務,例如 OpenAI API、Azure OpenAI、Amazon Bedrock、Google Vertex AI Studio 這種根據 Token 用量計費的雲端服務。
本課程會教如何直覺看待 LLM 模型的思維,但就像寫應用程式不需要先學會做出編譯器,寫 LLM AI 應用也不需要知道如何訓練 LLM 模型。
Q: 那會教如何微調大型語言模型微調嗎?
不會教微調原理(PEFT, LoRA 等技術),也不教自行部署模型來做微調,例如透過
PEFT
自己寫 code 來做微調這種不會教,這是機器學習工程師才需要的技能。
會教如何使用 OpenAI API 的微調功能,透過 API 平台商提供的功能來做微調,這種無需自備 GPU 伺服器。這是應用應用軟體工程師能夠上手使用的方式。
學員真實評價
2024/1/6 公開班
2023/11/20 公開班
2023/11/14 精誠資訊 企業內訓
2023/10/15 公開班
Facebook 好評分享
2023/11/20 公開班
https://www.facebook.com/alphacamp.tw/videos/233744843068188/
https://www.facebook.com/alphacamp.tw/posts/766728035495189
2023/10/15 公開班
https://www.facebook.com/gzjian/posts/10161367349284728
2023/9/17 公開班
https://www.facebook.com/zino.jeng/posts/10229489326120603
https://www.facebook.com/kurotanshi/posts/10218776049510763
https://www.facebook.com/muyueh.l/posts/6582221431893702
2023/8/25 AI Builder Day 演講
https://www.facebook.com/ihower/posts/10160656985468971
企業包班、企業內訓
請 E-mail 來信聯繫洽詢: hi@aihao.tw
Generative AI Engineer 系列二
進階 RAG 檢索增強生成 工作坊
此為進階課程,針對 Retrieval Augmentation Generation (RAG) 場景做進一步的探討實作。若您對這門課有興趣,歡迎填寫以下表單,告訴我你對這門課程的期待,若成功開課會優先通知您報名,非常感謝。
課程需求收集
課程大綱(規劃中)
RAG 不只是向量搜尋,相似性不等於相關性
詞嵌入 Embedding 語意搜尋
向量資料庫 Vector Stores 簡介
Chroma, PGVector, Azure AI Search, Google Vertex AI Vector Search
各種進階 RAG 技巧
Indexing 策略
Chunking 技巧,如何實驗出最佳 chunk size
Multi-Vector 策略,使用摘要、Hypothetical Questions、子文件
Hybrid Search 策略
Query transformation 策略
Multi-Query
Sub Questions
Rewrite-Retrieve-Read
HyDE
Metadata Filters: 如何擷取和使用文件 Metadata
各種 Context Enrichment 和 Small-to-big Retrieval 策略
壓縮 Contextual Compression
Re-Ranking 和 Reciprocal Rank Fusion
如何正確檢索圖片、PDF 和 Tabular 資料
如何整合關聯式資料庫 SQL
RAG 的評估方式: Answer Relevance, Context Precision, Context Recall
如何合成評估 RAG 需要的測試資料 (Synthetic data)
各種使用 RAG 的應用
Dynamic Few-Shot Prompting
長文本 Q&A with RAG
RAG-Powered Chatbot
Multi-hop RAG Agent
愛好 AI Engineer 電子報
訂閱電子報
歡迎訂閱
Generative AI Engineer 電子報
📬
,值得閱讀的內容會發這裡。
過往期數
歡迎加入 Telegram 討論群
加入 Telegram 討論群
歡迎加入愛好 LLM 公開群,一起討論生成式 AI 技術最新消息和八卦。
愛好資訊科技有限公司
統一編號:42970112
Copyright 2018-2024 AIHAO Information Technology Co.