AIGC的
延伸應用介紹
Claire Chang
2024/01/11
20:00 GMT+8
致力於激發女性在科技相關事業精進的社群,
透過舉辦多樣活動,改善資訊科技相關職業女性們的
經驗與處境。
相關連結
INTRO Women Who Code Taipei
/upcoming-events
關於講者
• Claire Chang
• 部落格: https://claire-chang.com/
• Email: cochiachang@gmail.com
• 斜槓人生
• Women Who Code Taipei LEAD
• 福佑天使家庭協會副秘書長
• 多多益善投稿作家
• 特需視覺中心推動家長代表
AIGC 文字/圖片生成系列活動介紹
• 第一周(2023/12/21)
➢介紹AI Generated Content
➢基礎模型介紹
➢AI可大幅提升個人生產力
• 第二周(2023/12/28)
➢深入介紹使用ChatGPT的
Prompt技巧
➢帶著大家實作各種情境下的使
用練習。
• 第三周(2024/01/04)
➢介紹圖像生成與應用
➢主要介紹DELL-E(付費)
➢也會帶到其他圖像生成工具
• 第四周(2024/01/11)
• 詳細介紹ChatGPT的進階應用
• 介紹ChatGPT Plus功能
• 介紹與Line串接的簡單實現
課程連續四周,我們期待在這段時間裡面,您能夠在日常生活中更
多的使用AI工具來完成日常工作項目。相信對您的工作、學習表現
會有很大的幫助!
*
ChatGPT的延伸應用
透過ChatGPT等語言模型作為模型輸入,可輸出音效、音樂、影片等…
語音轉文字、文字轉語音
此為API付費功能
Whisper JAX 免費線上語音轉文字
Whisper
• 完全免費、離線的 AI 影片、語音轉字幕工具,還提供翻譯功能
• 程式下載位置: https://github.com/Const-me/Whisper/releases/tag/1.11.0
• 模型下載位置: https://huggingface.co/ggerganov/whisper.cpp/tree/main
• 建議下載 ggml-medium.bin或ggml-small.bin
Whisper使用範例
SRT file
可直接將產出
的檔案輸出作
為Youtube字
幕
產生影片說明
https://chromewebstore.google.com/detail/youtube-summary-with-chat/nmmicjeknamkfloonkhhcjmomieiodli
文生音效
Audiogen
文生音樂
RAG 檢索增強生成
讓大型語言模型更聰明的秘密武器
甚麼是RAG檢索增強
利用從外部來源獲取的事實來提高生成
人工智慧模型準確性和可靠度的技術
簡單範例
沒有RAG的狀況
有RAG的狀況
是甚麼讓模型變得更聰明
從上圖可以了解,當我們呼叫ChatGPT時,會有幾
項資料可傳入,包括:
1. 引用
2. 上下文
3. Tokens指的是處理您的問題和回答所需的語言單
元數量。
而引用就是將我們的知識庫內容傳入,在問問題時
會自動搜尋知識庫的內容並將有相關的知識一起帶
入問題作為GPT回答的參考。
生成知識庫
超簡單建立專屬Line Bot
只需要透過簡單拖拉,便可讓LINE BOT串接你的ChatGPT
Fancy AI –免費擁有具知識庫的GPT
第一步驟 – 創建OpenAI的API keys
• 創建你的API Keys: https://platform.openai.com/api-keys
第二步驟 – 付款
• 點此付款: https://platform.openai.com/account/billing/overview
• 單次可購買$5~$95美金(也就是最低約150左右)
• OpenAI的API使用需要付費,價格資訊如下: https://openai.com/pricing
可選擇模型的比較
模型 描述 最大代幣數
GPT-3.5-turbo-1106
最強大的 GPT-3.5 模型,並針對聊
天進行了最佳化,成本僅為 text-
davinci-003 的 1/10。
4,096
GPT-3.5-turbo-instruct
更好地理解和回應用戶的指令或要
求。
4,096
GPT-4
比任何 GPT-3.5 模型都更強大,能
夠執行更複雜的任務,並針對聊天
進行了最佳化。
8,192
gpt-4-32k
與基本 gpt-4 模式相同的功能,但
上下文長度是 4 倍。
32,768
甚麼是Token
• 在 API 處理提示之前,輸入會被分解為Tokens 。這些Tokens並
未準確地在單字開始或結束的位置進行切割 - Tokens可以包含尾
隨空格甚至子單字。
• 以下是一些幫助理解Token長度的有用經驗規則:
• 1 個標記 ~= 4 個英文字符
• 1 個令牌 ~= 3/4 個單字
• 100 個標記 ~= 75 個單字
• 或者
• 1-2 句 ~= 30 個標記
• 1 段 ~= 100 個標記
• 1,500 個單字 ~= 2048 個標記
• Token切割測試工具: https://platform.openai.com/tokenizer
第三步驟 – 創建Line Bot帳號
• 與Line串接: https://developers.line.biz/console/
• 找到Providers -> 點選Create創建新的Providers
• 點選你剛剛創建的Providers: https://developers.line.biz/console/provider/{ID}
• 選擇Create a new channel -> Messaging API
第四步驟 – 創建Fancy AI 帳號
• Fancy AI: https://www.fancyai.co/
• 新建一個應用,選擇簡單對話
第五步驟 – 設定與Line的串接
• 設定API秘鑰
• Line Channel Access Token: 瀏覽剛剛創建的Line帳號的頁面
MessageAPI -> Channel access token -> Issue
將出現的字串複製進去
• Line Channel Secret位於Basic settings下方
第六步驟 – 告訴Line要API位置
複製API訪問裡的API
伺服器路徑
將路徑貼至LineBot -> Message
API裡面的 -> Webhook
settings
第七步驟 – 填寫OpenAI的API Key
• 把剛剛第一步驟創建的API Keys填在這邊
第七步驟 – 教機器人你的相關知識
可使用多種方式匯入資料
觀看是否有正確讀到自己的資料
可以從此推估此對話花費
讓Line Bot在
送資料前先搜
尋知識庫
你可以設定只
有在某些狀況、
某些問題才呼
叫OpenAI模型
設定預設回覆、
使用者引導
等…
完成
• 將剛剛創建的機器人加入好友,就可以開始與你的Line Bot對話
囉!
當RPA遇上AI
機器人自動化任務將更加聰明
什麼是RPA
• RPA,全名為「機器人流程自動化」(Robotic Process
Automation),是一種利用軟體機器人(或稱為「機器人」)
來模擬和整合人類與數位系統互動的技術。其目的是自動化業務
流程,特別是那些結構化的、重複性高、且基於規則的任務。
RPA應用範例
https://www.youtube.com/watch?v=nT6a6DZsyig
RPA + AI 應用範例
• 需求: 每周都須定期和主管彙報工作項目與成果
• RPA應用: 透過 ChatGPT 協助撰寫工作週報,並結合 Power
Automate 自動將信件寄出
• 設定RPA處理流程
1. 以手動觸發作業流程
2. 串聯 ChatGPT
3. 編輯功能優化內容
4. 傳送電子郵件
• 請參考網路教學文章
https://vocus.cc/article/6467a536fd897800017bfe9a
常用的RPA工具
1.UiPath
1. 功能:企業級的機器人流程自動化,處理複雜工作流程。
2. 適用:大型企業,高度自定義需求。
3. 成本:較高。成本:免費和付費計劃。
2. Microsoft Power Automate
1. 功能:豐富自動化功能,與Microsoft產品整合佳。
2. 適用:中小企業,尤適Microsoft用戶。
3. 成本:合理,多種訂閱。
3.Make (前Integromat)
1. 功能:連接應用程式,自動化工作流程。
2. 適用:各規模企業,需整合多雲服務者。
3. 成本:靈活定價。
4. Zapier
1. 功能:簡易連接網絡應用,自動化任務。
2. 適用:小型企業、個人。
3. 成本:免費和付費計劃。
使用ChatGPT Plugin來做RPA
讓ChatGPT可串接你的各種檔案庫
與其他應用程式連動 – 通訊錄
Google Contacts ChatGPT Plus
與其他應用程式連動 – 日曆
Google Calendar
ChatGPT Plus
與其他應用程式連動 – Gmail
ChatGPT Plus
Gmail
與其他應用程式連動 – Google 文件
Google 文件
ChatGPT Plus
創建可連接Zapier的GPTs
• 官方建立的相關應用: https://zapier.com/blog/gpt-assistant/
• 創建一個自己的應用的詳細步驟教學:
https://zapier.com/blog/custom-chatgpt/
• 日曆應用: https://chat.openai.com/g/g-8OcWVLenu-
calendar-assistant-gpt
• 教你如何連接的指導機器人: https://chat.openai.com/g/g-
ERKZdxC6D-automation-consultant-by-zapier
與其他應用程式連動 – 文件生成
ChatGPT Plus
自動生成的履歷表
付費版ChatGPT的各種應用
通用模型可適應、使用於各式場景的能力,加上API的串接,後續威力無限
讀取PDF內容,並依指令輸出回應
抓取網路資訊並存成CSV檔案
網頁內容 ChatGPT Plus
網頁內容 ChatGPT Plus
抓取網路資訊並存成CSV檔案
抓取網路資訊並存成CSV檔案
CSV檔案內容
Q&A

4_AIGC的延伸應用介紹.pdf