SlideShare a Scribd company logo
1 of 12
Download to read offline
淺談 Azure OpenAI
用一個小熊故事機做範例
Ko Ko, Microsoft AI MVP
2023/08/30 @Generative AI 小聚 @Fourdesire
關於 Ko Ko
● 就叫我 Ko Ko 或是科科吧。
● 連續四年當選 Microsoft AI MVP。
● 國內外大型技術年會講師,包含 COSCUP、ModernWeb、名古屋開源年會、香港
開源年會、PyCon APAC、PyCon HK、DevDays Asia 等等的活動。
● 合著有《駕馭 ChatGPT 4: 探索 Azure OpenAI 與 Cognitive Service for Language
開發實踐 (使用.NET 與 Node.js)》
● https://linktr.ee/qqkerk
LIVE DEMO Azure Open AI 基本操作
LIVE DEMO 小熊故事機
LIVE DEMO 重點整理
1. Azure Open AI 概覽。
2. Azure Open AI 的程式重點。
3. Azure Speech Studio 概覽。
4. Azure Speech 的程式重點。
地方爸爸就不用買小熊故事機了!
(但是為了 yoyo 台的歌....
其他 Azure Open AI 重點
1. Service Level Agreements (SLA) 保證 99.9%:一年只會停機累計8.76 小時
2. Azure Open AI 需要額外申請:https://aka.ms/oai/access
3. API 大部份和 Open AI 都一樣,但是還是有小部份功能上的不同。
4. 微軟聲稱不會把你的資料拿去使用。
5. Open AI 和 Azure Open AI 的回應速度差異
:https://gptforwork.com/tools/openai-api-and-other-llm-apis-response-time-tracker
Azure Open AI 可能踩雷的地方
1. API 版本之間有微小差異,記得讀一下文件
https://learn.microsoft.com/en-us/azure/ai-services/openai/reference
2. 因為 Azure Open AI 可以設定成只在 virtual net 裡使用、或是指定特定 IP 才能
用,所以打 API 沒反應時可以檢查這段是否設定正確。
3. LangChain 那邊的參數名稱要注意。
2023-03-15-preview V.S. 2023-08-01-preview
小熊故事機的 Road map
1. 音檔上傳至 Azure Blob
2. 提供回放功能
3. 更多元素設定,如場景、聲音
4. UI 優化
5. 整進 LINE LIFF 裡
天瓏書局七月銷售排行第二名
第一本針對軟體工程師所撰寫之 ChatGPT 專書
用 .NET 和 Node.JS 雙語言範例程式碼
第一本針對 Azure OpenAI 所撰寫之專書
第一本針對 Cognitive Service for Language 專書
第一本教你如何 Fine tune GPT 模型之專書
第一本教你 Semantic Kernel 與 RAG pattern 專書
大量範例與實戰,連最新的 Bring your own data 都有
謝謝大家
Q&A

More Related Content

Similar to 20230830 淺談 Azure OpenAI.pdf

程式交易面面觀
程式交易面面觀程式交易面面觀
程式交易面面觀Philip Zheng
 
Introduction to MLOps in Azure Machine Learning with Live Demo
Introduction to MLOps in Azure Machine Learning with Live DemoIntroduction to MLOps in Azure Machine Learning with Live Demo
Introduction to MLOps in Azure Machine Learning with Live DemoKo Ko
 
認識程式交易
認識程式交易認識程式交易
認識程式交易Philip Zheng
 
玩轉 .NET Interactive Notebooks 一次就上手
玩轉 .NET Interactive Notebooks 一次就上手玩轉 .NET Interactive Notebooks 一次就上手
玩轉 .NET Interactive Notebooks 一次就上手Poy Chang
 
微軟 Hololens 混合現實平台開發
微軟 Hololens 混合現實平台開發微軟 Hololens 混合現實平台開發
微軟 Hololens 混合現實平台開發Edward Kuo
 
iThome Modern Web 2018: 如何打造高效的機器學習平台
iThome Modern Web 2018: 如何打造高效的機器學習平台iThome Modern Web 2018: 如何打造高效的機器學習平台
iThome Modern Web 2018: 如何打造高效的機器學習平台Evan Lin
 
容器式高效率 ChatBot 開發方法
容器式高效率 ChatBot 開發方法容器式高效率 ChatBot 開發方法
容器式高效率 ChatBot 開發方法Philip Zheng
 
2021 MOPCON - 行動化解決方案的技術選型, 交給 Line Bot 來搞定
2021 MOPCON - 行動化解決方案的技術選型, 交給 Line Bot 來搞定2021 MOPCON - 行動化解決方案的技術選型, 交給 Line Bot 來搞定
2021 MOPCON - 行動化解決方案的技術選型, 交給 Line Bot 來搞定Kyle Shen
 
從 GitHub Copilot 到 Enterprise Copilot:打造符合企業需求的智能開發助手之路 | .NET Conf 2023 Taiwan
從 GitHub Copilot 到 Enterprise Copilot:打造符合企業需求的智能開發助手之路 | .NET Conf 2023 Taiwan從 GitHub Copilot 到 Enterprise Copilot:打造符合企業需求的智能開發助手之路 | .NET Conf 2023 Taiwan
從 GitHub Copilot 到 Enterprise Copilot:打造符合企業需求的智能開發助手之路 | .NET Conf 2023 TaiwanAlan Tsai
 
Angular Conf 2018 - 原來 Angular 可以這樣玩設定
Angular Conf 2018 - 原來 Angular 可以這樣玩設定Angular Conf 2018 - 原來 Angular 可以這樣玩設定
Angular Conf 2018 - 原來 Angular 可以這樣玩設定Poy Chang
 
Trading bot演算法與軟工在程式交易上的實踐
Trading bot演算法與軟工在程式交易上的實踐Trading bot演算法與軟工在程式交易上的實踐
Trading bot演算法與軟工在程式交易上的實踐Philip Zheng
 
20171013 物聯網網哪走?IoT總體趨勢面面觀
20171013 物聯網網哪走?IoT總體趨勢面面觀20171013 物聯網網哪走?IoT總體趨勢面面觀
20171013 物聯網網哪走?IoT總體趨勢面面觀m12016changTIIMP
 
twMVC#42 讓我們用一種方式來開發吧
twMVC#42 讓我們用一種方式來開發吧twMVC#42 讓我們用一種方式來開發吧
twMVC#42 讓我們用一種方式來開發吧twMVC
 
理財機器人技術簡介與實作經驗分享
理財機器人技術簡介與實作經驗分享理財機器人技術簡介與實作經驗分享
理財機器人技術簡介與實作經驗分享Philip Zheng
 
用 Go 語言 打造微服務架構
用 Go 語言打造微服務架構用 Go 語言打造微服務架構
用 Go 語言 打造微服務架構Bo-Yi Wu
 
理財機器人技術簡介與實作經驗分享
理財機器人技術簡介與實作經驗分享理財機器人技術簡介與實作經驗分享
理財機器人技術簡介與實作經驗分享Philip Zheng
 
Bot Framework 和它的快樂夥伴Composer
Bot Framework 和它的快樂夥伴ComposerBot Framework 和它的快樂夥伴Composer
Bot Framework 和它的快樂夥伴ComposerKo Ko
 
03 azure devops pipeline - release
03 azure devops pipeline - release03 azure devops pipeline - release
03 azure devops pipeline - releaseAlan Tsai
 
OpenAI ChatGPT techtalk .pptx
OpenAI ChatGPT techtalk .pptxOpenAI ChatGPT techtalk .pptx
OpenAI ChatGPT techtalk .pptxSimmy41
 
業界都在用的自然語言理解工具,教你快速建構Line對話機器人
業界都在用的自然語言理解工具,教你快速建構Line對話機器人業界都在用的自然語言理解工具,教你快速建構Line對話機器人
業界都在用的自然語言理解工具,教你快速建構Line對話機器人Ko Ko
 

Similar to 20230830 淺談 Azure OpenAI.pdf (20)

程式交易面面觀
程式交易面面觀程式交易面面觀
程式交易面面觀
 
Introduction to MLOps in Azure Machine Learning with Live Demo
Introduction to MLOps in Azure Machine Learning with Live DemoIntroduction to MLOps in Azure Machine Learning with Live Demo
Introduction to MLOps in Azure Machine Learning with Live Demo
 
認識程式交易
認識程式交易認識程式交易
認識程式交易
 
玩轉 .NET Interactive Notebooks 一次就上手
玩轉 .NET Interactive Notebooks 一次就上手玩轉 .NET Interactive Notebooks 一次就上手
玩轉 .NET Interactive Notebooks 一次就上手
 
微軟 Hololens 混合現實平台開發
微軟 Hololens 混合現實平台開發微軟 Hololens 混合現實平台開發
微軟 Hololens 混合現實平台開發
 
iThome Modern Web 2018: 如何打造高效的機器學習平台
iThome Modern Web 2018: 如何打造高效的機器學習平台iThome Modern Web 2018: 如何打造高效的機器學習平台
iThome Modern Web 2018: 如何打造高效的機器學習平台
 
容器式高效率 ChatBot 開發方法
容器式高效率 ChatBot 開發方法容器式高效率 ChatBot 開發方法
容器式高效率 ChatBot 開發方法
 
2021 MOPCON - 行動化解決方案的技術選型, 交給 Line Bot 來搞定
2021 MOPCON - 行動化解決方案的技術選型, 交給 Line Bot 來搞定2021 MOPCON - 行動化解決方案的技術選型, 交給 Line Bot 來搞定
2021 MOPCON - 行動化解決方案的技術選型, 交給 Line Bot 來搞定
 
從 GitHub Copilot 到 Enterprise Copilot:打造符合企業需求的智能開發助手之路 | .NET Conf 2023 Taiwan
從 GitHub Copilot 到 Enterprise Copilot:打造符合企業需求的智能開發助手之路 | .NET Conf 2023 Taiwan從 GitHub Copilot 到 Enterprise Copilot:打造符合企業需求的智能開發助手之路 | .NET Conf 2023 Taiwan
從 GitHub Copilot 到 Enterprise Copilot:打造符合企業需求的智能開發助手之路 | .NET Conf 2023 Taiwan
 
Angular Conf 2018 - 原來 Angular 可以這樣玩設定
Angular Conf 2018 - 原來 Angular 可以這樣玩設定Angular Conf 2018 - 原來 Angular 可以這樣玩設定
Angular Conf 2018 - 原來 Angular 可以這樣玩設定
 
Trading bot演算法與軟工在程式交易上的實踐
Trading bot演算法與軟工在程式交易上的實踐Trading bot演算法與軟工在程式交易上的實踐
Trading bot演算法與軟工在程式交易上的實踐
 
20171013 物聯網網哪走?IoT總體趨勢面面觀
20171013 物聯網網哪走?IoT總體趨勢面面觀20171013 物聯網網哪走?IoT總體趨勢面面觀
20171013 物聯網網哪走?IoT總體趨勢面面觀
 
twMVC#42 讓我們用一種方式來開發吧
twMVC#42 讓我們用一種方式來開發吧twMVC#42 讓我們用一種方式來開發吧
twMVC#42 讓我們用一種方式來開發吧
 
理財機器人技術簡介與實作經驗分享
理財機器人技術簡介與實作經驗分享理財機器人技術簡介與實作經驗分享
理財機器人技術簡介與實作經驗分享
 
用 Go 語言 打造微服務架構
用 Go 語言打造微服務架構用 Go 語言打造微服務架構
用 Go 語言 打造微服務架構
 
理財機器人技術簡介與實作經驗分享
理財機器人技術簡介與實作經驗分享理財機器人技術簡介與實作經驗分享
理財機器人技術簡介與實作經驗分享
 
Bot Framework 和它的快樂夥伴Composer
Bot Framework 和它的快樂夥伴ComposerBot Framework 和它的快樂夥伴Composer
Bot Framework 和它的快樂夥伴Composer
 
03 azure devops pipeline - release
03 azure devops pipeline - release03 azure devops pipeline - release
03 azure devops pipeline - release
 
OpenAI ChatGPT techtalk .pptx
OpenAI ChatGPT techtalk .pptxOpenAI ChatGPT techtalk .pptx
OpenAI ChatGPT techtalk .pptx
 
業界都在用的自然語言理解工具,教你快速建構Line對話機器人
業界都在用的自然語言理解工具,教你快速建構Line對話機器人業界都在用的自然語言理解工具,教你快速建構Line對話機器人
業界都在用的自然語言理解工具,教你快速建構Line對話機器人
 

More from Ko Ko

Langchain and Azure ML and Open AI
Langchain and Azure ML and Open AILangchain and Azure ML and Open AI
Langchain and Azure ML and Open AIKo Ko
 
Triton As NLP Model Inference Back-end
 Triton As NLP Model Inference Back-end Triton As NLP Model Inference Back-end
Triton As NLP Model Inference Back-endKo Ko
 
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
Run Bokeh in back-end,  draw real-time charts to front-end,  and make data sc...Run Bokeh in back-end,  draw real-time charts to front-end,  and make data sc...
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...Ko Ko
 
入門 Teams Bot
入門 Teams Bot入門 Teams Bot
入門 Teams BotKo Ko
 
SignalR整合LINE,在LIFF裡建立一對一聊天管道
SignalR整合LINE,在LIFF裡建立一對一聊天管道SignalR整合LINE,在LIFF裡建立一對一聊天管道
SignalR整合LINE,在LIFF裡建立一對一聊天管道Ko Ko
 
來玩 Bot Framework Composer 2.0版吧!
來玩 Bot Framework Composer 2.0版吧!來玩 Bot Framework Composer 2.0版吧!
來玩 Bot Framework Composer 2.0版吧!Ko Ko
 
聊天機器人的行銷與開發技巧應用在婚禮上
聊天機器人的行銷與開發技巧應用在婚禮上聊天機器人的行銷與開發技巧應用在婚禮上
聊天機器人的行銷與開發技巧應用在婚禮上Ko Ko
 
ML.NET 在遷移式學習的應用與挑戰
ML.NET 在遷移式學習的應用與挑戰ML.NET 在遷移式學習的應用與挑戰
ML.NET 在遷移式學習的應用與挑戰Ko Ko
 
Bot framework composer---用圖形化介面來建立聊天機器人
Bot framework composer---用圖形化介面來建立聊天機器人Bot framework composer---用圖形化介面來建立聊天機器人
Bot framework composer---用圖形化介面來建立聊天機器人Ko Ko
 
簡介Azure在Chatbot開發上的應用
簡介Azure在Chatbot開發上的應用簡介Azure在Chatbot開發上的應用
簡介Azure在Chatbot開發上的應用Ko Ko
 
用 Azure 快速部署與開發 LINE bot
用 Azure 快速部署與開發 LINE bot用 Azure 快速部署與開發 LINE bot
用 Azure 快速部署與開發 LINE botKo Ko
 
簡介Wordpress部署在AWS上的幾種架構
簡介Wordpress部署在AWS上的幾種架構簡介Wordpress部署在AWS上的幾種架構
簡介Wordpress部署在AWS上的幾種架構Ko Ko
 
自然語言理解的 Line 機器人實戰
自然語言理解的 Line 機器人實戰自然語言理解的 Line 機器人實戰
自然語言理解的 Line 機器人實戰Ko Ko
 
三十分鐘內,不用寫程式,教你打造具自然語言能力的聊天機器人
三十分鐘內,不用寫程式,教你打造具自然語言能力的聊天機器人三十分鐘內,不用寫程式,教你打造具自然語言能力的聊天機器人
三十分鐘內,不用寫程式,教你打造具自然語言能力的聊天機器人Ko Ko
 
從負面案例來討論接案工程師該有什麼軟技能
從負面案例來討論接案工程師該有什麼軟技能從負面案例來討論接案工程師該有什麼軟技能
從負面案例來討論接案工程師該有什麼軟技能Ko Ko
 
YOLO V1 論文導讀
YOLO V1 論文導讀YOLO V1 論文導讀
YOLO V1 論文導讀Ko Ko
 

More from Ko Ko (16)

Langchain and Azure ML and Open AI
Langchain and Azure ML and Open AILangchain and Azure ML and Open AI
Langchain and Azure ML and Open AI
 
Triton As NLP Model Inference Back-end
 Triton As NLP Model Inference Back-end Triton As NLP Model Inference Back-end
Triton As NLP Model Inference Back-end
 
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
Run Bokeh in back-end,  draw real-time charts to front-end,  and make data sc...Run Bokeh in back-end,  draw real-time charts to front-end,  and make data sc...
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
 
入門 Teams Bot
入門 Teams Bot入門 Teams Bot
入門 Teams Bot
 
SignalR整合LINE,在LIFF裡建立一對一聊天管道
SignalR整合LINE,在LIFF裡建立一對一聊天管道SignalR整合LINE,在LIFF裡建立一對一聊天管道
SignalR整合LINE,在LIFF裡建立一對一聊天管道
 
來玩 Bot Framework Composer 2.0版吧!
來玩 Bot Framework Composer 2.0版吧!來玩 Bot Framework Composer 2.0版吧!
來玩 Bot Framework Composer 2.0版吧!
 
聊天機器人的行銷與開發技巧應用在婚禮上
聊天機器人的行銷與開發技巧應用在婚禮上聊天機器人的行銷與開發技巧應用在婚禮上
聊天機器人的行銷與開發技巧應用在婚禮上
 
ML.NET 在遷移式學習的應用與挑戰
ML.NET 在遷移式學習的應用與挑戰ML.NET 在遷移式學習的應用與挑戰
ML.NET 在遷移式學習的應用與挑戰
 
Bot framework composer---用圖形化介面來建立聊天機器人
Bot framework composer---用圖形化介面來建立聊天機器人Bot framework composer---用圖形化介面來建立聊天機器人
Bot framework composer---用圖形化介面來建立聊天機器人
 
簡介Azure在Chatbot開發上的應用
簡介Azure在Chatbot開發上的應用簡介Azure在Chatbot開發上的應用
簡介Azure在Chatbot開發上的應用
 
用 Azure 快速部署與開發 LINE bot
用 Azure 快速部署與開發 LINE bot用 Azure 快速部署與開發 LINE bot
用 Azure 快速部署與開發 LINE bot
 
簡介Wordpress部署在AWS上的幾種架構
簡介Wordpress部署在AWS上的幾種架構簡介Wordpress部署在AWS上的幾種架構
簡介Wordpress部署在AWS上的幾種架構
 
自然語言理解的 Line 機器人實戰
自然語言理解的 Line 機器人實戰自然語言理解的 Line 機器人實戰
自然語言理解的 Line 機器人實戰
 
三十分鐘內,不用寫程式,教你打造具自然語言能力的聊天機器人
三十分鐘內,不用寫程式,教你打造具自然語言能力的聊天機器人三十分鐘內,不用寫程式,教你打造具自然語言能力的聊天機器人
三十分鐘內,不用寫程式,教你打造具自然語言能力的聊天機器人
 
從負面案例來討論接案工程師該有什麼軟技能
從負面案例來討論接案工程師該有什麼軟技能從負面案例來討論接案工程師該有什麼軟技能
從負面案例來討論接案工程師該有什麼軟技能
 
YOLO V1 論文導讀
YOLO V1 論文導讀YOLO V1 論文導讀
YOLO V1 論文導讀
 

20230830 淺談 Azure OpenAI.pdf

  • 1. 淺談 Azure OpenAI 用一個小熊故事機做範例 Ko Ko, Microsoft AI MVP 2023/08/30 @Generative AI 小聚 @Fourdesire
  • 2. 關於 Ko Ko ● 就叫我 Ko Ko 或是科科吧。 ● 連續四年當選 Microsoft AI MVP。 ● 國內外大型技術年會講師,包含 COSCUP、ModernWeb、名古屋開源年會、香港 開源年會、PyCon APAC、PyCon HK、DevDays Asia 等等的活動。 ● 合著有《駕馭 ChatGPT 4: 探索 Azure OpenAI 與 Cognitive Service for Language 開發實踐 (使用.NET 與 Node.js)》 ● https://linktr.ee/qqkerk
  • 3. LIVE DEMO Azure Open AI 基本操作
  • 5.
  • 6. LIVE DEMO 重點整理 1. Azure Open AI 概覽。 2. Azure Open AI 的程式重點。 3. Azure Speech Studio 概覽。 4. Azure Speech 的程式重點。 地方爸爸就不用買小熊故事機了! (但是為了 yoyo 台的歌....
  • 7. 其他 Azure Open AI 重點 1. Service Level Agreements (SLA) 保證 99.9%:一年只會停機累計8.76 小時 2. Azure Open AI 需要額外申請:https://aka.ms/oai/access 3. API 大部份和 Open AI 都一樣,但是還是有小部份功能上的不同。 4. 微軟聲稱不會把你的資料拿去使用。 5. Open AI 和 Azure Open AI 的回應速度差異 :https://gptforwork.com/tools/openai-api-and-other-llm-apis-response-time-tracker
  • 8. Azure Open AI 可能踩雷的地方 1. API 版本之間有微小差異,記得讀一下文件 https://learn.microsoft.com/en-us/azure/ai-services/openai/reference 2. 因為 Azure Open AI 可以設定成只在 virtual net 裡使用、或是指定特定 IP 才能 用,所以打 API 沒反應時可以檢查這段是否設定正確。 3. LangChain 那邊的參數名稱要注意。
  • 10. 小熊故事機的 Road map 1. 音檔上傳至 Azure Blob 2. 提供回放功能 3. 更多元素設定,如場景、聲音 4. UI 優化 5. 整進 LINE LIFF 裡
  • 11. 天瓏書局七月銷售排行第二名 第一本針對軟體工程師所撰寫之 ChatGPT 專書 用 .NET 和 Node.JS 雙語言範例程式碼 第一本針對 Azure OpenAI 所撰寫之專書 第一本針對 Cognitive Service for Language 專書 第一本教你如何 Fine tune GPT 模型之專書 第一本教你 Semantic Kernel 與 RAG pattern 專書 大量範例與實戰,連最新的 Bring your own data 都有