SlideShare a Scribd company logo
1 of 31
Download to read offline
link
Google Fonts
在 Azure Machine Learning
上學習 LangChain
Ko Ko, Microsoft AI MVP
2023/12/10 @ .NET Conf Taiwan @NTU
關於 Ko Ko
• Ko Ko 是本名。
• 連續四年當選 Microsoft AI MVP。
• 國內外大型技術年會講師,包含 COSCUP、ModernWeb、名古屋開源年會、香
港開源年會、PyCon APAC、PyCon HK、DevDays Asia 等等的活動。
• 合著有《駕馭 ChatGPT 4: 探索 Azure OpenAI 與 Cognitive Service for
Language 開發實踐 (使用.NET 與 Node.js)》
• https://linktr.ee/qqkerk
大綱
• 快速複習 LLM 的知識
• Azure Open AI 介紹
• 向量資料庫介紹
• LangChain 介紹
• Azure Machine Learning 介紹
• Live Demo --- 用 LangChain 快速打造具企業知識的 AI
Large Language Model
• 基於 Transformer 架構
• 使用大量的文本進行訓練
• 參數超多,包含數億到數兆個參數
• 可以進行廣泛的語言任務
• 模型的能力往往與其規模正相關
GPT 家族
• Improving Language Understanding by Generative Pre-Training
• Language Models are Unsupervised Multitask Learners
• Language Models are Few-Shot Learners
• Training language models to follow instructions with human feedback
• GPT-4 Technical Report
• GPT
• GPT-2
• GPT-3
• Instruct GPT
• GPT-4
GPT 模型讓人感覺超強的起點
Instruct GPT 和 GPT-3.5-turbo
Azure Open AI
• 把 Open AI 的服務放進 Azure 裡。
• 享受許多 Azure 在整合上的好處。
• RBAC、V-NET、Monitor .......
• 在 1.0 版之後的 Python SDK 正式分開!
向量資料庫
https://qdrant.tech/documentation/concepts/search/
Cosine metric
https://qdrant.tech/documentation/concepts/search/
LangChain
• 快速整合大型語言模型的框架
• 快速打造具上下文感知與推理應用
• 有 Python 和 JS 的 Library,以 Python 最完整。
• 發展非常快速!!
推理能力(已遮掉實際商品名)
LangChain(還很新的部份)
• LangChain Templates:多種任務的可部署參考架構集合。
• LangServe:將 LangChain 鏈部署為 REST API 的套件。
• LangSmith:用於調試、測試、評估和監控基於任何 LLM 框架的鏈
的開發者平台,並與 LangChain 無縫整合。
• LangChain 表達語言(LCEL):
• 用於鏈組合的聲明式方法。
• 從 prototype to product,無需更改程式碼。
可以先觀望 LangChain 比較新的部份
其他大致趨於穩定
RAG(Retrieval Augmented Generation )
https://www.e2enetworks.com/blog/guide-to-building-a-rag-based-llm-application
Azure Machine Learning
• 快速建置、訓練、部署模型
• 大規模地執行作業,提供可靠的解決方案
• 支持 MLOps 的元件與其原則
• 可以做 IaC (Infrastructure as Code)
• 現在還有 Prompt Flow
Live Demo ---用 LangChain 快
速打造具企業知識的 AI
Azure Open AI
Azure Machine Learning
用 LangChain 寫 code
複習 Live Demo 重點
• 了解 Azure Open AI 的設定
• 了解 Azure Machine Learning 的操作介面,包含 HF 模型部署
• 從程式碼中了解 LangChain 的基本元件使用
• 了解基本的 RAG 做法
• 了解 LangChain 整合 Azure Machine Learning enpoint 的做法
其實就是包裝後幫你送出 request
24
天瓏書局七月銷售排行第二名:內容80%未過時
• 第一本針對軟體工程師所撰寫之 ChatGPT 專書
• 用 .NET 和 Node.JS 雙語言範例程式碼
• 第一本針對 Azure OpenAI 所撰寫之專書
• 第一本針對 Cognitive Service for Language 專書
• 第一本教你如何 Fine tune GPT 模型之專書
• 第一本教你 Semantic Kernel 與 RAG pattern 專書
• 大量範例與實戰,內容至今 80% 可用
25
本班通過 2024 年數位發展部 AIGO 計畫,政府補助 50% 學費
預約報名表單
工商一下
感謝聆聽!
Q & A 時間
Langchain and Azure ML and Open AI
Langchain and Azure ML and Open AI
Langchain and Azure ML and Open AI
Langchain and Azure ML and Open AI
Langchain and Azure ML and Open AI

More Related Content

Similar to Langchain and Azure ML and Open AI

Django敏捷开发 刘天斯
Django敏捷开发 刘天斯Django敏捷开发 刘天斯
Django敏捷开发 刘天斯
liuts
 
01.uliweb介绍
01.uliweb介绍01.uliweb介绍
01.uliweb介绍
modou li
 
Appcan移动应用开发平台介绍120409
Appcan移动应用开发平台介绍120409Appcan移动应用开发平台介绍120409
Appcan移动应用开发平台介绍120409
zhengyiwuxian
 
51 cto下载 51cto信息图:openshift vs cloudfoundry
51 cto下载 51cto信息图:openshift vs cloudfoundry51 cto下载 51cto信息图:openshift vs cloudfoundry
51 cto下载 51cto信息图:openshift vs cloudfoundry
Hong Cai
 

Similar to Langchain and Azure ML and Open AI (20)

探索 API 開發的挑戰與解決之道 | .NET Conf 2023 Taiwan
探索 API 開發的挑戰與解決之道 | .NET Conf 2023 Taiwan探索 API 開發的挑戰與解決之道 | .NET Conf 2023 Taiwan
探索 API 開發的挑戰與解決之道 | .NET Conf 2023 Taiwan
 
Django敏捷开发 刘天斯
Django敏捷开发 刘天斯Django敏捷开发 刘天斯
Django敏捷开发 刘天斯
 
Rest与面向资源的web开发
Rest与面向资源的web开发Rest与面向资源的web开发
Rest与面向资源的web开发
 
Extend the Kubernetes API with CRD and Custom API Server
Extend the Kubernetes API with CRD and Custom API ServerExtend the Kubernetes API with CRD and Custom API Server
Extend the Kubernetes API with CRD and Custom API Server
 
微服務架構 導入經驗分享 吳剛志 - Community Open Camp
微服務架構 導入經驗分享 吳剛志 - Community Open Camp微服務架構 導入經驗分享 吳剛志 - Community Open Camp
微服務架構 導入經驗分享 吳剛志 - Community Open Camp
 
網站上線了,然後呢?
網站上線了,然後呢?網站上線了,然後呢?
網站上線了,然後呢?
 
從 GitHub Copilot 到 Enterprise Copilot:打造符合企業需求的智能開發助手之路 | .NET Conf 2023 Taiwan
從 GitHub Copilot 到 Enterprise Copilot:打造符合企業需求的智能開發助手之路 | .NET Conf 2023 Taiwan從 GitHub Copilot 到 Enterprise Copilot:打造符合企業需求的智能開發助手之路 | .NET Conf 2023 Taiwan
從 GitHub Copilot 到 Enterprise Copilot:打造符合企業需求的智能開發助手之路 | .NET Conf 2023 Taiwan
 
Building Chatbot With Huggging Face
 				Building Chatbot With Huggging Face 				Building Chatbot With Huggging Face
Building Chatbot With Huggging Face
 
2018 Week 15 Speech Recognition
2018 Week 15 Speech Recognition2018 Week 15 Speech Recognition
2018 Week 15 Speech Recognition
 
使用 .NET Standard 開發跨平台應用程式
使用 .NET Standard 開發跨平台應用程式使用 .NET Standard 開發跨平台應用程式
使用 .NET Standard 開發跨平台應用程式
 
20170108 微軟大數據整合解決方案- cortana intelligence suite
20170108 微軟大數據整合解決方案- cortana intelligence suite20170108 微軟大數據整合解決方案- cortana intelligence suite
20170108 微軟大數據整合解決方案- cortana intelligence suite
 
01.uliweb介绍
01.uliweb介绍01.uliweb介绍
01.uliweb介绍
 
Appcan移动应用开发平台介绍120409
Appcan移动应用开发平台介绍120409Appcan移动应用开发平台介绍120409
Appcan移动应用开发平台介绍120409
 
常用Js框架比较
常用Js框架比较常用Js框架比较
常用Js框架比较
 
Serverless api gateway + lambda
Serverless api gateway + lambdaServerless api gateway + lambda
Serverless api gateway + lambda
 
2021 ee大会-旷视ai产品背后的研发效能工具建设
2021 ee大会-旷视ai产品背后的研发效能工具建设2021 ee大会-旷视ai产品背后的研发效能工具建设
2021 ee大会-旷视ai产品背后的研发效能工具建设
 
51 cto下载 51cto信息图:openshift vs cloudfoundry
51 cto下载 51cto信息图:openshift vs cloudfoundry51 cto下载 51cto信息图:openshift vs cloudfoundry
51 cto下载 51cto信息图:openshift vs cloudfoundry
 
DEV305 - ASP.NET 5 開發攻略
DEV305 - ASP.NET 5 開發攻略DEV305 - ASP.NET 5 開發攻略
DEV305 - ASP.NET 5 開發攻略
 
Open source的devops工具箱 公開版@coscup2016
Open source的devops工具箱 公開版@coscup2016Open source的devops工具箱 公開版@coscup2016
Open source的devops工具箱 公開版@coscup2016
 
Angular 开发技巧 (2018 ngChina 开发者大会)
Angular 开发技巧 (2018 ngChina 开发者大会)Angular 开发技巧 (2018 ngChina 开发者大会)
Angular 开发技巧 (2018 ngChina 开发者大会)
 

More from Ko Ko

More from Ko Ko (20)

20230830 淺談 Azure OpenAI.pdf
20230830 淺談 Azure OpenAI.pdf20230830 淺談 Azure OpenAI.pdf
20230830 淺談 Azure OpenAI.pdf
 
Learn Django With ChatGPT
Learn Django With ChatGPTLearn Django With ChatGPT
Learn Django With ChatGPT
 
Introduction Hugging face.pdf
Introduction Hugging face.pdfIntroduction Hugging face.pdf
Introduction Hugging face.pdf
 
Triton As NLP Model Inference Back-end
 Triton As NLP Model Inference Back-end Triton As NLP Model Inference Back-end
Triton As NLP Model Inference Back-end
 
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
Run Bokeh in back-end,  draw real-time charts to front-end,  and make data sc...Run Bokeh in back-end,  draw real-time charts to front-end,  and make data sc...
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
 
入門 Teams Bot
入門 Teams Bot入門 Teams Bot
入門 Teams Bot
 
Introduction to MLOps in Azure Machine Learning with Live Demo
Introduction to MLOps in Azure Machine Learning with Live DemoIntroduction to MLOps in Azure Machine Learning with Live Demo
Introduction to MLOps in Azure Machine Learning with Live Demo
 
Azure Machine Learning 重頭學
Azure Machine Learning 重頭學Azure Machine Learning 重頭學
Azure Machine Learning 重頭學
 
SignalR整合LINE,在LIFF裡建立一對一聊天管道
SignalR整合LINE,在LIFF裡建立一對一聊天管道SignalR整合LINE,在LIFF裡建立一對一聊天管道
SignalR整合LINE,在LIFF裡建立一對一聊天管道
 
來玩 Bot Framework Composer 2.0版吧!
來玩 Bot Framework Composer 2.0版吧!來玩 Bot Framework Composer 2.0版吧!
來玩 Bot Framework Composer 2.0版吧!
 
用 C# 與 .NET 也能打造機器學習模型:你所不知道的 ML.NET 初體驗
用 C# 與 .NET 也能打造機器學習模型:你所不知道的 ML.NET 初體驗用 C# 與 .NET 也能打造機器學習模型:你所不知道的 ML.NET 初體驗
用 C# 與 .NET 也能打造機器學習模型:你所不知道的 ML.NET 初體驗
 
聊天機器人的行銷與開發技巧應用在婚禮上
聊天機器人的行銷與開發技巧應用在婚禮上聊天機器人的行銷與開發技巧應用在婚禮上
聊天機器人的行銷與開發技巧應用在婚禮上
 
ML.NET 在遷移式學習的應用與挑戰
ML.NET 在遷移式學習的應用與挑戰ML.NET 在遷移式學習的應用與挑戰
ML.NET 在遷移式學習的應用與挑戰
 
Bot Framework 和它的快樂夥伴Composer
Bot Framework 和它的快樂夥伴ComposerBot Framework 和它的快樂夥伴Composer
Bot Framework 和它的快樂夥伴Composer
 
Bot framework composer---用圖形化介面來建立聊天機器人
Bot framework composer---用圖形化介面來建立聊天機器人Bot framework composer---用圖形化介面來建立聊天機器人
Bot framework composer---用圖形化介面來建立聊天機器人
 
簡介Azure在Chatbot開發上的應用
簡介Azure在Chatbot開發上的應用簡介Azure在Chatbot開發上的應用
簡介Azure在Chatbot開發上的應用
 
用 Azure 快速部署與開發 LINE bot
用 Azure 快速部署與開發 LINE bot用 Azure 快速部署與開發 LINE bot
用 Azure 快速部署與開發 LINE bot
 
簡介Wordpress部署在AWS上的幾種架構
簡介Wordpress部署在AWS上的幾種架構簡介Wordpress部署在AWS上的幾種架構
簡介Wordpress部署在AWS上的幾種架構
 
業界都在用的自然語言理解工具,教你快速建構Line對話機器人
業界都在用的自然語言理解工具,教你快速建構Line對話機器人業界都在用的自然語言理解工具,教你快速建構Line對話機器人
業界都在用的自然語言理解工具,教你快速建構Line對話機器人
 
自然語言理解的 Line 機器人實戰
自然語言理解的 Line 機器人實戰自然語言理解的 Line 機器人實戰
自然語言理解的 Line 機器人實戰
 

Langchain and Azure ML and Open AI