This presentation took place at COSCUP on July 30, 2023. Hugging Face can be described as the GitHub for AI models. Initially, it was born to address the difficulty and incompatibility of natural language models. Now, besides open-source AI models for natural language, there are numerous other open-source AI models available on the platform. According to leaked documents from Google, open-source AI models are likely to dominate the development of the entire industry in the future. Therefore, the role of Hugging Face is becoming increasingly important. This talk is designed for beginners in Chatbot development. It will guide you through using the natural language processing models from Hugging Face and demonstrate step by step how to integrate them into LINE to create a chatbot.

1. 用 Hugging Face 來做 Chatbot
Building Chatbot With Huggging Face
Ko Ko, Microsoft AI MVP
2023/07/29 開源人年會 @台灣科技大學

2. 關於 Ko Ko
● 叫我 Ko Ko 或是科科。
● 連續四年當選 Microsoft AI MVP。
● 國內外大型技術年會講師，包含 COSCUP、ModernWeb、名古屋開源年會、香港
開源年會、PyCon APAC、PyCon HK、DevDays Asia 等等的活動。
● 合著有『駕馭 ChatGPT 4: 探索 Azure OpenAI 與 Cognitive Service for Language
開發實踐 (使用.NET 與 Node.js)』
● https://linktr.ee/qqkerk

3. 大綱
1. Hugging Face 介紹
2. 快速部署 Hugging Face 模型
3. 串接到 LINE 的步驟

4. Hugging Face
Hugging Face 是一家專注於自然語言處理（NLP）公司。
最知名的是「Transformers」的 Python 套件，讓開發者輕鬆使用先進的語言模型進行
NLP 任務。
用戶可以在其中找到並分享各種 NLP 模型，很多都是開源的。
Hugging Face 的目標是讓 NLP 技術更容易使用和應用，推動 NLP 在學術、商業和個
人領域的普及。

5. Transformer
2017 年 Google 發表了「Attention Is All You Need」。
此後，Transformer 幾乎一統天下。

6. Hugging Face 與三大神器

7. 開發環境
有 GPU 是最好的！！
Google Colab
Kaggle Notebooks
AWS Sage Maker
Azure Machine Learning

8. Live Demo
1、導覽 Hugging Face
2、在 Azure Machine Learning 上部署 model

9. Live Demo 重點
了解 Hugging Face Hub 網站的內容，包含了 models，datasets，spaces，tasks等。
了解 Hugging Face 做自然語言處理的容易程度。
了解使用 Azure Machine Learnging 部署模型的優勢和劣勢。

15. 如果要部署 Llama 2 ......
用最小的 Llama 2 7b-chat
NC12s_V3
12 Core，224 GB RAM，672 GB HDD
每小時 6.12 美元。

16. LINE Chatbot 架構

17. 建立 Privoder

18. 建立 Channel

19. 選 Massage API 並填入資訊

20. 拿到 Secret

21. 拿到 Access token

22. 使用 LINE Python SDK
https://github.com/line/line-bot-sdk-python

23. handler 寫法
@handler.add(MessageEvent, message=TextMessage)
def handle_message(event):
line_bot_api.reply_message(
event.reply_token,
TextSendMessage(text=event.message.text + " Handler"))

24. handler 寫法
@handler.add(MessageEvent, message=TextMessage)
def handle_message(event):
line_bot_api.reply_message(
event.reply_token,
TextSendMessage(text=event.message.text + " Handler"))

25. 用 Django 來串接 LINE
https://www.youtube.com/watch?v=4V34CKV82sA

26. 鐵人賽 30 篇 Hugging Face 連載
繁體中文最完整的教學文件之一
從環境設定一路教到部署成為聊天機器人
未來的學習 roadmap 也都教給你
https://ithelp.ithome.com.tw/users/20120030/
ironman/5515

27. 鐵人賽 30 篇 Azure Machine Learning 連載
繁體中文最完整的教學文件之一
從環境設定一路教到把 AI 部署為 web API
MLOps 也有教
https://ithelp.ithome.com.tw/users/20120030/
ironman/4905

28. 工商一下

29. 第一本針對軟體工程師所撰寫之 ChatGPT 專書
用 .NET 和 Node.JS 雙語言範例程式碼
第一本針對 Azure OpenAI 所撰寫之專書
第一本針對 Cognitive Service for Language 專書
第一本教你如何 Fine tune GPT 模型之專書
第一本教你 Semantic Kernel 與 RAG pattern 專書
大量範例與實戰，連最新的 Bring your own data 都有
天瓏書局目前月銷售排行第二名

31. 500元折扣碼：KOKO0825
注意上面的折扣碼是兩個英文 O 和數字零
http://s.accupass.com/gVbZ0C
https://gai-2023.alphacamp.co/

32. 謝謝大家
Q&A