This presentation took place at R ladies Taipei on July 31, 2023. Hugging Face can be described as the GitHub for AI models. Initially, it was born to address the difficulty and incompatibility of natural language models. Now, besides open-source AI models for natural language, there are numerous other open-source AI models available on the platform. According to leaked documents from Google, open-source AI models are likely to dominate the development of the entire industry in the future. Therefore, the role of Hugging Face is becoming increasingly important. This talk is designed for beginners in Hugging Face. It will guide you through using the natural language processing models from Hugging Face.

1. 入門 AI 開源的生態系平台 Hugging Face
Introduce to Open Source AI ecosystem: Huggging Face
Ko Ko, Microsoft AI MVP
2023/07/31 R-Ladies Taipei @Online

2. 關於 Ko Ko
● 叫我 Ko Ko 或是科科。
● 連續四年當選 Microsoft AI MVP。
● 國內外大型技術年會講師，包含 COSCUP、ModernWeb、名古屋開源年會、香港
開源年會、PyCon APAC、PyCon HK、DevDays Asia 等等的活動。
● 合著有『駕馭 ChatGPT 4: 探索 Azure OpenAI 與 Cognitive Service for Language
開發實踐 (使用.NET 與 Node.js)』
● https://linktr.ee/qqkerk

3. 大綱
1. Hugging Face 介紹
2. 快速部署 Hugging Face 模型
3. Hugging Face + ChatGPT
4. 串接到 LINE 的步驟

4. Hugging Face
Hugging Face 是一家專注於自然語言處理（NLP）公司。
最知名的是「Transformers」的 Python 套件，讓開發者輕鬆使用先進的語言模型進行
NLP 任務。
用戶可以在其中找到並分享各種 NLP 模型，很多都是開源的。
Hugging Face 的目標是讓 NLP 技術更容易使用和應用，推動 NLP 在學術、商業和個
人領域的普及。

5. Transformer
2017 年 Google 發表了「Attention Is All You Need」。
此後，Transformer 幾乎一統天下。

6. Hugging Face 與三大神器

7. 開發環境
有 GPU 是最好的！！
Google Colab
Kaggle Notebooks
AWS Sage Maker
Azure Machine Learning

8. Live Demo
1、導覽 Hugging Face
2、在 Azure Machine Learning 上部署 model

9. Live Demo 重點
了解 Hugging Face Hub 網站的內容，包含了 models，datasets，spaces，tasks等。
了解 Hugging Face 做自然語言處理的容易程度。
了解使用 Azure Machine Learnging 部署模型的優勢和劣勢。

15. 如果要部署 Llama 2 ......
用最小的 Llama 2 7b-chat
NC12s_V3
12 Core，224 GB RAM，672 GB HDD
每小時 6.12 美元。

16. HuggingGPT
論文：HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face
簡單來說就是先用 ChatGPT 來理解你要做的任務是什麼，然後再去 Hugging Face 挑
選適合的 AI 模型來完成任務
可以做複合型任務。例如說產生太空人的影像，並做成影片，然後配音。
https://github.com/microsoft/JARVIS

20. JARVIS 名稱來自漫威電影
J.A.R.V.I.S
Just Another Rather Very Intelligent System
Friday
《魯濱遜漂流記》
在一次偶然的情況下救下一個黑人，因為魯濱遜救下他的那天剛好是星期五，所以這
個黑人就被取名為星期五，後來成為了魯濱遜的得力助手
https://upload.wikimedia.org/wikipedia/en/f/fc/Paul_Bettany_as_Vision.jpg

21. 專案 Repo
https://github.com/microsoft/JARVIS
Default (Recommended)
Ubuntu 16.04 LTS
VRAM >= 24GB
RAM > 12GB (minimal), 16GB (standard), 80GB (full)
Disk > 284GB
即使規格不夠，還是可以跑
Minimum (Lite)
For configs/config.lite.yaml:
Ubuntu 16.04 LTS
Nothing else

22. LINE Chatbot 架構

23. 建立 Privoder

24. 建立 Channel

25. 選 Massage API 並填入資訊

26. 拿到 Secret

27. 拿到 Access token

28. 使用 LINE Python SDK
https://github.com/line/line-bot-sdk-python

29. handler 寫法
@handler.add(MessageEvent, message=TextMessage)
def handle_message(event):
line_bot_api.reply_message(
event.reply_token,
TextSendMessage(text=event.message.text + " Handler"))

30. handler 寫法
@handler.add(MessageEvent, message=TextMessage)
def handle_message(event):
line_bot_api.reply_message(
event.reply_token,
TextSendMessage(text=event.message.text + " Handler"))

31. 用 Django 來串接 LINE
https://www.youtube.com/watch?v=4V34CKV82sA

32. 鐵人賽 30 篇 Hugging Face 連載
繁體中文最完整的教學文件之一
從環境設定一路教到部署成為聊天機器人
未來的學習 roadmap 也都教給你
https://ithelp.ithome.com.tw/users/20120030/
ironman/5515

33. 鐵人賽 30 篇 Azure Machine Learning 連載
繁體中文最完整的教學文件之一
從環境設定一路教到把 AI 部署為 web API
MLOps 也有教
https://ithelp.ithome.com.tw/users/20120030/
ironman/4905

34. 工商一下

35. 第一本針對軟體工程師所撰寫之 ChatGPT 專書
用 .NET 和 Node.JS 雙語言範例程式碼
第一本針對 Azure OpenAI 所撰寫之專書
第一本針對 Cognitive Service for Language 專書
第一本教你如何 Fine tune GPT 模型之專書
第一本教你 Semantic Kernel 與 RAG pattern 專書
大量範例與實戰，連最新的 Bring your own data 都有
天瓏書局目前月銷售排行第二名

37. 500元折扣碼：KOKO0825
注意上面的折扣碼是兩個英文 O 和數字零
http://s.accupass.com/gVbZ0C
https://gai-2023.alphacamp.co/

38. 謝謝大家
Q&A