OpenAI ChatGPT techtalk with insights into advancement of generative AI, and how it will be applied in a bigger landscape

1. OpenAI ChatGPT Tech Talk
Julian Hu

2. Agenda
1）背景介绍
2）ChatGPT的使用
3）ChatGPT与微软
4）ChatGPT的集成开发
5）相关案例与应用场景
OpenAI will be
everywhere!

4. 0 1 0 1 0 1 0 1 0 1 0 1
1 0 1 0 1 0 1 0 1 0 1 0
0 1 0 1 0 1 0 1 0 1 0 1
1 0 1 0 1 0 1 0 1 0 1 0
0 1 0 1 0 1 0 1 0 1 0 1
1 0 1 0 1 0 1 0 1 0 1 0
1 0 1 0 1 0 1 0 1 0 1 0
0 1 0 1 0 1 0 1 0 1 0 1
1 0 1 0 1 0 1 0 1 0 1 0
0 1 0 1 0 1 0 1 0 1 0 1
1 0 1 0 1 0 1 0 1 0 1 0
0 1 0 1 0 1 0 1 0 1 0 1
Open AI 它是…
GPT X
生成文字
Codex
生成代码
Embedding
生成向量
GPT架构
地表最强自然语音类深度学习架构，用来理解文字并做出相应的输出
Moderation (旧称Content Filter)
学习内容
(文字类素材)
学习方法 截止2021年6月
text-davinci-003
GPT模型具备一定的真实世界知识
储备，基本常识和概念（世界观）
训练得到
派生
派生
预训练模型家族
(俗称大模型)

5. ChatGPT 它是…
GPT 3.5
生成文字
ChatGPT
优化问题解答和对话形式输出
DALL-E
优化RGB三原色输出
• ChatGPT是一种基于自然语言处理
技术的模型，它是由OpenAI开发
的，使用了大量的文本数据进行预
训练，能够理解自然语言的含义并
生成自然流畅的回应。ChatGPT是
以生成对抗网络（GAN）和自动编
码器为基础，使用了Transformer
结构，这使得它能够处理长序列的
文本数据，并在各种自然语言处理
任务上取得了很好的效果。
训练得到

6. 6
ChatGPT注册
1）翻墙
- 香港IP也不在支持列表中。
2）国外的手机号
- 淘宝
- https://sms-activate.org/

7. ChatGPT 的使用
1. ChatGPT的使用：包括以下步骤：输入对话
文本，ChatGPT生成回复，输出回复文本。
2.使用场景：如客户服务、教育、医疗等。例
如在客服场景中，ChatGPT可以根据用户的问
题自动回复，减少客服人员的工作量，提高客
户服务效率。

8. GPT / OpenAI 限制
无法在离线跑 。 现在不会，未来也不见得会。
只有GPT X和Codex能Fine-Tune, Embedding不支持*
GPT缺乏可靠性 (甚至会胡扯)。 其商用稳定性需要大量依赖精良的Fine Tuning！
GPT不擅长数字和推理类处理。
* Embedding有特殊的训练方法

9. 拍电影的团队
发行商
钞能力
独家发行权
写剧本
雇人
拍片
导演
剪辑
后期
宣传
营销
公关
商流
法务
投产(aka 赚
钱)
那问题来了， MSFT与 OpenAI的关系
打一个比喻…

10. 已集成ChatGPT的产品
1.Azure Cognitive Services Language：Azure Cognitive Services是微软推出的一系列云端
API服务，其中包括了自然语言处理服务，其中就包括了Language Service。这个服务提供了一
些NLP相关的API，例如语言识别、文本分析、翻译等。其中，文本分析API包括了Sentiment
Analysis、Key Phrase Extraction、Entity Recognition、Language Detection等功能，这些
功能就是通过微软利用深度学习技术实现的，其中就包括了ChatGPT。
2.Microsoft Office：微软在其Office套件中也采用了ChatGPT技术，例如在PowerPoint中使用了
一个名为Designer的功能，可以自动生成幻灯片中的文本和图片布局。这个功能就是利用
ChatGPT生成各种风格的幻灯片设计，从而提高用户的工作效率。
3.Microsoft Dynamics 365 Customer Service：微软的Dynamics 365是一款企业级软件，其
中包括了客户服务模块。在这个模块中，微软使用了ChatGPT技术，为客户提供智能客服服务。例
如，当客户提出问题时，系统会自动分析问题并给出解决方案，从而提高客户满意度和工作效率。
4.Microsoft Bot Framework：微软推出了一个名为Bot Framework的开发平台，用于帮助开发
者构建聊天机器人。在这个平台中，微软利用了ChatGPT技术，提供了一些聊天机器人相关的API，
例如生成聊天回答、分析用户意图等。开发者可以使用这些API，构建智能聊天机器人，以应对不
同的应用场景。

11. New Bing
Bing和Edge是微软公司旗下的搜索引擎
和浏览器产品。在它们的搜索和智能推荐
功能中，集成了OpenAI ChatGPT模型，
使得它们能够自动生成自然语言的文本和
对话内容，为用户提供更加智能化、个性
化的服务和建议。

12. Azure OpenAI Service
Azure OpenAI Service是Azure云平台提供
的一项AI服务，可以轻松地将OpenAI的AI
模型和API集成到Azure应用程序中。其
中，Azure OpenAI Service中包含了
OpenAI GPT-3的预训练模型，并且提供了
API和SDK，使得用户能够通过Azure云平
台来调用和使用OpenAI GPT-3。
需要注意的是，Azure OpenAI Service提
供的是OpenAI GPT-3模型，而非OpenAI
ChatGPT模型。这两个模型虽然都是
OpenAI公司开发的，但是在结构和应用场
景上有所不同。因此，在集成OpenAI
GPT-3时需要考虑该模型的特点和适用范
围，以确保应用的准确性和可靠性。
http://aka.ms/openaiservice

13. ChatGPT开发模式
• 使用预训练的模型：
OpenAI已经公开了训练好的ChatGPT模型，可以通过API调用，这是一种快速、简单的方式。
OpenAI提供了两个版本的预训练模型：GPT-2和GPT-3，其中GPT-3是最新的版本，也是最强大
的版本。使用这些预训练的模型可以极大地简化ChatGPT的开发过程，不需要自己处理数据和训练
模型，只需要调用API即可。
• 自行训练模型：
自行训练ChatGPT模型需要使用大量的文本数据。数据越多，模型的准确性和适用性就越高。为了
获得最佳结果，需要使用多个来源和多个领域的数据，例如维基百科、新闻、社交媒体等。在训练
之前，需要进行数据清洗和预处理，包括分词、去停用词、词干化等。这些处理可以减少模型的噪
音和复杂性，提高模型的效率和准确性。
训练ChatGPT模型需要大量的计算资源和时间。通常使用图形处理器（GPU）进行训练可以大幅
缩短训练时间。同时还需要选择合适的超参数和优化算法，以达到最佳的训练效果。
自行训练模型还需要进行模型的评估和优化。模型的评估可以使用各种指标，如困惑度、生成的回
答质量、覆盖率等。优化模型的方法包括添加更多的层、调整超参数和优化算法等。

14. Python 使用OpenAI ChatGPT API例子
在这个例子中，我们使用了OpenAI提供
的GPT-3 API，并设置了相应的API密钥。
然后，我们定义了一个函数
generate_text，用于输入一些文本，
然后使用GPT-3生成下一个单词或短语。
最后，我们使用该函数生成一些文本，
并打印输出结果。
1.获取API密钥：在使用ChatGPT API之前，需要
先在OpenAI官网注册账号，并获取API密钥。
2.安装API客户端：根据所使用的编程语言，下载
并安装相应的API客户端，如Python中可使用
openai库。（pip install openai）
3.调用API：使用API客户端调用ChatGPT API，
进行对话生成或文本生成等操作。

15. C#使用OpenAI ChatGPT API例子
1）官方没有提供C# SDK
2）第三方SDK Betalgo.OpenAI.GPT3 by Betalgo
3）我们使用了 HttpClient 对象来发送 HTTP 请求，其
中包含了 API 的地址、API 密钥、生成文本的输入、以
及生成文本的相关参数。最后，我们从 API 的响应中获
取了生成的文本结果。

16. OpenAI GPT-3模型 vs. OpenAI ChatGPT模型
Azure OpenAI Service 提供的是 OpenAI GPT-3 模型，而 OpenAI ChatGPT 是 OpenAI 开
源的一个预训练的对话生成模型。两者的不同点主要体现在以下几个方面：
• 模型结构：GPT-3 模型与 ChatGPT 模型在模型结构上有较大差异，前者使用了更多的参数和
更复杂的结构，可以完成更多的任务，包括对话生成，文章生成等等，而 ChatGPT 模型则是专
注于对话生成的预训练模型。
• 任务范围：GPT-3 模型可以完成更多的任务，如文本生成、摘要、翻译、文本分类等，而
ChatGPT 模型主要是针对对话生成任务进行预训练的。
• 数据集：GPT-3 模型训练数据集更大、更广泛，覆盖了更多的文本领域，而 ChatGPT 模型主
要是针对对话生成任务训练的，训练数据集相对于 GPT-3 要小一些。

17. OpenAI GPT-3 or OpenAI ChatGPT？
选择集成OpenAI GPT-3还是OpenAI ChatGPT需要根据具体应用场景和需求进行考虑。以下是
一些参考因素：
1. 处理任务：OpenAI GPT-3适用于更广泛的NLP任务，包括文本生成、机器翻译、文本分类等；
OpenAI ChatGPT更适用于对话生成和聊天机器人等应用场景。
2. 模型规模：OpenAI GPT-3是目前最大的语言模型，参数量达到1750亿，因此处理复杂任务
和生成更自然的文本效果更好；OpenAI ChatGPT的参数量较小，更适合轻量级的应用场景。
3. 集成难度：OpenAI GPT-3需要付费使用，并且需要向OpenAI申请API访问权限；OpenAI
ChatGPT的API则免费提供，且可以直接使用，集成难度较小。
4. 因此，应根据具体需求进行选择，如果需要处理更复杂的NLP任务或需要更自然的生成文本，
可以考虑使用OpenAI GPT-3；如果需要开发聊天机器人或轻量级的对话生成应用，可以选择
OpenAI ChatGPT。

18. Use Cases
Get Inspired

19. ChatGPT的应用场景
1.智能客服：使用ChatGPT自动回复用户问题、如何生成合适的对话场景等。
2.智能助理：使用ChatGPT对用户提出的问题进行回答、如何生成具有上下文信息的对话等。
3.智能翻译：使用ChatGPT自动将一种语言翻译成另一种语言、如何生成符合语言习惯的对话等。
4.情感分析：使用ChatGPT分析文本中的情感信息、如何生成符合情感倾向的对话等。
5.智能写作：使用ChatGPT自动生成文章、新闻报道、产品描述等。
6.其他领域：例如语音识别、自动驾驶、医疗健康等，对话生成技术在各种领域中都有着广泛的应
用。

20. Media Example
News Analyses & Article Creations
Azure
Speech
Transcription
Azure
OpenAI
Text Completion
Content Creation
Content Analysis
Search
SEO
Virtual Agent
Analytics
Reporting
Knowledge Mining
Ideation
Productivity
Personalization
Accessibility
A/B Testing
Entity Extraction
Topic Classification
Key Word Extraction
Question and Answer
Global warming,
Deforestation, Carbon
footprint
Organizations: IPCC, UNFCCC, Green
Peace
Geography: Canada, USA
Human activities, fossil
fuels, earth atmosphere
What is the Intergovernmental Panel on Climate
Change (IPCC)?
The IPCC is an international organization that
studies climate change and the effectiveness …
Video summarization
The article discusses about global warming and its
effects on the Earth's atmosphere, wildlife, and human
communities. It states that the primary cause of global
warming is ….
News article generation (or blogs, social
media)
Global warming is the gradual increase in the overall
temperature of the Earth's atmosphere, primarily caused
…
Script Generation
Act 1: The show opens with a shot of a beautiful coastal
town
Act 2: As the town struggles to cope with the crisis …
News Broadcast
(Global Warming)
Personalized Content generation (or
Advertising)
Simon, as someone passionate about global warming,
you are aware of the urgent threat it poses to our planet
…

21. • 根据玩家交流，动态生成NPC互动
• 互动内容会参考NPC所处位置，职业，
状态，游戏进程及当时世界观。
• 非常优秀的Fine-Tuning案例
结合微软TTS，Custom Neural Voice和
Cross Lingual Adaptation实现更强大的
NPC表现力及游玩体验
情景
机会

22. • 文字类冒险RPG
• 玩家自行编辑剧情，游戏自动生成图
文并茂的开放式故事线，供玩家互动
结合DALL-E2，Unity Engine自动生成沉浸式
游玩体验。 配合定制化的Content
Moderation加固生成内容的安全性/合规性
情景
机会

23. 情景
Viva Sales
根据上下文邮件信息，结合CRM
最新资料自动撰写邮件

24. Block Survey
• 根据提示，自动编写调查问卷
（生成问题）
• 解析用户反馈（文字类）
• 总结
• 提出汇总改善点
动态生成问卷调查，总结并提示改善点

25. Detangle AI
用户上传法律文献/文件，自动解析
并归纳成重点汇总
• 解析文章
• 总结/归纳

26. • 语义理解
• 按情景动态生成自然对话
• 多轮对话（ 上下文继承）
• 多语种对话
• 图像识别和解析
• 声纹辨识
• Text-to-speech
更好地协助完成自动交易，更自然的交互
和客户体验

27. • CODEX代码生成
• GPT Embedding 进行语义理解和匹配
根据用户指示和需求，自动生成满足需求
的代码（可切换语言）。 实现代码自动品
控，测试，优化和除错等情景。

28. • 游戏情节语音解析（ STT）
• 视频标签和图像分析 （解析场景，关键
物品，行为）
• 玩家对话内容解析
• 事件驱动的场景描述
• 仿真语音合成（ TTS）
• 声纹模仿

29. 相关资源
1.OpenAI官网：https://openai.com/
2."Better Language Models and Their Implications": https://openai.com/blog/better-language-
models/
3."GPT-3: Language Models are Few-Shot Learners": https://arxiv.org/abs/2005.14165
4."GPT-3 Creative Fiction": https://beta.openai.com/playground/p/gpt-3-fiction
5."GPT-3 Creative Writing": https://beta.openai.com/playground/p/gpt-3-creative-writing
6."GPT-3 Chess": https://chess.com/play/computer
7."OpenAI GPT-3 Demo": https://gpt3demo.com/
8."OpenAI GPT-3 Creative Fiction Writing Demo": https://talktotransformer.com/
9."How GPT-3 Is Shaping Our AI-Powered Future": https://builtin.com/artificial-intelligence/gpt-3-
explained
10."What is GPT-3? Everything You Need to Know About the AI-Powered Language Model":
https://www.ibm.com/cloud/learn/gpt-3

30. GPT案例
https://microsoft-
my.sharepoint.com/:x:/r/personal/doberly_microsoft_com/_layouts/15/doc2.aspx?sourcedoc=%7B0A8
A30AB-9FA8-4B0D-A62E-
3CCB2BD42745%7D&file=OpenAI%20Use%20Cases%20By%20Industry.xlsx&action=default&mobiler
edirect=true&DefaultItemOpen=1&share=IQGrMIoKqJ8NS6YuPMsr1CdFAe0ncPtl0_DIbssFCzlYF68
Use Case by Industry (集思广益) GPT3 DEMO
https://gpt3demo.com/
Corp Asset
• GearUp Page: https://aka.ms/AOAI (internal)
• Azure OpenAI Pitch deck: https://aka.ms/AOAI-PitchDeck
• Pitch Video: https://aka.ms/AOAI-PitchVideo (internal)
• Field FAQ: https://aka.ms/AOAI-FieldFAQ (internal)
• Sales Guide https://aka.ms/AOAI-SalesGuidance (internal)
• Demo Video: https://aka.ms/AOAI-DemoVideo
• Microsoft Mechanics Video: Microsoft Mechanics – YouTube
Official Customer Story
https://customers.microsoft.com/en-us
https://apps.preview.powerapps.com/play/e/1efe9e
51-3f7e-48fe-b0cb-f9def730ad7f/a/5bd8f8eb-00f3-
4398-a902-bfd2d348f290?tenantId=72f988bf-86f1-
41af-91ab-2d7cd011db47&hidenavbar=true#
AI Case Studies

31. © Copyright Microsoft Corporation. All rights reserved.
未完待续…