过纯中 2025-02-18(本演讲稿书写准备期间没有使
用
任何AI
工
具)
接触2周的
一
些
小
想法
小
心
得分享
使
用
Dify 做 AI 应
用
81 年
生
的
老
Ruby On Rails程序员
https://about.me/ecguo
•
目
前在上海天华建筑设计有限公司就职,公
司唯
一
R
a
ils程序员
• https://github.com/th
a
pe-cn
• 2011年的时候接触过Python
• https://www.slidesh
a
re.net/slideshow/
micolog-
a
t-g
a
e-12535053/12535053
• 今年因为 Dify 重新
又
看了python
• 我是低代码的拥抱者,
无
代码的反对者
注意我和Dify官
方
没有任何关系,甚
至
可以说敌对阵营 (Ruby vs Python)
• 模型接
入
• 应
用
展示(没做完)
• IT知识库
• RAG 知识库 合同审核
• API 访问与应
用
集成
• 部署 Dify
• 全本地最
小
化运
行
• License问题
• Dify的
二
次开发介绍和未来的
一
些
工
作计划
今天我们会讲到的主题
B站和
小
红书上到处是知识付费的Dify私有知识库教程
Why Dify?
• 我希望AI的平台是开源的(排除coze)
• 我希望有
一
个UI界
面
可以给PM或者
非
相关
人
士
一
个调试prompt的平台(排除 l
a
ngch
a
in)
• 我希望这个平台不要太臃肿(排除RAG
f
low,内嵌模型,所以
大
)
• https://github.com/deepset-
a
i/h
a
yst
a
ck ?
• UI 搭建界
面
似乎要钱
• https://f
a
stgpt.cn/ ?
• 可以选择,没怎么仔细看,St
a
r数量略少
充值就
行
模型接
入
• https://pl
a
tform.deepseek.com/us
a
ge 充了¥500,现在深度求索停
止
充值了,
血
赚
• https://cloud.silicon
f
low.cn/i/J8CC9t5E 充了¥300,👈点击注册你我都可得到14元赠券
• https://intl.minim
a
xi.com/ 充了 $25,
一
开始搞错了,其实应该充国内站点
• https://
a
pp.hyperbolic.xyz/ OpenAI 创始成员之
一
、前特斯拉
人
工
智能主管安德烈·卡帕
西
Andrej K
a
rp
a
thy推
荐,我没充
• https://jin
a
.
a
i/ 还没充,主要是没钱了
• 相对专业的RAG
厂
商,公众号有很多不错的
文
章,
比
如下
面
• RAG 系统的分块难题:
小
型语
言
模型如何找到最佳断点?
不推荐,太费钱
本地模型接
入
• 4090可以运
行
DeepSeek R1 32b的模型,但是复杂对话会爆显存,只能运
行
14b的,虽然14b已
经
足
够智能,也许48G的4090魔改
方
案是不错的,但没敢冲
• 性价
比
较
高
的
方
案是购买64G的M
a
c Studio,理由是哪怕你后
面
不跑了,也还可以继续
用
……
• 我不打算购买更
高
内存容量的M
a
c,太贵了
• 还有N多
方
案可以选择,我不是专家,上述不构成建议
• 本地的嵌
入
模型和重排序模型的部署意义也不
大
,如果不是考虑安全性的话,毕竟这些模型现在
模型供应商这边都是免费调
用
的
天华的第
一
个应
用
7777 IT 助
手
• 做了4个版本
• ch
a
t
f
low
• 知识检索
• 问题分类
• 直接回答
暂时没上线
面
临问题和
心
得
• 问题
• 会吞掉不必要的符号(Dify前端)
• 时延问题
• 并发问题
• DS官
方
的API在
高
峰的时候不稳定
• 优势
• 可以让PM和
用
户忙起来
• 程序员空出来
经过测试,可能最
麻
烦的还是AI的相应速度慢
API 访问与应
用
集成
• 作为资深API调
用
师表示
无
压
力
• https://github.com/th
a
pe-cn/web/blob/m
a
in/
a
pp/models/guest_mess
a
ge.rb#L15
• 也许应该考虑使
用
deepseek的专
用
gem?
• https://github.com/n
a
gstler/deepseek-ruby
• 或者dify的SDK?
• https://github.com/l
a
nggenius/ruby-sdk
我更倾向暴露Dify给客户
将Dify 作为中间件集成的选择
• API直接调
用
• 直接嵌
入
ifr
a
me (有logo)
• 聊天助
手
气
泡(有logo)
• 套
用
官
方
模版(建右图)
AI
目
前的能
力
没有那么强,向
用
户隐藏AI的存在实际上是激怒
用
户
将Dify作为
一
个AI
工
作流编排平台
• 全
民
DeepSeek
行
为艺术观察
• 某三线城市政务
大
厅,办事窗
口
贴满”本柜台已接
入
DeepSeek"的标语,结果市
民
咨询
生
育津贴时,AI
贴
心
地推荐了《三体》同
人
小
说。
工
作
人
员解释这是"测试版",但群众纷纷表示理解:"没事,我们单位
OA系统也是半成品。"
•
一
个AI的调教
至
少能够产
生
三个
工
作岗位:
• 节点编辑器 demo
• 数据清洗
• 测试调教
注意,这个才是今晚真正有价值的!
Dify 本地部署
• docker部署的问题
• 得等官
方
发版本
•
自
己
无
法改
• 源码部署的问题
• 难度
大
,但可以抄作业👇!
• https://blog.cloud-mes.com/2024/02/21/inst
a
ll-dify-dot-
a
i-
a
t-rocky-linux-9-dot-3-from-
source-code/
https://github.com/langgenius/dify/blob/main/LICENSE
本地部署的License注意事项
Dify is licensed under the Ap
a
che License 2.0, with the following
a
ddition
a
l conditions:
1. Dify m
a
y be utilized commerci
a
lly, including
a
s
a
b
a
ckend service for other
a
pplic
a
tions or
a
s
a
n
a
pplic
a
tion development pl
a
tform for enterprises. Should the conditions below be met,
a
commerci
a
l license must be obt
a
ined from the producer:
a
. Multi-ten
a
nt service: Unless explicitly
a
uthorized by Dify in writing, you m
a
y not use the Dify source code to oper
a
te
a
multi-ten
a
nt environment.
- Ten
a
nt De
f
inition: Within the context of Dify, one ten
a
nt corresponds to one worksp
a
ce. The worksp
a
ce provides
a
sep
a
r
a
ted
a
re
a
for e
a
ch ten
a
nt's d
a
t
a
a
nd con
f
igur
a
tions.
b. LOGO
a
nd copyright inform
a
tion: In the process of using Dify's frontend, you m
a
y not remove or modify the LOGO or copyright inform
a
tion in the Dify console or
a
pplic
a
tions. This restriction is
in
a
pplic
a
ble to uses of Dify th
a
t do not involve its frontend.
- Frontend De
f
inition: For the purposes of this license, the "frontend" of Dify includes
a
ll components loc
a
ted in the `web/` directory when running Dify from the r
a
w source code, or the "web" im
a
ge
when running Dify with Docker.
Ple
a
se cont
a
ct business@dify.
a
i by em
a
il to inquire
a
bout licensing m
a
tters.
当然我不是律师
我对License的理解
• 不能改Logo
• 不能通过改代码来打开多空间
• 【通过
二
次开发Dify社区版实现多worksp
a
ce功能并且通过worksp
a
ce管理应
用
-Dify
二
次开发
系列-哔哩哔哩】 https://b23.tv/MirehgQ (这个视频是错误的)
• 但是可以通过改代码
支
持其他需求,Ap
a
che License
支
持
• https://git.th
a
pe.com.cn/
a
i/dify/-/commits/th
a
pe?ref_type=HEADS
• 天华建筑有限公司严格遵守License
当然,计划赶不上变化
Dify的
二
次开发介绍和未来的
一
些
工
作计划
• https://github.com/l
a
nggenius/dify-s
a
ndbox 给s
a
ndbox加上ruby语
言
支
持
• 升级到Dify 1.0(昨晚看到合并到m
a
in了)
• 尝试
二
次开发插件
• 在AI时代让别
人
写程序,编排
工
作流,
自
己
做好基础数据接
入
• 在天华本地部署嵌
入
模型和重排序模型
• 做智能合同审核(今年的KPI)
• 解决前
面
提到的
一
系列问题和bug

使用 Dify 做 AI 应用 - 接触2周的一些小想法小心得分享 Ruby Tuesday Shanghai