性能优化（Performance Optimize） 建模（Moduling） 写入（Insertion optimize） 查询（Query Optimize） 案例分享（Case study） 地铁 电厂 车辆 气象

1. IoTDB性能优化与案例分享
乔嘉林
2020年6月10日

2. 培训内容
性能优化
案例分享

3. 性能优化
系统设计优化
存储组设置为核数
存储组粒度的锁
一般核数个10-50存储组(将设备按ID分散，查询时可按*表示
存储组，气象取前三位，地铁取模)
避免在测点层后再加一层，会导致测点变为设备
root.sg.d1.s1.value -> root.sg.d1.s1_value
配置多数据目录
每块磁盘一个数据目录
WAL 单独一块盘
增加并发客户端
2-3倍存储组数
可尝试开启 RPC 压缩
客户端、服务器需同时开启

4. 性能优化
写入流程优化
解析写入分层（SEDA 模型）
线程池
kafka 分区 解析线程
写入线程
按需配置数量 IoTDB 存储组
需要注意多层间速度匹配，避免任务无限积压导致客户端内存耗尽

5. 性能优化
写入接口选择 Session > JDBC
Session.insertRecords> Session.insertRecord
最灵活、通用
Session.InsertTablets > Session.InsertTable
接口执行效率最高
格式限制较强，需注意客户端格式转化耗时
device1
insertTablet
time s1 s2 s3
1 a b c
2 a b c
3 a b c
device1
insertRecords
time s1 s2 s3
1 a
2 b
3 c

6. 性能优化
避免乱序
Kafka Topic 内部按照设备 ID 分区、尽量保证每个设备的
数据都在一个分区内，时间戳递增
同一个设备数据尽量按时间戳递增写入
无乱序
insert into root.sg.d1(timestamp,s1,s2) values(1,1,1)
insert into root.sg.d1(timestamp,s1,s2) values(2,1,2)
可能产生乱序
insert into root.sg.d1(timestamp,s1) values(1,1)
insert into root.sg.d1(timestamp,s2) values(1,2)
insert into root.sg.d1(timestamp,s1) values(2,1)
insert into root.sg.d1(timestamp,s2) values(2,2)
可能产生乱序
insert into root.sg.d1(timestamp,s1,s2) values(2,1,2)
insert into root.sg.d1(timestamp,s1,s2) values(1,1,2)
Time s1 s2
1 1 2
2 1 2

7. 性能优化
查询优化：手动配置参数
enable_parameter_adapter=false
memtable_size_threshold=tsfile_size_threshold
=可分配内存*50% / 存储组个数 / 4 （有乱序数据）
=可分配内存*50% / 存储组个数 / 2 （无乱序数据）

8. 案例分享
地铁数据管理（0.8.0版本）
负载
50存储组
500设备
136万测点
建模方式
root.存储组.地铁线路.列车号.测点
IoTDB 参数
memtable_size_threshold=tsfile_size_threshold=300M
一次写一个设备一个时间戳3000个测点
平均延迟 30ms

9. 案例分享
电厂（0.10.0版本）
建模方式
root.公司.电厂.测点名
测试场景
20G内存
1个存储组、1个设备、30万测点
6个线程：每个线程每5秒写入5万点实时数据，平均60ms
6个线程：每个线程每5秒查询5万点实时数据，平均500ms
6个线程：每个线程每5秒查询1个序列1天原始数据，平均100ms
6个线程：每个线程每5秒查询1个序列1天数据，每5分钟采一
次,100ms

10. 案例分享
挖掘机物流车管理企业
负载：2万设备，3000万时间序列
IoTDB配置（0.10.0版本）
50存储组，6块磁盘目录，150线程写入
Session.insertRecords object 接口写入
100G内存
memtable_size_threshold=100M
tsfile_size_threshold=40M
primitive_array_size=32
每秒写入450万条数据

11. 案例分享
气象数据管理
负载：
6万观测站，70条时间序列/站点
1分钟/5分钟/10分钟/15分钟每站点上报数据
存在数据更正（时间点覆盖）
建模方式
root.地区.站点.测点
IoTDB配置（0.9.x版本）
30存储组，1块磁盘目录
Session.insertRecord String 接口写入
40G内存