吴迪分享阿里云 Elasticsearch 云产品从自动化运维系统到智能运维的演进道路上的经验。

1. 吴迪 技术专家 | 阿里云 Elasticsearch 云服务
阿里云Elasticsearch架构解析与智能化运维实践

2. Why Elasticsearch?

3. 150,000,000+
产品
下载
100,000+
社区
成员
活跃的社区

4. • 分布式的实时文件存储，每个字段都被索引并可被搜索。
• 分布式的实时分析搜索引擎。商业版 插件，提供企业级
权限管控、实时系统监控等强大服务。
• 可弹性扩展到上百台服务器规模，处理 级结构化或非结构
化数据。
• 支持 中文分词插件和自定义插件。
• 官方技术支持团队 小时技术支持。
阿里云Elasticsearch特点及优势

5. 阿里云Elasticsearch规模
集群数量 数 数据量

6. 运维 的痛点
阿里云 运维平台的架构
智能化运维平台的挑战
展望未来

7. 部署
多集群管理
扩磁盘
扩节点
配置变更 词典
监控报警
集群状态诊断分析
调优
Elasticsearch运维的痛点

8. Elastic Stack
LogstashElasticsearch Kibana

9. 阿里云Elastic Stack
Security
Monitoring
Alerting
Reporting
Graph
Machine
Learning
Kibana
Elasticsearch
Logstash Beats
+
X-Pack

10. 阿里云监控报警与Elasticsearch整合

11. 数据安全
云服务器
云数据库
云存储
VPC网络环境
AZ-A AZ-B
应用服务
公网网络环境
Logstash
filebeat
应用服务
应用服务
经典网络环境
classiclink
TLS/password/黑白名单
Logstash
filebeat

12. 阿里云Elasticsearch产品架构
BingoConsole
For
AliyunUser
ShuttleEssen Bingo
Elasticsearch KibanaLogstash
EssenConsole
For
Engineers
yarn
blink
bahamut
Swift
EYou
DeployAgent
dolphin
Hawkey
Hedwig

13. Elasticsearch自动化运维核心架构
• 资源管理
• 硬件管理,CPU,MEM,NET…
• 软件管理(插件/YML/多版本5.5,6.3和6.7)
• ES集群生命周期管理
• Rolling策略决策管理
• 集群,节点,硬件等状态收集管理
• Rolling状态机
• Eyou: AI Profiling 智能分析

14. • 阿里云Elasticsearch高效解决这些问题
• 部署: 一键部署, 15分钟内完成50个节点的集群部署.
• 多集群管理: 提供OpenAPI管理多集群.
• 扩磁盘: 一键扩盘, 不影响线上服务.
• 扩节点: 一键扩节点, 不影响线上服务.
• 配置变更: 一键变更各种配置, 不影响线上服务.
• 监控报警: 与阿里云监控紧密结合,易用的云监控报警.
• 集群状态诊断分析: 智能分析
• 集群调优: 智能优化

15. 阿里云elasticsearch性能
环境：
Elasticsearch版本：5.5.3，3节点
规格：2核4G 、4 核16G、16核64G
磁盘：1T SSD云盘
压测工具：
esrally
rest api
压测数据集：
esrally官方数据 geonames 3.3 GB,单doc 311B
模拟某业务日志数据 80GB ，单doc 1432B
Log数据tps可以达到9W
Geonames数据tps达到12W

16. • 阿里云Elasticsearch智能诊断系统Eyou
• 汇集专家经验沉淀
• 更全方面了解ES集群健康
• 寻找更佳的使用方式
• 智能化运维

17. Eyou诊断
诊断项是可以直接反馈
ES集群某一个状态或行
为是否合理的指标。

18. 阿里云Elasticsearch实时计算平台Eflow
Apache Hadoop YARN
Apache Hadoop HDFS
ElasticFlow
Dolphin Bahamut
Deploy
Storage
Runtime
Control
Application
Aliyun OSS
Hippo
Alibaba Blink Elasticbuild

19. Eflow的优势
• 基于强大的阿里流计算Blink框架.
• 高效的离线数据处理,流计算解决多表join.
• 支持多数据源导入至云ES,比如自建mysql,RDS,ODPS….
• 离线索引构建性能提升4倍.
• 已内建丰富的处理数据算子. 推荐算法算子,类目预测算子…

20. 展望未来
• ES系统智能自治
• 动态扩容缩容,真正做到Elastic
• 冷热数据分离
• 同城和异地的高可用

21. 您请关注
诚邀参加
4月12日北京闭门会(扫码报名)

22. Thanks!