Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Elasticsearch

2,254 views

Published on

Elasticsearch introduce

Published in: Data & Analytics
  • Be the first to comment

Elasticsearch

  1. 1. ELasticsearch
  2. 2. ElasticSearch 简介  构建在 Apache Lucene 之上的的搜索引擎服务,开源( Apache2 协议)  分布式索引,分布式搜索,自动负载均衡  海量数据实时索引、实时分析  高可靠性,开源社区比较活跃  JSON 格式的文档型数据  并非是只一个全文检索系统,正蜕变为一个完整的数据分析平台
  3. 3. ElasticSearch 典型用户  Github 在 2013 年 1 月升级了他们的代码搜索, Solr->Elasticsearch  20TB 的数据, 13 亿的文件, 1300 亿行的代码  26 个索引存储节点和 8 个客户端节点(负责处理搜索请求)
  4. 4. Elasticsearch 与关系数据库对比 Relational DB Databases Tables Rows Columns Elasticsearch Indices Types Documents Fields
  5. 5. Elasticsearch 初步探索
  6. 6. 颗粒度问题  最难的问题 . 颗粒度的大小很难把握  颗粒度越小歧义越高 , 歧义多召回率高  颗粒度越大 , 准确率越低 , 召回率低  系统不同需要的平衡点不同  Example: 中国银行知春路分行  NLP 语法分析 : 中国银行 / 知春路分行  搜索 :[ 中国 / 银行 ][ 中国银行 ][ 知春路 / 分行 ][ 知春路分行 ]
  7. 7. 一些有趣的 case  他说的确实在理  结婚的和尚未结婚的  上海大学城书店  北京大学生前来应聘  学习近平和李克强将成为一种风尚  发展中国家庭养猪事业  门把手坏了 , 门把手夹了  两毛五一斤 . 一斤八两  一次性交多少钱
  8. 8. ElasticSearch + Logstash + Kibana 实时日志收集 、查询和分析系统  Logstash 是一个完全开源的工具,可以对你的日志进行收集、分析,并 将其存储供以后使用。  kibana 是一个功能强大的 elasticsearch 数据显示客户端,最新版的 kibana3 是纯 html+js 客户端,可以很方便的部署到 Apache 、 Nginx 等 Http 服务器。
  9. 9. ELK 日志分析与监控应用场景  根据关键字查询日志详情  监控系统的运行状况  统计分析,比如接口的调用次数、执行时间、成功率等  异常数据自动触发消息通知  基于日志的数据挖掘
  10. 10. splunk 功能强大的日志管理工具 可以用多种方式来添加日志 生产图形化报表 最厉害的是它的搜索功能 - 被称为“ Google for IT” 个人永久免费——每天最大索引量 500MB
  11. 11. ELK 架构模式
  12. 12. 添加数据

×