Recommended
More Related Content
Viewers also liked
Viewers also liked (20)
Similar to JPN_Elastic Corporate Deck_March2016_Japan_v3
Similar to JPN_Elastic Corporate Deck_March2016_Japan_v3 (20)
JPN_Elastic Corporate Deck_March2016_Japan_v3
- 3. 3 5千万件以上のダウンロード数（現在も増加中） 2014年年 30. ダウンロード件数（百万単位） 10. 50. 2016年年2015年年2012年年 2013年年 現在までの全Elastic製品の累累積ダウンロード件数
- 7. 7 今⽇日の開発に必要な要件 ⽔水平的なスケーリング リアルタイムの利利⽤用可能性 柔軟なデータモデル 迅速なクエリ実⾏行行 洗練されたクエリ⾔言語 スキーマレス
- 8. 8 Elasticは分散アプリケーションの構築を簡単にします データ 複雑/多種多様 開発者要件を満たすことが可能 ユースケース 多数のユーザー / ユースケース リアルタイム の利利⽤用可能性 迅速な クエリ実⾏行行 柔軟な データモデル スキーマレス ⽔水平的な スケーリング 洗練された クエリ⾔言語 バリュー/ビジネス影響 短期/中期/⻑⾧長期 位置情報 マシン/ログファイル ユーザーアクティビティ ドキュメント ソーシャル 収益の増加 新しいアプリや、収益化サービ スを開始：ユーザーエクスペリ エンスのパーソナライズ コスト削減/リスク管理理 アプリ 検索索 組み込み型 の検索索 ログ分析 セキュリティ 分析 運⽤用の分析 その他 次世代アーキテクチャ、既存シ ステムの再ツール化、リスクお よびコンプライアンスの管理理
- 9. 9 Elastic Cloud セキュリティ 監視 アラート グラフ X-Pack Kibanaユーザー インターフェイス Elasticsearch 保存、インデックス、 分析 取り込み Logstash Beats + Elastic スタック Elastic社の製品ポートフォリオ
- 10. 10 IT運⽤用 アプリケーション管理理 セキュリティ分析 マーケティング洞洞察 ビジネス配備 顧客センチメント分析 Webサイト検索索 内部/イントラネット検索索 URL検索索 内部システム / アプリケーション 外部システム / アプリケーション 開発者 IT / 運⽤用 ビジネスユーザー あらゆる業種で多数のユースケースを解決 ログ分析 アナリティクス 検索索セキュリティ
- 11. 11 elasticsearch
- 12. 12 保存、インデックス、分析 • 弾⼒力力性のある、スケール アウトを考慮した設計 • ⾼高可⽤用性、マルチテナン シー • 構造化/⾮非構造化データ に対応 分散型かつ スケーラブル 開発者にとって 親しみやすい 検索索と分析 • スキーマレス • ネイティブなJSON • クライアントライブラリ • Apache Lucene • リアルタイム • 全⽂文検索索 • 集計 • 地理理空間データ • 多⾔言語データ
- 13. 13 通常の逆インデックスではない カラム型ストア ⽇日付 ストア 製品 顧客 価格
- 14. 14 地理理的ロケーション
- 15. 15 Thu 31 Smooth Average Data Value Upper Control Limit August Aug 03 Tue 05 Thu 07 Sat 09 Mon 11 Wed 13 Fri 15 Aug 17 Tue 19 10 20 30 40 50 60 70 10 20 30 40 50 60 70 パイプライン集計 平滑滑移動平均 データ値 上部管理理限界線
- 16. 16 kibana
- 17. 17 可視化と探索索 • データ内に存在するパ ターンの探索索と分析：任 意のレベルへのドリルダ ウンが可能 • Elasticsearchの強⼒力力な 分析機能を活⽤用 洞洞察の発⾒見見 カスタマイズと 共有 アプリ構築向け UXプラット フォーム • 棒グラフ、折れ線グラフ や散布図、マップ、ヒス トグラムの作成 • ダッシュボードを共有し、 運⽤用ワークフローに組み 込み • 組込み可能なアーキテク チャ：ダッシュボードや可 視化をアプリとして作成 • セッション管理理、ユーザー ロール、セキュリティ統合
- 18. 18 ⿊黒の画⾯面再び
- 19. 19 フィールドフォーマッタ―
- 20. 20 ヒートマップ
- 21. 21 Timelion
- 22. 22 logstash 取り込み
- 23. 23 取り込み • データ収集とリッチ化： 200種類以上のプラグイン • 次世代データパイプライ ン：マイクロバッチ。イベ ントのグループを処理理 ES-Hadoop • 軽量量型データシッパーを 構築するためのプラット フォーム • ホストベースの数値指標 やあらゆるデータを Elasticsearchに転送 • HDFS、Spark、 MapReduceなどとの統 合を⾏行行う双⽅方向型のコネ クタ • Hadoopデータに関する リアルタイムの検索索クエ リを実現
- 25. 25 軽量量型データシッパー ホストベースの数値指標を Elasticsearchに転送するための ライブラリ Libbeat Packetbeat Topbeat Web、データベース、任意の ネットワークプロトコルに関す るリアルタイムのネットワーク パケット分析 CPUやメモリなどのリソース利利 ⽤用率率率に関するデータを収集 ログファイルの収集、前処理理、転 送を⾏行行う次世代のLogstashフォ ワーダー Filebeat Winlogbeat {Future}beats Windowsイベントログからシス テム、アプリケーション、セ キュリティに関する情報を収集 http、Redis、Nginx、Docker、 Twitterなどのデータを収集する beatsがコミュニティにより多数 作成されている
- 26. 26 Packetbeat
- 27. 27 Topbeat
- 28. 28 Elasticsearch Kibana Elasticsearch for Hadoop Hadoopから Elasticsearchへの直接 的なインデクシングを 実施 Hadoop経由で Elasticsearchへの クエリを実施 ElasticsearchをHDFS にバックアップ
- 29. 29 x-pack
- 30. 30 X-Pack：単⼀一の拡張 Elasticスタック⽤用の セキュリティ機能 （Shield） セキュリティ Elasticスタック⽤用の 監視機能（Marvel） 監視 セキュリティ 監視アラート グラフ X-pack Elasticスタック⽤用の アラートおよび通知機能 （Watcher） アラート リアルタイムのグラフ分析。 Elasticスタックの新しい ユースケースを実現 グラフ
- 31. 31 基本セキュリティ • ユーザー名/パスワードによる保護 ⾼高度度なセキュリティ • LDAP/ADとの統合 • ロールベースのアクセス制御 • IPフィルタリング • フィールドおよびドキュメントレ ベルのセキュリティ • 暗号化通信 • 監査ロギング セキュリティ 監視アラート グラフ X-pack セキュリティ
- 34. 34 基本設定 • データに基づいてWatcherを作成 • ⾃自動通知をトリガ • チェーン⼊入⼒力力の設定 通知と統合 • Slack、Hipchat、JIRA、Pagerduty • 電⼦子メール • Elastic監視機能（Marvel） • その他 アラート セキュリティ 監視アラート グラフ X-pack
- 35. 35 アラート • 通知 • 項⽬目2 • 項⽬目3 アラート アラートと通知をトリガする 場合のワークフロー
- 36. 36 Elasticsearchの監視 • すべてのクラスタとノードに関す るリアルタイムの統計量量と数値指 標を収集 問題の診断 • 過去またはリアルタイムのデータ を分析することで根本原因を分析 パフォーマンスの最適化 • 詳細分析を使⽤用することにより クラスタの性能を改善 監視 セキュリティ 監視アラート グラフ X-pack
- 37. 37 監視
- 38. 38 リアルタイムのグラフ分析 • 検索索のスピードおよび関連性ランキング をグラフ探索索と結合 • データにおけるグラフ関係性を⾃自動的に 可視化することで最も重要な関連性を 特定 • ユースケースの新しいセットの拡張と 実現：⾏行行動分析、不不正⾏行行為、サイバー セキュリティ、創薬、推奨事項など • APIおよび/またはUIを通じて消費 グラフ セキュリティ 監視アラート グラフ X-pack
- 39. 39 グラフ
- 40. 40 cloud
- 41. 41 Elastic社のエンジニアによりサポートされている唯 ⼀一の公式なホスト型のElasticsearch製品 • 常にElasticスタックおよびX-Packの最新リリース によりサポート • 開発環境で開始し、本番環境へとスケーリング、 任意の時点でスケールアップ/スケールダウンを 簡単に実施 • メモリ1GBごとに16GBのストレージを含めるこ とが可能 • レプリケーションにより⾼高可⽤用性を実現 • ElasticサブスクリプションパッケージによりSLA をサポート • データセンターは⽶米国、EMEA、南⽶米、東京、 シンガポール、シドニー ホスト型のElasticsearch 検索索 アナリティ クス ログ分析 多くのユースケースをサポート
- 43. 43 Elasticサブスクリプションパッケージ 2営業⽇日 応答時間 製品 4時間 応答時間 重⼤大な問題 1時間 応答時間 重⼤大な問題 3名 指名サポート担当者の⼈人数 専⾨門家による サポート 無制限 サポートリクエスト 開発 ゴールド プラチナ Elastic Stack X-Pack Elastic Stack X-Pack セキュリティ (Shield) アラート (Watcher) 監視 (Marvel) Elastic Stack X-Pack セキュリティ (Shield) フィールドレベルのセキュリティ ドキュメントレベルのセキュリティ カスタムレルム アラート (Watcher) 監視 (Marvel) セキュリティ (Shield) アラート (Watcher) 監視 (Marvel) 6名 指名サポート担当者の⼈人数 8名 指名サポート担当者の⼈人数 無制限 サポートリクエスト 無制限 サポートリクエスト
- 47. 47 Elasticsearchは、銀⾏行行向け 戦略略テクノロジーのトップ 5のうちの１つであり、こ れにより我々は⽂文字通り、 数⼗十万名もの⼈人々の時間を 節約できます “ ”Don Duet⽒氏、テクノロジー部共同経営者 Elastic{ON} ’15キーノートスピーチより
- 55. 55 Elasticスタックとそのプラ グインを組み合わせて使⽤用 することで、我々はテラバ イトのデータを通じた検索索 が簡単に⾏行行えるようになり、 サプライチェーンとロジス ティック運⽤用の最適化を実 現しています “ ”Oliver Cruickshank⽒氏 統合アーキテクチャ部⾨門最⾼高責任者
- 56. 56 Elasticsearchは1秒間に最⼤大 400件のクエリ要求を処理理し ます。しかもダウンタイム はゼロで、遅延はミリ秒単 位です Jean-Pierre Paris⽒氏 技術主任 “ ”
- 59. 59 あらゆる業種で多数のユースケースを解決 IT運⽤用 アプリケーション管理理 セキュリティ分析 マーケティング洞洞察 ビジネス配備 顧客センチメント（⼼心理理） Webサイト検索索 内部/イントラネット検索索 URL検索索 内部システム / アプリケーション 外部システム / アプリケーション 開発者 IT / 運⽤用 ビジネスユーザー ログ分析 アナリティクス 検索索セキュリティ
- 60. 60 ケーススタディ: 株式会社はてな（はてなブックマーク） • 課題/背景 – はてなブックマークはユーザーの活動の集約と編集スタッフの編成 によるソーシャルブックマークサービスを提供 – 当初導⼊入したSolrでは、運⽤用⾯面、index・検索索クエリの仕様の貧弱さ、 リアルタイム検索索の弱さなどが課題であった • ソリューション – サービスに蓄積された過去から現在までの価値あるユーザーデータ をより活⽤用するためElasticsearchへの移⾏行行を実施した • 導⼊入効果 – 検索索基盤のリッチ化により、新企画の⾃自由度度が向上 – ニューストピックの⾃自動認識識、ユーザーの好みに応じた配信をする ニュースアプリ、検索索精度度改善といった技術的にチャレンジな内容 に挑戦しやすくなった • 今後 – はてなが運営するあらゆるサービスの価値ある情報を横断的に抽出 し、各サービスの価値を最⼤大化する検索索・集約基盤の構築を⽬目指す
- 61. 61 ケーススタディ: 株式会社ドワンゴ • 課題/背景 – どのようにして、⽉月800万を超えるアクティブユーザーに対して、増えていくサービスの検索索を 提供していくかが課題であった – 全⽂文検索索に求められる要件の質は⾼高まっており、導⼊入コストを下げるためにも全社的な統合検索索 基盤が求められていた • ソリューション – サービスを横断する統合検索索基盤として、全⽂文検索索を1秒以内という安定した応答性能で提供で きるようにする – 増加するサービスとユーザーに対して、無停⽌止かつ、適切切なタイミングで、スケールアウトでき るようにするなど • 導⼊入効果 – コンテンツ到達時間の短縮 – メンテナンスのコスト低下など • 今後 – 数億件規模のユーザーのお気に⼊入りデータの検索索や、ユーザーのアクションを検索索することによ るタイムライン機能への活⽤用などを計画
- 62. 62 ケーススタディ: 株式会社ビズリーチ • 課題/背景 – 当初はクラウド型の全⽂文検索索サービスも検討していたが、 検索索精度度の詳細なチューニングができなかった • ソリューション – Elasticsearch / Elasticsearch for Hadoop 2.1 – Apache Spark 1.3 でのシステム構築 • 導⼊入効果 – プラグインを活⽤用することで検索索結果の柔軟な チューニングを⾏行行うことができるようになった – Apache Sparkと組み合わせることで⼤大量量データの ⾼高速なインデキシングが可能になった • 今後 – 柔軟なクラスタ構成を活かし、負荷分散しつつメンテナ ンスコストを下げる⼯工夫をしていきたい ⽇日本最⼤大級の求⼈人検索索エンジン 「スタンバイ」
- 63. 63 ケーススタディ – 株式会社ホットリンク • 課題/背景 – 数百億のソーシャルメディアを瞬時に検索索が必要 – メディアに合わせた⾼高度度な分析がリアルタイムで必要 – 増え続けるデータに対して柔軟にスケールが必要 • ソリューション – Elasticsearch • 導⼊入効果 – 数百億の記事検索索が1秒以内に可能 – ⾃自然⾔言語処理理の分析プラグインをElasticsearch⽤用に作成し、 Elasticsearchを活⽤用したSNS分散分析フレームワークの構築 を実現。（Hazelcast,akka/Dynamoとの連動） – データ増に対して柔軟にサーバーの台数増加で対応可能に • 今後 – さらに世界各国のソーシャルメディアを投⼊入 – ⾼高度度な分析フレームワークをマルチランゲージ対応
- 64. 64 ケーススタディ– 株式会社インティメート・マージャー • 課題/背景 – 既存のビッグデータソリューションでは、数億件のデー タのアドホックな集計・分析が応答速度度的に困難であっ たため、検索索エンジンで対応可能なものを探していた • ソリューション – Elasticsearch + Python Client • 導⼊入効果 – 容量量や性能のスケールアウトが可能に – 億件単位のデータの集計が数秒で⾏行行えるようになった • 今後 – 検索索対象となるドキュメント数の増加や、スキーマの変 更更があったため、再度度パフォーマンスのチューニングを ⾏行行っていく予定
- 65. 65 ケーススタディ– BlogPeople • 課題/背景 – 膨⼤大なブログ記事の全⽂文検索索をMySQLにより実装して いたが、⽇日々増加するデータに耐えきれずにいた • ソリューション – Elasticsearch 1.5.2 + kuromoji1.5 • 導⼊入効果 – CPU負荷もほとんどかかることなくインデックス化及び 検索索処理理が可能に。 – 導⼊入及び実装にわずか数⽇日しかかからなかった。 • 今後 – Elasticsearchに対する理理解がまだ深くないので、今後よ り学習しよりよい検索索結果が得られるようチューニング していく
- 67. 67 ケーススタディ– 株式会社クラウドワークス • 課題/背景 – 「クラウドワーカーや仕事の検索索」というコアな機能を InnoDB FTSで実装していた – サービスが成⻑⾧長するに伴いボトルネックに • ソリューション – Elasticsearch + analysis-‐‑‒kuromoji on Found – 性能・リソース監視はNewRelicやDatadog • 導⼊入効果 – クラウドワーカーや仕事の検索索が平均10倍速に – サービス無停⽌止でスケールアップ・ダウン、 データ構造の変更更が可能に • 今後 – サービスのより多くの機能にElasticsearchを横展開
- 68. 68 ケーススタディ– Increments株式会社 • 課題/背景 – Qiitaでは当初、MySQLでのLIKE SQLで検索索を⾏行行っていましたが、検索索対象や検索索回数の増 加、タグやストック数等のメタデータによる絞り込みなどを実現するために、Elasticsearch を導⼊入しました。 • ソリューション – 検索索アクションの応答性が改善しました。 – また、クエリの表現⼒力力が⾼高いので、新しくあがってくる要求にも、インデックスの変更更を伴わ ない限りは、柔軟に対応できるようになりました。 • 導⼊入効果 – “Elasticsearchでこういうことができるけど、これをQiitaに⽣生かせないか?”という技術ドリブ ンで施策を思いつくことがあります。 • 今後 – 検索索システム以外にも、情報の集約等を⾏行行っていきたいと考えています。また、Kibanaなど のツールの導⼊入も検討していきたいです。