CLOUDIAN at Support Engineer Night

25,219 views

Published on

2015年7月2日開催、「サポートエンジニアNight」におけるクラウディアンのプレゼン資料です。

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
25,219
On SlideShare
0
From Embeds
0
Number of Embeds
21,515
Actions
Shares
0
Downloads
0
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

CLOUDIAN at Support Engineer Night

  1. 1. 7/2 サポート エンジニア Night クラウディアン株式会社 テクニカルサポート ダイレクター 後藤哲明 On-Premise からクラウドサポートへ
  2. 2. サポートエンジニア じゃないんでは? July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P2
  3. 3. 自己紹介 後藤 哲明 サポート ダイレクター@クラウディアン株式会社 前職 電話会社 R&D アプリケーションサーバー製品ベンダー サポートエンジニア ⇨ リード ⇨ サポートエンジニア ⇨ リード データベース&ミドルウェア製品ベンダー サポートエンジニア ⇨ マネージャー 企業向けソフトウェアベンダー サポートマネージャー July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P3
  4. 4. アジェンダ クラウディアン? どんな製品をサポート? 日常を支える道具たち トラブルシューティング 領域 オンプレミス vs. クラウド ビッグデータ解析ビッグデータ解析 July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P4
  5. 5. クラウディアン株式会社 プロフィール 会社概要: 拠 点 クラウディアン株式会社(東京・渋谷) Cloudian Inc.(シリコンバレー) 北京科絡典云端科技有限公司(北京) 創 業 2001年 7月(旧ジェミナイ・モバイルテクノロジーズ) 代表取締役 JAPAN CEO:太田 洋、US CEO:マイケル・ツォー 従業員数 約 50名 投 資 インテルキャピタル、産業革新機構、フィデリティー・グロースパートナーズ、ゴールドマン July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P5 豊富なビッグデータ経験: EMC、NetApp、Oracle、Inktomi、Intel、Vodafone、NTT などの経験者によって構成 Vodafone、ドコモ、Nextel 等にメールシステムを提供し、延べ数⼗億通のメッセージを管理 事 業: ビッグデータ対応のクラウドストレージ製品「クラウディアン・ハイパーストア(Cloudian HyperStore®)」の開発および販売 注)当社はサービスプロバイダーではありません 投 資 インテルキャピタル、産業革新機構、フィデリティー・グロースパートナーズ、ゴールドマン サックスなど URL http://www.cloudian.jp(日本語) http://www.cloudian.com(英語)
  6. 6. どんな製品? Cloudian HyperStore® オンプレミスで動作するソフトウェア製品 Amazon S3 準拠 分散ストレージとして動作 HyperStore = (Cassandra, Replication, Erasure Coding…) Java & Linux OSJava & Linux OS ソフトウェア単体販売&アプライアンス製品 July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P6
  7. 7. ユーザ事例 July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P7
  8. 8. 多種多様な既存アプリケーションを活用 同一アプリケーションでクラウドの使い分け データ種別に応じた適正なクラウドへ保存 S3 API完全互換 (プロトコル互換) Private July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P8 Public Managed Private • パブリッククラウドの特⻑ • 簡単に容量を拡⼤・縮⼩ • 運用・保守のアウトソーシング • 必要な容量だけ利用し完全な従量制課⾦ • プライベートクラウドの特⻑ • ⾃社(グループ)内でデータを管理 • データの所在が明確 • セキュリティーの確保が容易 S3 API
  9. 9. 主なテクノロジー領域 Java Linux OS REST/HTTP/Web/TCP Amazon S3 Big Data 分散コンピューティング分散コンピューティング Cassandra (NoSQL) Redis (KVS) Various Open Source Software File System, RAID July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P9
  10. 10. 論理リング上にオブジェクトを自動配置 LB Coordinator Node 論理リング内のノード 数は2127まで理論的に は可能(ほぼ無制限) ただし、運用面では、 〜200台程度 Data/ Object ハッシュ関数 HyperStore 概要 論理リング Storage Node 1 Storage Node 2 Storage Node 3 データを 複数のノード に⾃動複製 DC 1 DC 1 DC 2 Replica Replica Replica 複数データセンターや ラック単位で指定可能 ノード追加や縮退時に、 データのリバランス July 16, 2015 © Copyright 2010-2014 Cloudian KK. All rights reserved. P10
  11. 11. Private/Managed CIFS 統合 仮想 サーバ VDI BYOD 監視 カメラ 拠点 統合 BI/ DWH HPC/ メディア ビッグ データ オンライン ストレージ Windows 仮想NAS SAN/NAS ゲートウェイ (キャッシュ・暗号化 ・重複排除・圧縮) エントリー NAS (データバックアップ) 広域共通 プラットフォーム (多拠点・マルチデバイス ・リアルタイム共有) 分析ツール (Hadoop 等) ログ解析 クラウド OS 広域共通ストレージ基盤による統合 July 16, 2015 © Copyright 2010-2014 Cloudian KK. All rights reserved. P11 Private/Managed バケット毎 階層化 マルチデータセンター スケールアウト ノード保守交換 • 統合 • バックアップ • アーカイブ • DR / BCP • ハイブリッド化 の同時解決
  12. 12. HyperStore 製品の優位性(営業から拝借) ハードウェア ソフトウェア S3 API フル互換 スモールスタート ジオクラスター パブリックへの 保護レベル・保存先 July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P12 ジオクラスター (マルチDC) パブリックへの データ階層化 保護レベル・保存先 を選択 豊富な管理機能 多くの採用実績 サポート体制
  13. 13. HyperStore 製品の優位性(営業から拝借) ハードウェア ソフトウェア S3 API フル互換 スモールスタート ジオクラスター パブリックへの 保護レベル・保存先 July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P13 ジオクラスター (マルチDC) パブリックへの データ階層化 保護レベル・保存先 を選択 豊富な管理機能 多くの採用実績 サポート体制
  14. 14. サポートチーム 日本(東京) 米国(カリフォルニア) 2拠点で24時間サポート 日本(昼間シフト) 10AM 6PM 10PM July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P14 日本(夜間シフト) 米国(早朝) 米国(昼間) 英語 or 日本語
  15. 15. 「グローバル サポートエンジニア」 技術スキルが何より大事 臆せず英語で用が⾜せること(流暢である必要なし) 挨拶くらいは言ってみる Ciao, tutti!Ciao, tutti! Buenos dias! 你好! July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P15
  16. 16. サポートの日常を支える道具たち Bugzilla (Bug, QA, ER) CRM(ケース管理) GitHub(ソースコード管理) July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P16 GitHub(ソースコード管理) チャット、通話、 コラボレーション Amazon Web Services (テスト、再現環境)
  17. 17. 再現、テスト環境 自社ラボ環境 物理H/W 性能がシビアな場合に必要 数に限りあり! Amazon EC2 様々なインスタンスタイプ様々なインスタンスタイプ vCPU, メモリー、ストレージ Cloud Formation テンプレートを用意しておき短時間でクラスター構築 3 ノード 6 ノード 9 ノード、or more July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P17
  18. 18. トラブルシューティング Linux 上の分散 Java アプリケーション 分散データベース、分散処理 ネットワーク、プロトコル系 ストレージ系 パフォーマンス系 データ整合性(Eventual Consistency) データ履歴解析 July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P18
  19. 19. ネットワーク系 ツール tcpdump, WireShark パケットをもれなくキャプチャ、解析 ngrep リクエスト/レスポンス をダンプ。Bug 報告に便利 ifconfig 送受信、ドロップパケット数の確認送受信、ドロップパケット数の確認 netstat LISTENING, ESTABLISHED, CLOSE_WAIT, … iptables 再現テストにも有効。ポートブロック、パケットドロップ。 July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P19
  20. 20. ファイルシステム、ストレージ データの大量⽣成が必要 ストレスツールで数日 – 数ヶ月 Amazon EC2 Magnetic vs. SSD. EBS Optimized クラウド上で様々な条件でのテストを柔軟にクラウド上で様々な条件でのテストを柔軟に Ext4, XFS RAID slabtop iotop /proc/[pid]/io July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P20
  21. 21. パフォーマンス系 各プロセスの統計情報 サマリーとしては有効 Java プロファイリング、ヒープダンプ 事実を知る強⼒な⼿段 エビデンスに基づいた解決策エビデンスに基づいた解決策 アクセスログ解析による詳細な時系列分析 アクセスパターン(時間帯) リクエスト種別 オブジェクトサイズ 実⾏ノード、データ格納ノードの位置 July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P21
  22. 22. LB Coordinator Node Data/ Object ハッシュ関数 大規模クラスターでは ⻑期にわたる大量の ログが解析対象! 論理リング Storage Node 1 Storage Node 2 Storage Node 3 データを 複数のノード に⾃動複製 DC 1 DC 1 DC 2 Replica Replica Replica July 16, 2015 © Copyright 2010-2014 Cloudian KK. All rights reserved. P22
  23. 23. サポートにも S3 ストレージを活用 サポート部門用の S3 ストレージを構築(経済的) アドホックなログ解析 探したい範囲、内容が分かっていれば便利 S3 Upload NFS July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P23 サポート用 HyperStore クラスター お客様 プロダクショ ン環境 S3 Upload S3 NFS ログ解析 サーバー NFS mount
  24. 24. ビッグデータ集計、解析 過去6ヶ月にわたる時単位、分単位のアクセス集計結果 過去3ヶ月の履歴からシステム性能の変曲点を⾒つける 特定ユーザのリクエストのみを全て取り出して分析 特定のエラーメッセージを全ログファイルから抽出し、 そこに含まれるキー値をもとに、全体を再検索する 問題点 シェルスクリプトでも書けるが、実⾏時間がかかりすぎ る 元データのコピー、展開等の時間、スペースも浪費 July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P24
  25. 25. Hadoop on HyperStore Hadoop のストレージとして S3 (HyperStore) を活用 サポート用 S3 Upload Hadoop Pig で集計ス クリプト実⾏ July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P25 サポート用 HyperStore クラスター お客様 プロダクショ ン環境 Hadoop Cluster + Pig結果を取り出し てビジュアル化
  26. 26. Pig スクリプト(例) July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P26 • リクエスト ログを分単位で集約 • 合計数、サイズ、平均、最小値、最大値を計算
  27. 27. July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P27
  28. 28. 例)大量のログを条件別に分類、処理、統合 July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P28
  29. 29. Hortonworksによる公式認定 APPLICATIONSDATASYSTEM Governance &Integration Statistical Analysis BI / Reporting, Ad Hoc Analysis Interactive Web & Mobile Applications Enterprise Applications July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P29 DATASYSTEMSOURCES OLTP, ERP, CRM Systems Documents, Emails Web Logs, Click Streams Social Networks Machine Generated Sensor Data Geolocation Data Governance &Integration Security Operations Data Access Data Management Enterprise Hybrid Cloud Storage for Big Data Reference : http://hortonworks.com/partner/cloudian/
  30. 30. “Innovation should come from everyone” サポートチームのゴール July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P30 サポートチームのゴール • お客様のクラウドストレージ環境が安定して 運用されること • システムの変化を察知、予測できること
  31. 31. “Smart Support” スマートサポート - 開発チームと連携して実装 HyperStore Ready アプライアンス 社内環境 HyperStore S3n://bucket/… お客様 CLOUDIAN Telemetric Data Smart Support July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P31 CLOUDIAN テクニカルサポート Hadoop Cluster S3n://bucket/… Smart Support Analytics
  32. 32. サポート業務に疲れたら July 16, 2015 © Copyright 2010-2015 Cloudian KK. All rights reserved. P32
  33. 33. ご清聴ありがとうございました。 www.cloudian.jp Cloud Storage for Everyone ホームページ:http://cloudian.jp/ホームページ:http://cloudian.jp/ Facebook:https://www.facebook.com/cloudian.cloudstorage.S3 Twitter:https://twitter.com/Cloudian_KK ブログ:http://www.cloudian-blog.com/ 評価版お申込み:http://www.cloudian.jp/cloud-storage-products/cloudian_eval_agr.php クラウディアン株式会社

×