Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Domoによるモニタリングオートメーション

2,586 views

Published on

DOMOユーザー会#1にて登壇した内容+時間の関係で削ったシートを足したものになります。

Published in: Internet

Domoによるモニタリングオートメーション

  1. 1. Copyright © 2004-2007 GREE,Inc. All Rights Reserved. DOMOによる モニタリングオートメーションの ススメ リクルートジョブズ 商品本部プロダクト開発室 ITマネジメント部ITサービスマネジメントG 吉岡 太郎
  2. 2. 私について • 吉岡 太郎 • 出身 • 東京 国立生まれ • どんな仕事 • NetyearでIAとして活動。 • その後、GREEでSNS開発ディレクターを担当。 • 2013年からリクルートジョブズで開発側のプランナーと して、開発フローの改善やツール導入推進など行って いる。 1
  3. 3. DOMOの特徴 1. 様々なデータソースにリンクして、データソースを組み合わせ てダッシュボードが作れる ▼これは一部です。
  4. 4. DOMOの特徴 2. ETL機能が充実。内部JOINや正規化などの処理をビジュアル プログラミングで行うことができる。 サイカタのコネ クタでデータ取 得 必要ないカラム は削除 列展開 内部ジョイン
  5. 5. DOMOの特徴 3. MySQLも書けるので、DOMO内にデータマートを作ることがで きる。
  6. 6. 特徴 ETLが充実してるデー タマート作成兼BI ハイパーピボットグラフ ツール フリーのピボットグラフ 作成BI 得意分野 複数データソースをま とめて処理すること 指標同士の相関関係 を見つけるのが得意 無料なので人数制限な くデータ共有できる 権限 こまかく設定可能 こまかく設定可能 設定できない DWH DWHの構築可能 ないので、別途データ マート構築必須 ないので、別途データ マート構築必須 コネクタ 多数用意、 Spreadsheetコネクタ とFTPコネクタが便利 代表的なDB、 Spreadsheet 代表的なDB、Pandas、 URL(json) DOMOと他ツールの比較
  7. 7. ケーススタディ DOMOコネクタがない時の モニタリング・オートメーション実現方法
  8. 8. コネクタがない場合の3つの壁 • コネクタがない場合、モニタリングオートメーションを実現するに は、3つの壁が立ちはだかる! 様々なデータソース DOMO データセン ター DOMO ダッシュ ボード 1 2 3 コネクタ コネクタ
  9. 9. ちなみに、workbenchは使いません • 理由1:mac環境で作業してるので。 • VMwareなんか使いたくない…結構メモリ消費しちゃうので。 • 理由2:できることが多くない。 • Excel や CSV、ODBC そして QuickBooks などの外部データソースからデータを 定期的に Domo にアップロード…ではたりない • スクレイピングが必要! • APIを実行しないといけない! • 若干のデータ処理したい!タイムスタンプ追加とか。 • シェルで実行したい! • osxのタスクランナーはiCalのほうが便利!
  10. 10. 第1の壁:コネクタがない!…が、APIがある • 例えば、ExperianのMailPublisherとかSearchmanとか… コネクタがない! APIがある! サービスA
  11. 11. 第1の壁の突破:API実行+FTPコネクタで解決 サービスA ローカル環境 API実行 → SQLite追記 → CSV生成 → FTPアップ AWS FTP area DOMO SFTPコネクタ DOMO DWH カレンダー(iCal) (スケジューラ) Automator (アプリ実行) 自動実行 実行(ruby) 自動 実行
  12. 12. 第1の壁を破壊! 様々なデータソース DOMO データセ ンター DOMO ダッシュ ボード 1 2 3 コネクタ コネクタ
  13. 13. 第2の壁:コネクタもAPIもない…がDOMが見える… • APIもコネクタもないサービス…。ただHTMLを覗いてみると データがソースに埋まっているようなサービスなら… コネクタがない! <table> <tr> <td> データ データが埋まってる APIもない! サービスB
  14. 14. 第2の壁の突破:スクレイピング+FTPコネクタで解決 AWS FTP area DOMO SFTPコネクタ DOMO DWH 自動 実行 サービスB ローカル環境 カレンダー(iCal) (スケジューラ) Automator (アプリ実行) 自動実行 実行(node.js) CasperJSスクレイピング → SQLite追記 → CSV生成→ FTPアップ
  15. 15. 第2の壁を破壊! 様々なデータソース DOMO データセ ンター DOMO ダッシュ ボード 1 2 3 コネクタ コネクタ
  16. 16. 第3の壁:APIもないし、DOMも見えない… • 最近ではスクレイピング対策されているサイトも増えてきていま す、DOM見てもデータがHTMLに埋まってない… コネクタがない! <div> </div> データが埋まってな い… APIもない! サービスC
  17. 17. 第3の壁の突破: Automatorで手作業を自動実行する AWS FTP area DOMO SFTPコネクタ DOMO DWH 自動 実行 サービスC ローカル環境 カレンダー(iCal) (スケジューラ) Automator (アプリ実行) 自動実行 実行(applescript+cliclick+シェル) cliclickでログイン → cliclickでCSVダウンロード→ シェルで CSVを移動 →シェルで追記スクリプト実行 → FTPアップ
  18. 18. 第3の壁を破壊! 様々なデータソース DOMO データセ ンター DOMO ダッシュ ボード 1 2 3 コネクタ コネクタ
  19. 19. 3つの壁を撃破してモニタリングオートメーション実現! 様々なデータソース 自動で 定期 取得 DOMO データセ ンター DOMO ダッシュ ボード 複数 ソース の データ 処理
  20. 20. おまけ:コネクタがあるがつかえない • APIに不具合あって使えないサービス:代表的なのが、 AdobeAnalytics。データ欠損が結構頻発する 正常終了してるけど、 データ欠損! Adobe Analytics 接続先 Adobe Analytics コネクタ
  21. 21. DWH+FTPコネクタで解決 Adobe DWH Adobe FTP area ローカル環境 AWS FTP area DOMO SFTPコネクタ DOMO DWH CSV自動 送信 自動 実行 ローカル環境 カレンダー(iCal) (スケジューラ) Automator (アプリ実行) 自動実行 実行(ruby) CSV取得→FTPエリアの古いCSV削除→CSV整形 →FTPアップ
  22. 22. 最後に エクセル手作業でのデータ集計は もうやめましょう モニタリングオートメーションで 空いた工数でより良い打ちてを 考えましょう! さようなら、Excel
  23. 23. 本日の内容は後日、 リクルートジョブズtechblogにて詳細掲載します! https://techblog.recruitjobs.net/ より良き、モニタリングライフを!!

×