Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
©NAVITIME JAPAN
あなたの情報を守る
あてなのセキュリティ談義
JAWS DAYS 2018
©NAVITIME JAPAN
自己紹介
田中 一樹(たなか かずき)
・株式会社ナビタイムジャパン サーバグループ所属
・お仕事:
クラウド周りの構築/運用/アーキテクト
・好きなAWSサービス
Athena、S3、CloudFormation
©NAVITIME JAPAN
会社紹介(BtoC)
NAVITIME
ドライブ
サポーター
乗換
NAVITIME
自転車
NAVITIME
こみれぽバス
NAVITIME
カーナビ
タイム
NAVITIME
Transit
NAVITIME...
©NAVITIME JAPAN
会社紹介(BtoC)
月間ユーザ数
約4100万UU
有料会員数
約480万人
(2017年12月末時点)
©NAVITIME JAPAN
会社紹介(BtoB)
©NAVITIME JAPAN
本日お伝えしたいこと
Athenaを使っている理由
Athenaをいい感じに使う方法
Athenaのセキュリティを高める方法
NAVITIMEでのログ活用例
©NAVITIME JAPAN
位置情報 プローブデータ
(移動軌跡)
経路検索条件
データ
NAVITIMEが取り扱っている主なログ
スポット検索
データ
©NAVITIME JAPAN
位置情報 プローブデータ
(移動軌跡)
経路検索条件
データ
NAVITIMEが取り扱っている主なログ
スポット検索
データ
膨大な利用ログから
“個人情報に配慮して”分析することが重要
©NAVITIME JAPAN
分析環境の変遷
©NAVITIME JAPAN
分析環境の変遷
① オンプレ利用期
② EMR利用期
③ 他クラウド基盤利用期
④ Athena利用期
©NAVITIME JAPAN
データセンター
・・・
①オンプレ利用期
今までのログ分析基盤
©NAVITIME JAPAN
今までのログ分析基盤
アクセスログの集計に数時間~数日
ストレージに限界が・・・
①オンプレ利用期
メリット
デメリット
ログデータを外部へ転送不要
©NAVITIME JAPAN
データセンター
・・・
②EMR利用期
今までのログ分析基盤
©NAVITIME JAPAN
今までのログ分析基盤
②EMR利用期
メリット
S3上での長期保管はマスク処理を施し、KMSで暗号化
EMRを用いることで集計は数時間に
デメリット
オンプレと異なり毎月コストがかかる
失敗したらEMR再実行(数...
©NAVITIME JAPAN
今までのログ分析基盤
③他クラウド基盤利用期
©NAVITIME JAPAN
今までのログ分析基盤
③他クラウド基盤利用期
メリット
集計は数秒〜数分に
集計コストは数十分の一に
デメリット
データ転送が発生
詳細な権限/アクセス管理ができない
©NAVITIME JAPAN
現在のログ分析基盤
④Athena利用期
©NAVITIME JAPAN
現在のログ分析基盤
Amazon Athena(あてな)
S3内のデータに対して標準的なSQLを利用して集計が可能
JSON, CSV, ORC, などのフォーマットに対応
課金はクエリ単位(処理したサイズに応じ...
©NAVITIME JAPAN
現在のログ分析基盤
④Athena利用期
メリット
データ転送が不要(セキュア&転送コストゼロ)
分析基盤(Athena)へのアクセス制限/監査が可能に
デメリット
やや他クラウドの方が検索速度は早い
©NAVITIME JAPAN
Athenaをセキュアに使う
©NAVITIME JAPAN
Athenaをセキュアに使う
コンプライアンス/セキュリティチームから出る要望例
① 各利用者の見られるログは適切に管理してほしい
② 社外からログへのアクセスをさせたくない
③ 誰がどんなクエリを発行したか監視...
©NAVITIME JAPAN
Athenaをセキュアに使う
① 各利用者の見られるログは適切に管理してほしい
©NAVITIME JAPAN
Athenaをセキュアに使う
① 各利用者の見られるログは適切に管理してほしい
IAMポリシーで参照できるバケットを絞る
現時点で、DB/テーブル単位での権限絞込はできない
代わりにS3バケット単位でGetObj...
©NAVITIME JAPAN
Athenaをセキュアに使う
② 社外からログへのアクセスをさせたくない
©NAVITIME JAPAN
Athenaをセキュアに使う
② 社外からログへのアクセスをさせたくない
IAMポリシーでSourceIPをオフィス限定にする
CLI/SDKなどから操作がある場合
CLI/SDK実行元のSourceIPも指定する
©NAVITIME JAPAN
Athenaをセキュアに使う
② 社外からログへのアクセスをさせたくない
IAMポリシーでSourceIPをオフィス限定にする
CLI/SDKなどから操作がある場合
CLI/SDK実行元のSourceIPも指定する
©NAVITIME JAPAN
Athenaをセキュアに使う
② 社外からログへのアクセスをさせたくない
Athenaの実行時にSourceIPがamazonaws.comになる
SourceIPを限定していると実行できなくなる
スイッチロール...
©NAVITIME JAPAN
Athenaをセキュアに使う
② 社外からログへのアクセスをさせたくない
IAMユーザー
IPアドレス制限
MFAの有効化
スイッチロールのみ許可
IAMロール
スイッチロール
©NAVITIME JAPAN
Athenaをセキュアに使う
② 社外からログへのアクセスをさせたくない
IAMユーザー
IPアドレス制限
MFAの有効化
スイッチロールのみ許可
IAMロール
スイッチロール
IPアドレス制限なし
スイッチロー...
©NAVITIME JAPAN
Athenaをセキュアに使う
③ 誰がどんなクエリを発行したか監視したい
©NAVITIME JAPAN
Athenaをセキュアに使う
③ 誰がどんなクエリを発行したか監視したい
Athenaのクエリ履歴+CloudTrailから追う
Athenaのクエリ履歴とCloudTrailのアクション
CloudTrail:...
©NAVITIME JAPAN
ログ活用事例
©NAVITIME JAPAN
NAVITIMEでのAthena利用事例
アクセスログから利用動向の集計/分析
各AWSリソースの調査
分析システムの構築
分析システム:道路プロファイラー
©NAVITIME JAPAN
NAVITIMEでのAthena利用事例
リンク旅行速度
旅行速度、旅行時間、サンプル数
を表示
断面交通流
任意の曜日、週、日付、時間から交通量や平均速度を集計
渋滞箇所を俯瞰して
課題箇所を発見するのに役立ち...
©NAVITIME JAPAN
ご清聴ありがとうございました
Upcoming SlideShare
Loading in …5
×

あなたの情報を守る あてなのセキュリティ談義

745 views

Published on

2018/3/10開催「JAWS DAYS 2018」における発表資料です。

Published in: Internet
  • Be the first to comment

あなたの情報を守る あてなのセキュリティ談義

  1. 1. ©NAVITIME JAPAN あなたの情報を守る あてなのセキュリティ談義 JAWS DAYS 2018
  2. 2. ©NAVITIME JAPAN 自己紹介 田中 一樹(たなか かずき) ・株式会社ナビタイムジャパン サーバグループ所属 ・お仕事: クラウド周りの構築/運用/アーキテクト ・好きなAWSサービス Athena、S3、CloudFormation
  3. 3. ©NAVITIME JAPAN 会社紹介(BtoC) NAVITIME ドライブ サポーター 乗換 NAVITIME 自転車 NAVITIME こみれぽバス NAVITIME カーナビ タイム NAVITIME Transit NAVITIME for Japan Travel ウォーキング NAVITIME ツーリング サポーター Plat by NAVITIME トラック カーナビ 公共交通 ドライブ ツーリング トラベル&フィットネス外国人&海外 PC/SPブラウザ NAVITIME トラベル
  4. 4. ©NAVITIME JAPAN 会社紹介(BtoC) 月間ユーザ数 約4100万UU 有料会員数 約480万人 (2017年12月末時点)
  5. 5. ©NAVITIME JAPAN 会社紹介(BtoB)
  6. 6. ©NAVITIME JAPAN 本日お伝えしたいこと Athenaを使っている理由 Athenaをいい感じに使う方法 Athenaのセキュリティを高める方法 NAVITIMEでのログ活用例
  7. 7. ©NAVITIME JAPAN 位置情報 プローブデータ (移動軌跡) 経路検索条件 データ NAVITIMEが取り扱っている主なログ スポット検索 データ
  8. 8. ©NAVITIME JAPAN 位置情報 プローブデータ (移動軌跡) 経路検索条件 データ NAVITIMEが取り扱っている主なログ スポット検索 データ 膨大な利用ログから “個人情報に配慮して”分析することが重要
  9. 9. ©NAVITIME JAPAN 分析環境の変遷
  10. 10. ©NAVITIME JAPAN 分析環境の変遷 ① オンプレ利用期 ② EMR利用期 ③ 他クラウド基盤利用期 ④ Athena利用期
  11. 11. ©NAVITIME JAPAN データセンター ・・・ ①オンプレ利用期 今までのログ分析基盤
  12. 12. ©NAVITIME JAPAN 今までのログ分析基盤 アクセスログの集計に数時間~数日 ストレージに限界が・・・ ①オンプレ利用期 メリット デメリット ログデータを外部へ転送不要
  13. 13. ©NAVITIME JAPAN データセンター ・・・ ②EMR利用期 今までのログ分析基盤
  14. 14. ©NAVITIME JAPAN 今までのログ分析基盤 ②EMR利用期 メリット S3上での長期保管はマスク処理を施し、KMSで暗号化 EMRを用いることで集計は数時間に デメリット オンプレと異なり毎月コストがかかる 失敗したらEMR再実行(数時間待ちに・・・)
  15. 15. ©NAVITIME JAPAN 今までのログ分析基盤 ③他クラウド基盤利用期
  16. 16. ©NAVITIME JAPAN 今までのログ分析基盤 ③他クラウド基盤利用期 メリット 集計は数秒〜数分に 集計コストは数十分の一に デメリット データ転送が発生 詳細な権限/アクセス管理ができない
  17. 17. ©NAVITIME JAPAN 現在のログ分析基盤 ④Athena利用期
  18. 18. ©NAVITIME JAPAN 現在のログ分析基盤 Amazon Athena(あてな) S3内のデータに対して標準的なSQLを利用して集計が可能 JSON, CSV, ORC, などのフォーマットに対応 課金はクエリ単位(処理したサイズに応じて) 利用の際はAthenaだけでなく、S3の権限も必要
  19. 19. ©NAVITIME JAPAN 現在のログ分析基盤 ④Athena利用期 メリット データ転送が不要(セキュア&転送コストゼロ) 分析基盤(Athena)へのアクセス制限/監査が可能に デメリット やや他クラウドの方が検索速度は早い
  20. 20. ©NAVITIME JAPAN Athenaをセキュアに使う
  21. 21. ©NAVITIME JAPAN Athenaをセキュアに使う コンプライアンス/セキュリティチームから出る要望例 ① 各利用者の見られるログは適切に管理してほしい ② 社外からログへのアクセスをさせたくない ③ 誰がどんなクエリを発行したか監視したい
  22. 22. ©NAVITIME JAPAN Athenaをセキュアに使う ① 各利用者の見られるログは適切に管理してほしい
  23. 23. ©NAVITIME JAPAN Athenaをセキュアに使う ① 各利用者の見られるログは適切に管理してほしい IAMポリシーで参照できるバケットを絞る 現時点で、DB/テーブル単位での権限絞込はできない 代わりにS3バケット単位でGetObjectの権限を絞る
  24. 24. ©NAVITIME JAPAN Athenaをセキュアに使う ② 社外からログへのアクセスをさせたくない
  25. 25. ©NAVITIME JAPAN Athenaをセキュアに使う ② 社外からログへのアクセスをさせたくない IAMポリシーでSourceIPをオフィス限定にする CLI/SDKなどから操作がある場合 CLI/SDK実行元のSourceIPも指定する
  26. 26. ©NAVITIME JAPAN Athenaをセキュアに使う ② 社外からログへのアクセスをさせたくない IAMポリシーでSourceIPをオフィス限定にする CLI/SDKなどから操作がある場合 CLI/SDK実行元のSourceIPも指定する
  27. 27. ©NAVITIME JAPAN Athenaをセキュアに使う ② 社外からログへのアクセスをさせたくない Athenaの実行時にSourceIPがamazonaws.comになる SourceIPを限定していると実行できなくなる スイッチロールを使いこの問題を解決
  28. 28. ©NAVITIME JAPAN Athenaをセキュアに使う ② 社外からログへのアクセスをさせたくない IAMユーザー IPアドレス制限 MFAの有効化 スイッチロールのみ許可 IAMロール スイッチロール
  29. 29. ©NAVITIME JAPAN Athenaをセキュアに使う ② 社外からログへのアクセスをさせたくない IAMユーザー IPアドレス制限 MFAの有効化 スイッチロールのみ許可 IAMロール スイッチロール IPアドレス制限なし スイッチロール元のユーザーを固定(IAMグループ) IAMグループごとにロールを作成 Athena/S3/KMSの権限のみ Athenaを操作
  30. 30. ©NAVITIME JAPAN Athenaをセキュアに使う ③ 誰がどんなクエリを発行したか監視したい
  31. 31. ©NAVITIME JAPAN Athenaをセキュアに使う ③ 誰がどんなクエリを発行したか監視したい Athenaのクエリ履歴+CloudTrailから追う Athenaのクエリ履歴とCloudTrailのアクション CloudTrail:どのユーザーがAthenaを実行したか Athena:そのユーザーがどのクエリを実行したか
  32. 32. ©NAVITIME JAPAN ログ活用事例
  33. 33. ©NAVITIME JAPAN NAVITIMEでのAthena利用事例 アクセスログから利用動向の集計/分析 各AWSリソースの調査 分析システムの構築 分析システム:道路プロファイラー
  34. 34. ©NAVITIME JAPAN NAVITIMEでのAthena利用事例 リンク旅行速度 旅行速度、旅行時間、サンプル数 を表示 断面交通流 任意の曜日、週、日付、時間から交通量や平均速度を集計 渋滞箇所を俯瞰して 課題箇所を発見するのに役立ちます 任意の道路を通過した車の流入流出経路を集計 車種、居住地、性別、年齢の 属性情報も集計 該当道路がユーザ
  35. 35. ©NAVITIME JAPAN ご清聴ありがとうございました

×