Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to 1000人規模で使う分析基盤構築 〜redshiftを活用したeuc
Similar to 1000人規模で使う分析基盤構築 〜redshiftを活用したeuc (20)
1000人規模で使う分析基盤構築 〜redshiftを活用したeuc
- 2. 1. はじめに（3分） 2. プロジェクトの概要（10分） 3. アーキテクチャ（10分） 4. データ活用プロセス（5分） 5. 技術以外の課題（5分） 6. 技術的な課題（5分） 7. 質疑応答（20分） 目次 2
- 3. 1. はじめに（3分） 2. プロジェクトの概要（10分） 3. アーキテクチャ（10分） 4. データ活用プロセス（5分） 5. 技術以外の課題（5分） 6. 技術的な課題（5分） 7. 質疑応答（20分） 目次 3
- 4. 自己紹介 • 宮島 一浩 • 株式会社クラウドソース 代表取締役 CloudSource, Inc. • SINCE 2011/3 4 みやじま かずひろ on Facebook 1. はじめに
- 5. こんなことやってます •システム開発（Web / iOS / Android） アジア圏オフショア開発（ミャンマー・ベトナム・中国） •AWSコンサルティング 導入、設計、構築、運用支援 •データ分析サービス 導入、ツール選定、設計、構築、運用支援 5 1. はじめに
- 6. •システム開発（Web / iOS / Android） アジア圏オフショア開発（ミャンマー・ベトナム・中国） •AWSコンサルティング 導入、設計、構築、運用支援 •データ分析サービス 導入、ツール選定、設計、構築、運用支援 こんなことやってます 6 1. はじめに
- 10. 今日の概要 1. いわゆるエンタープライズ寄りな内容が 大半です 2. 具体的な分析内容などは出て来ません 3. インフラはもちろんAWS 10 1. はじめに excuse
- 11. 今日の概要 1. いわゆるエンタープライズ寄りな内容が 大半です • ある上場企業での取り組みのお話 • 売上2000億、社員1000人 • 業種：メインは卸売、制作∼物流∼小売 M&Aでいろんな業態が混在。今後もM&Aで新規分野に参入 11 1. はじめに
- 12. 今日の概要 2. 具体的な分析内容などは出て来ません • データ分析は、重回帰分析、ABC分析、時系列データ分析 （SARIMA、移動平均など）くらい • こんな感じでデータ活用しようとしている人達がいるよ、と いうお話です • データ量はそれなりに多いですが、ペタ単位といった超大量 でもないです（3年後で数十TB） 12 1. はじめに
- 13. 今日の概要 3. インフラはもちろんAWS • ただしオンプレ基幹システムからデータ連携します • Redshift, DataPipeline, RDS, EC2, S3,Gracier, SQS, DirectConnect • 可視化ツールはしょぼいので割愛 →Excel活用頻度は高いです →有力3製品の比較調査はやりましたが… →可視化ツールの話は議論でぜひ 13 1. はじめに
- 14. 1. はじめに（3分） 2. プロジェクトの概要（10分） 3. アーキテクチャ（10分） 4. データ活用（5分） 5. 技術以外の課題（5分） 6. 技術的な課題（5分） 7. 質疑応答（20分） 目次 14
- 18. コンセプト 1. 営業が提案に使えるデータ基盤 2. 気付きと思考を続ける仕組み 3. データと分析結果の共有 18 2. プロジェクトの概要
- 19. コンセプト 19 2. プロジェクトの概要 1. 営業が提案に使えるデータ基盤 • 卸業なので、基本はB2Bの商談ベースの営業 どの商品を奨めるか、およびその根拠が肝 →提案型営業への移行 • 提案した商品の売上を収集・蓄積して、次回以降に活用 蓄積・改善することで提案精度を高める • 提案に活用できる「使えるデータはないか？」「収集した方 がよいデータはないか？」を考えることが重要
- 20. コンセプト 20 2. プロジェクトの概要 2. 気付きと思考を続ける仕組み • 社員一人ひとりが、ルーチンワークだけではなく、より利益 を上げるための工夫を続けようとする仕組み • 「人が主役、システムは脇役」 考える・決めるのは人、システムはデータ・分析結果・可視 化などで思考をサポート • 理想は、売上の80%は仕組みで誰でも達成可能、残り20% を人の智恵で生み出す
- 21. コンセプト 21 2. プロジェクトの概要 3. データと分析結果の共有 • 「誰か一人の智恵→全員に」 全体の生産性向上、 属人化・部分最適・現場最適 • システム部門としてのビジョン 1. EUC実現： 自由度と満足度の提供 2. ITサービスを提供する部門への転身： 利用料の徴収の仕組み化 3. 社内のITリテラシー向上： システム部門→他部署に転属で実現 TCOの削減 （お前らちょっとしたことで問い合わせしてくんな…）
- 22. コンセプト 1. 営業が提案に使えるデータ基盤 2. 気付きと思考を続ける仕組み 3. データと分析結果の共有 22 2. プロジェクトの概要 上記を通じた意識の変革 1. 常に考えろ 2. みんなのためになれ（個を評価） 3. 組織・会社全体の売上を意識せよ
- 23. 1. はじめに（3分） 2. プロジェクトの概要（10分） 3. アーキテクチャ（10分） 4. データ活用（5分） 5. 技術以外の課題（5分） 6. 技術的な課題（5分） 7. 質疑応答（20分） 目次 23
- 25. 受発注 ＆ 販売在庫 入出庫 ＆ 現物在庫 アーキテクチャ概要 25 EDI DWH + BI 分析基盤 経理 ＆ 資金回収 マスタデータ＆ルール管理 ここが データの終着点 3. アーキテクチャ
- 26. アーキテクチャ概要 26 DWH+BI 基幹 システム RedshiftS3 EC2 （可視化ツール） Excel Data PipelineData Pipeline 3. アーキテクチャ
- 27. アーキテクチャ概要 27 DWH+BI 基幹 システム RedshiftS3 Excel 新基幹 システム あれ、スキーマ 変わってる EC2 （可視化ツール） Data PipelineData PipelineData Pipeline X 3. アーキテクチャ
- 28. アーキテクチャ概要 28 DWH+BI 基幹 システム RedshiftS3 Excel 新基幹 システム S3 Redshift EC2 （可視化ツール） あれ、データを 更新できないの？ Data PipelineData Pipeline 3. アーキテクチャ
- 29. アーキテクチャ概要 29 DWH+BI 基幹 システム RedshiftS3 Excel 新基幹 システム S3 EC2 （可視化ツール） ExcelEC2 （MartBuilder） Redshift Redshift Data PipelineData Pipeline 3. アーキテクチャ
- 30. 30 iDC 基幹システム 社内PC 社内N/W 専用線 Direct Connect RDSRedshift SG: db, common VPC Private Subnet 10.200.0.0/24 SG: web, common バッチ 起動 SG:batch,common EC2 Auto scaling Group Availability Zone CAvailability Zone A VPC Public Subnet 10.200.2.0/24 NAT S3 Data Pipeline Glacier Logging Redshift インスタンス化 ＆実行指示 VPC Private Subnet 10.200.3.0/24 VPC Public Subnet 10.200.1.0/24 2年以前分を バックアップ 10.200.0.151 テスト サーバ 10.200.3.151 アーキテクチャ(AWS的表現) 3. アーキテクチャ
- 31. アーキテクチャ 31 DWH+BI 基幹 システム RedshiftS3 Excel 新基幹 システム S3 EC2 （可視化ツール） ExcelRedshift Redshift Data PipelineData Pipeline 3. アーキテクチャ EC2 （MartBuilder）
- 32. アーキテクチャ 32 基幹 システム RedshiftS3 Excel 新基幹 システム S3 EC2 （可視化ツール） ExcelEC2 （Uploader） Redshift Redshift Data PipelineData Pipeline Data Pipeline DWH+BI 3. アーキテクチャ Original New Upload data mart 共通 Redshift内のスキーマ
- 33. アーキテクチャ 33 基幹 システム RedshiftS3 Excel 新基幹 システム S3 EC2 （可視化ツール） ExcelEC2 （Uploader） Redshift Redshift Data PipelineData Pipeline Data Pipeline DWH+BI 3. アーキテクチャ
- 34. アーキテクチャ 34 基幹 システム RedshiftS3 Excel 新基幹 システム S3 EC2 （可視化ツール） ExcelEC2 （Uploader） Redshift Redshift Data PipelineData Pipeline Data Pipeline DWH+BI 3. アーキテクチャ
- 35. 1. はじめに（3分） 2. プロジェクトの概要（10分） 3. アーキテクチャ（10分） 4. データ活用（5分） 5. 技術以外の課題（5分） 6. 技術的な課題（5分） 7. 質疑応答（20分） 目次 35
- 40. データ活用事例 •ある地域だけで特定カテゴリの商品が売れている → 商品特性と人口統計 •特定カテゴリの商品は、連休前に集中して売れている → 商品特性と時期 •市場全体の規模はあまり変わらないので、あるヒット商品が出る と他の商品の売上が下がる → ツリーマップ •ある地域では定番商品が売れていない → 視聴率（というか視聴可能エリア）と製品特性 40 4. データ活用
- 43. 1. はじめに（3分） 2. プロジェクトの概要（10分） 3. アーキテクチャ（10分） 4. データ活用（5分） 5. 技術以外の課題（5分） 6. 技術的な課題（5分） 7. 質疑応答（20分） 目次 43
- 45. 経営との考えの乖離 45 5. 技術以外の課題 経営 GM 部長 リーダー 中期経営計画 目標立案 行動立案 行動計画 年間数値目標 年間売上目標 年間売上目標 年間売上目標 日々の活動KPIKGIKSF
- 48. 1. はじめに（3分） 2. プロジェクトの概要（10分） 3. アーキテクチャ（10分） 4. データ活用（5分） 5. 技術以外の課題（5分） 6. 技術的な課題（5分） 7. 質疑応答（20分） 目次 48
- 49. AWS的スペック •Redshift： dc1.large x 13ノード •EC2： r3.xlarge x 2台 •RDS： db.t2.micro x 2台 •DataPipeline： c3.large 処理は4∼5本 49
- 51. Redshift 同時接続数とパフォーマンス •1000人使ったときの性能予測 •Aurora検討も断念 •MySQLでindexとパラメータでチューニングしても、特定のクエリは良くなっ ても他がダメ → Redshiftすごい！ •dc1.8xlarge x 1ノードよりもdc1.large x 8ノードの方が安いし速い •そもそも1ノードで使えない（データ欠損）ので2ノード基本 •マートは非正規化 •正規化の場合と比較して10倍速い場合も •distkeyは未指定でラウンドロビン •allを指定したりしたが遅かった •sortkeyは主に日付カラム 51 6. 技術的な課題
- 58. まとめ 58