Download as PDF, PPTX
More Related Content
![Wireless Japan[講演]八子 20110526](https://cdn.slidesharecdn.com/ss_thumbnails/wirelessjpr20110526-1307275528-phpapp02-110605070856-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
![Inspire2017 Nagoya [BS NAG-2] Microsoft Azure は世界をどう変えるのか](https://cdn.slidesharecdn.com/ss_thumbnails/inspire2017nagoyabsnag-2microsoftazure-171009031010-thumbnail.jpg?width=640&height=640&fit=bounds)
![LTEモバイルクラウドセミナ[講演1] R 20101116](https://cdn.slidesharecdn.com/ss_thumbnails/lte1r20101116-1307258219-phpapp01-110605060008-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
![Inspire2017 Nagoya [Keynote NAG] Where the People Meets to Inspire the Business](https://cdn.slidesharecdn.com/ss_thumbnails/inspire2017nagoyakeynotenagwherethepeoplemeetstoinspirethebusiness-171009030901-thumbnail.jpg?width=640&height=640&fit=bounds)
![1位[ローソン]オオクワ型＿成城大学----------------------](https://cdn.slidesharecdn.com/ss_thumbnails/1-260120025741-59d1b2e9-thumbnail.jpg?width=640&height=640&fit=bounds)
![【会社紹介資料】株式会社カンゲンエージェント [ 2026/01 公開 ].pdf](https://cdn.slidesharecdn.com/ss_thumbnails/202501ver-260122081900-e7a475ff-thumbnail.jpg?width=640&height=640&fit=bounds)
クラウドの破壊力
- 1.
- 2.
- 3.
- 4. 4 –Marc Andreessen (2011) Inshort, software is eating the world.
- 5.
- 6.
- 7.
- 8.
- 9. 9 REST API Pay asyou go, Any device 初期投資不要 108円∼ AST SG GG PD aTCA RAID FS PDU DAT NS GIS UCS * Hardware v.s. Software
- 10.
- 11.
- 12. Early 21st CenturyMid15th Century 12
- 13.
- 14.
- 15.
- 16.
- 17. システムの初版 運用開始後 大量のウィルス検知、IDC/IDSシステムを出 来る限り多く配置 実績見合いで減らす 自動でスケールアウトできないものは多めに 置いておく 実績見合いで減らす システムデザインの初版は出来るだけ Traditionalで実績の多いものを 徐々に新しい方法にチャレンジ どんなにトラブっても大丈夫なように出来る だけバックアップは多めかつ頻繁に バグの収束とともに、不要なも のを精査、除去 17 リスク回避が大事な某企業におけるクラウド着こなしポイント Try fast,think later とりあえず既存のコンポーネントの組み合わせで 非効率だとわかっていながらサービスを作ってしまう。 その後、徐々に最適化を図り、後で減らす。 サービス提供と品質を優先し、最適化とコストは後回し。パフォーマンスも優先。 初版ではセキュリティ対策やトラフィック対策は過剰に。その後改善。
- 18. Jan-17 Apr-17 Jul-17Oct-17 Jan-18 Apr-18 Jul-18 Oct-18 Jan-19 Apr-19 Jun-17 Aug-17 Oct-17 Dec-17 Mar-18 May-18 Jul-18 Sept-18Nov-18 Feb-19 Apr-19 クラウド利用コスト ユーザ数 現在558万 ユーザ 某サービス 運用コストは 当初比で 平均50%以下に 18 サービス提供コストの変遷
- 19.
- 20. 20 RIの有効利用度表示 • 有効なRI数 • RI利用数 •RI利用率 • RI余剰数 時系列でのコスト表示 • 利用料表示 • 利用台数表示 • 利用アカウント別 • 利用サービス別 • 日付指定 • 円換算（為替反映） • 1時間毎/1日毎 • リザーブド(RI)指定 • 利用サービス絞込 • 利用AZ絞込 表示形式 • 利用アカウント別 • 利用サービス別 • 日付指定 • 1時間/1日毎 • リザーブド(RI)指定 • AZ • インスタンスタイプ コスト可視化ツール：某企業の多数プロジェクト利用の見える化
- 21.
- 22.
- 23.
- 24. © 2017 NTTDOCOMO, INC. All rights reserved. 懐かしのNetezza (2008) Netezza Twinfin 36 Greenplum Ver 3.7.7 Launch 2008- 2009- Volume 100TB 1.0PB (our case) Scale-out No Need 3 months to procure the servers Performanc e Awesome Good SQL Syntax PostgreSQL 7.4 ++ PostgreSQL 8++ (Full compatibility) Update Every half year Every several month Footprint 3 racks 7 racks Cost $2.3mil + $300k/y $1.7mil + $500k/y 24
- 25. © 2016 NTTDOCOMO, INC. All Rights Reserved. 25 ２０１０年 私の自慢のシステムでした．
- 26. © 2016 NTTDOCOMO, INC. All Rights Reserved. 26 Client Redshift Data Source ET Temporary Storage Direct Connect State Management Forwarder Loader Sandbox VPC Peering S3
- 27.
- 28.
- 29.
- 30.
- 31. 31 IAM ROLEは一時的なトークンで、予め設定された権限を制御するサービス。 AWSリソースに対するアクション、アクセス権限を管理できるサービス。 Identity AccessManagementの略。 IAM ROLE IAM CLOUDTRAIL CLOUDTRAILはAWS API の呼び出しを記録し、 ログを残すことができるサービス。 AWSのセキュリティ機能
- 32. 32 羨ましいわ． そんなノウハウ，ドコモさん だけに貯めとかんと外にも出し くれはったらええのに （東急ハンズCIO 長谷川秀樹 AWS SummitJapan 2014 E- JAWSセッションにて・・・
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41. © 2016 NTTDOCOMO, INC. All Rights Reserved. 41 Cloud2.0を契機として企業文化を変えよう．
- 42.
- 43.
- 44.
- 45.
- 46. IF/ETL IF/ETL IF/ETL Hot data Warm data Colddata BI BI BI Real Business バッチ処理とストレージのレイヤ Data Analysis / Scienceのレイヤ OLTP，サービス提供DB， キューブのレイヤ • データは常に新しく，更新が激しい • 即応を要求され，⾼いAvailability，⾼性能 王道なら・・・ 46 Data analysis platform
- 47. © 2017 NTTDOCOMO, INC. All rights reserved. 項⽬ Hot data layer Warm data layer Cold data layer 可⽤性 ⾼い(年間停⽌10秒以内) 低い 低い 堅牢性 ⾼い 低い ⾼い 利⽤者 BIツールユーザ 他システム Analyticsツールユーザ N/A(バッチ処理) 利⽤⼈数 数千⼈ 数⼗⼈ 数⼈ 処理タイプ Key-Value，Light weight Interactive かつ 重い バッチ処理 処理実⾏時間 msオーダ Sec〜Minオーダ Hourオーダ データ量 GB〜TB TB〜PB PB〜EB BIツール ダッシュボード データマイニングツール レポーティング インタフェース ODBC/SQL R/SQL Hive/Pig データ保持期間 最⼤3ヶ⽉ 最⼤2年 永年 利⽤スキル 低い，BIツール利⽤ データサイエンティスト プログラマ，開発者 フィードバック 即時 モデル提供と更新 KPI 想定処理例 OLAP，傾向把握，基礎統計， BPM，レコメンド，ストリーミン グ，DMP マーケット分析，モデル作成，ナ レッジ創出，データマイニング， レポーティング ⾯的データの⽣成？ キーワード リファレンス，リレーション，サ ーチ トライ＆エラー，モデリング，イ テレーション12/2/2013 47
- 48. 12/2/2013 Hot data Warmdata Cold data レイテンシ：ms以下 容量：〜Tbyte 対象：何万⼈ レイテンシ：ms〜sec 容量：Tbyte〜Pbyte 対象：数⼗⼈ レイテンシ：sec以上 容量：Pbyte以上 対象：バッチ処理 常に⼀定のデータ量がある 常に業務システムに組み込まれている 利⽤停⽌＝業務停⽌につながる 使いたいときに使える，使いたい時が⼀定ではない データ容量が予測できない・⼀定ではない オンプレミス クラウド システムの要求条件の位置づけ
- 49. 15/03/03 Hot data Warmdata Cold data RedshiftRDS＆ElasticChache ＆ DynamoDB & Kinesis EMR VPC DirectConnet Datapipe ハイパフォーマンスな データ処理基盤 S3, Glacier 低コストストレージ データフロー制御 低コスト ⾼パフォーマンス ＤＷＨ Map&Reduce アプライアンス セキュアな NW 既存設備 49
- 50. © 2017 NTTDOCOMO, INC. All rights reserved. • Amazon RDS – 汎⽤データベース．MySQL/OracleDB/PostgreSQLなど • DynamoDB – 性能保証型Key-Value Store • ElasticChache – In memory キャッシュ．Redisなどに相当． • RedShift – MPP型データベース．DWH⽤途向け．Greenplum/Netezza相当． • Elastic MapReduce (EMR) – Hadoop相当．分析台数に応じて課⾦．データストアはS3 • Amazon S3 – 超並列分散⼊出⼒可能な⼤容量データストア • Glacier – テープライブラリ相当．S3と同じ堅牢性(Eleven nine)． OLTP系 処理機構 DWH系 分析機能 ⼤容量 データ ストア ひと通り っ ている安心感 tl;dr Data Analysis Lineups from AWS 50
- 51. 51 AWS GovCloud (2) ⽶国⻄部 オレゴン(3) 北カリフォルニア (3) ⽶国東部 バージニア北部 (5) オハイオ (3) カナダ 中部 (2) 南⽶ サンパウロ (3) 欧州 アイルランド (3) フランクフルト (2) ロンドン (2) アジアパシフィック シンガポール (2) シドニー (3) 東京 (3) ソウル (2) ムンバイ (2) 中国 北京 (2) 近日追加予定 パリ 寧夏 ストックホルム 世界中の16の地理的リージョン内の42のAZで運⽤
- 52. 52 Amazon Athena AmazonAPI Gateway Amazon AppStream Amazon AppStream 2.0 Amazon Chime ✕ Amazon Cloud Directory ✕ Amazon CloudSearch Amazon CloudWatch Amazon CloudWatch Events Amazon CloudWatch ログ Amazon Cognito Amazon Connect ✕ Amazon DynamoDB Amazon EC2 Container Registry (ECR) Amazon EC2 Container Service (ECS) Amazon EC2 Systems Manager Amazon ElastiCache Amazon Elastic Block Store (EBS) Amazon Elastic Compute Cloud (EC2) Amazon Elastic File System (EFS) ✕ Amazon Elastic MapReduce Amazon Elasticsearch Service Amazon Elastic Transcoder Amazon GameLift Amazon Glacier Amazon Inspector Amazon Kinesis Analytics ✕ Amazon Kinesis Firehose ✕ Amazon Kinesis Streams Amazon Lex ✕ Amazon Lightsail ✕ Amazon Machine Learning ✕ Amazon Mobile Analytics ✕ Amazon Pinpoint ✕ Amazon Polly ✕ Amazon QuickSight ✕ Amazon Redshift Amazon Rekognition ✕ Amazon Relational Database Service (RDS) Amazon SimpleDB Amazon Simple Email Service (SES) ✕ Amazon Simple Notification Service (SNS) Amazon Simple Queue Service (SQS) Amazon Simple Storage Service (S3) Amazon Simple Workflow Service (SWF) Amazon Virtual Private Cloud (VPC) Amazon WorkDocs Amazon WorkMail ✕ AmazonWorkSpaces Auto Scaling AWS Application Discovery Service ✕ AWS Certificate Manager AWS CloudFormation AWS CloudHSM AWS CloudTrail AWS CodeBuild ✕ AWS CodeCommit ✕ AWS CodeDeploy AWS CodePipeline AWSCodeStar ✕ AWS Config AWS Database Migration Service AWS Data Pipeline AWS Device Farm AWS Direct Connect AWS Directory Service AWS Elastic Beanstalk AWS IoT AWS Key Management Service AWS Lambda AWS Managed Services ✕ AWS Marketplace AWS Mobile Hub AWS OpsWorks Stacks AWS OpsWorks for Chef Automate ✕ AWS Personal Health Dashboard AWS Server Migration Service AWS Service Catalog AWS Shield Standard AWS Shield Advanced AWS Snowball ✕ AWS Snowball Edge ✕ AWS Snowmobile AWS Step Functions AWS Storage Gateway AWSサポート AWS WAF AWS X-Ray Elastic Load Balancing VM Import/Export 東京で提供されていないサービス
- 53.
- 54. !! !! !! !!!! !! !! !! !! 54 AWSBig data portfolio – new services(2016)
- 55. © 2016 NTTDOCOMO, INC. All rights reserved. 少人数チームによるビジネス/システム開発 55 クラウドの登場によりソフ トウェア開発と運用の効率 化が進んだ． →フルスタックエンジニア の登場
- 56. 56 CodeOperate Analyze DEVOPS Agile Growth Hack Lean Startup A/BTest バックログ管理 自動テス デプロイ ソースコード管理 インテグレーション ※ビルド、テスト、デプロイを 連携させ実行する ビックデータ分析・BIをふくめたツール群 アクセス分析 AmazonMobile Junit tableau PLAN BUILD RELEASE MEASURE
- 57.
- 58. • サーバリソース，データセンターは もはや大企業のものではない • 誰でも安価にサービス開始出来る •最新の技術，最新のリソース， 安心・安全，高い信頼性，などを 『大きな投資』をしなくても得られる ようになった • 単純労働が蒸気機関に奪われた ように，単純な判断，ルーチンワークは もはやMachineの仕事に． • 人間はより複雑な仕事にシフト （ブルー・ホワイトカラー ⇒ ？） ※ゴールド，メタル，グレーなど • 機械学習は計算コストが歴史的な ，機械学習（ＡＩ）は産業革命 この２つを 同時に達成 させようと している 58 クラウドは市民革命
- 59.
- 60.
- 61.
- 62. データ X ASPX DevOps(内製化） を同時に⼿⼊れたい． https://yooniqimages.blob.core.windows.net/yooniqimages-data-storage-resizedimagefilerepository/ Detail/20777/41b2413f-a0e6-496a-97fa-0334c5b38499/YooniqImages_207779841.jpg 技術がビジネスのリソースに なっちゃいけないんですよ． 村上⾂(2014) 62