Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
Ken Takao
4,214 views
MapR Hadoop M7 in CyberAgent AdTech Studio
サイバーエージェントアドテクスタジオで利用しているHadoop基盤「MapR M7」の利用事例について話した時の資料です。
Technology
◦
Read more
2
Save
Share
Embed
Embed presentation
Download
Download to read offline
1
/ 28
2
/ 28
3
/ 28
4
/ 28
5
/ 28
6
/ 28
7
/ 28
8
/ 28
9
/ 28
10
/ 28
11
/ 28
12
/ 28
13
/ 28
14
/ 28
15
/ 28
16
/ 28
17
/ 28
18
/ 28
19
/ 28
20
/ 28
21
/ 28
22
/ 28
23
/ 28
24
/ 28
25
/ 28
26
/ 28
27
/ 28
28
/ 28
More Related Content
PDF
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
by
Insight Technology, Inc.
PDF
Ironicを運用して半年が経過しました - OpenStack最新情報セミナー(2016年7月)
by
VirtualTech Japan Inc.
PDF
10分でわかるサイバーエージェント広告部門のハイブリッドクラウド環境 公開用
by
Ken Takao
PDF
広告におけるビッグデータの分析事例
by
Ken Takao
PDF
Google big query × Amazon redshift
by
Fumihide Nario
PDF
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
by
Ken Takao
PPTX
F.O.Xを支える技術
by
Yuto Suzuki
PDF
AbemaTV Developer Conference 2016
by
康洋 板敷
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
by
Insight Technology, Inc.
Ironicを運用して半年が経過しました - OpenStack最新情報セミナー(2016年7月)
by
VirtualTech Japan Inc.
10分でわかるサイバーエージェント広告部門のハイブリッドクラウド環境 公開用
by
Ken Takao
広告におけるビッグデータの分析事例
by
Ken Takao
Google big query × Amazon redshift
by
Fumihide Nario
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
by
Ken Takao
F.O.Xを支える技術
by
Yuto Suzuki
AbemaTV Developer Conference 2016
by
康洋 板敷
What's hot
PPTX
ついに登場SAP Data Warehouse Cloud
by
Masayuki Sekihara
PDF
Kymaではじめるマイクロサービスなサーバレス開発
by
Shunichiro Yamamoto
PPTX
アナザーエデンを支える技術〜効率的なコンテンツ制作のための開発基盤〜
by
gree_tech
PDF
サイオステクノロジー
by
Nihei Tsukasa
PPTX
Fiori 使わないと未来はない、SAPGUI撲滅キャンペーン
by
Masayuki Sekihara
PPTX
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
by
gree_tech
PDF
株式会社サイバーエージェント アドテクスタジオの技術と開発
by
Naoyuki Yamada
PDF
Basis必見!次世代型ランドスケープ管理ツール「SAP LaMa」の威力
by
Masayuki Sekihara
PPTX
SAP Cloud Platform から Microsoft Azureサービス利用は便利だった
by
Masayuki Sekihara
PDF
自治体Web service 021114
by
伸夫 森本
PDF
モバイルファーストで業務効率化! ローカルデータベースが作業員を救う!
by
kitsugi
PDF
TwilioJP-UG 大阪 第0回 「IoTな時代に向けて クラウドサービスで電話を使いたおそう」クロージング
by
Hiroyuki Hiki
PPTX
ハイブリッドクラウドで変わるインフラストラクチャ設計
by
gree_tech
PDF
【SoftLayer事例】V-CUBE ミーティングを支えるSoftLayer
by
softlayerjp
PDF
探検隊長が語るSoftLayerデザインパターン
by
Maho Takara
PPTX
StrongLoopでサクっと始めるAPIエコノミー
by
YUSUKE MORIZUMI
PDF
Mobile cloudnight 2015/11/11
by
YUSUKE MORIZUMI
PDF
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
by
Yahoo!デベロッパーネットワーク
PDF
データにまつわるWeb業界の仕事について
by
Masanori Takano
PDF
行ってみよう、やってみよう!
by
gree_tech
ついに登場SAP Data Warehouse Cloud
by
Masayuki Sekihara
Kymaではじめるマイクロサービスなサーバレス開発
by
Shunichiro Yamamoto
アナザーエデンを支える技術〜効率的なコンテンツ制作のための開発基盤〜
by
gree_tech
サイオステクノロジー
by
Nihei Tsukasa
Fiori 使わないと未来はない、SAPGUI撲滅キャンペーン
by
Masayuki Sekihara
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
by
gree_tech
株式会社サイバーエージェント アドテクスタジオの技術と開発
by
Naoyuki Yamada
Basis必見!次世代型ランドスケープ管理ツール「SAP LaMa」の威力
by
Masayuki Sekihara
SAP Cloud Platform から Microsoft Azureサービス利用は便利だった
by
Masayuki Sekihara
自治体Web service 021114
by
伸夫 森本
モバイルファーストで業務効率化! ローカルデータベースが作業員を救う!
by
kitsugi
TwilioJP-UG 大阪 第0回 「IoTな時代に向けて クラウドサービスで電話を使いたおそう」クロージング
by
Hiroyuki Hiki
ハイブリッドクラウドで変わるインフラストラクチャ設計
by
gree_tech
【SoftLayer事例】V-CUBE ミーティングを支えるSoftLayer
by
softlayerjp
探検隊長が語るSoftLayerデザインパターン
by
Maho Takara
StrongLoopでサクっと始めるAPIエコノミー
by
YUSUKE MORIZUMI
Mobile cloudnight 2015/11/11
by
YUSUKE MORIZUMI
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
by
Yahoo!デベロッパーネットワーク
データにまつわるWeb業界の仕事について
by
Masanori Takano
行ってみよう、やってみよう!
by
gree_tech
Viewers also liked
PDF
Amebaにおけるレコメンデーションシステムの紹介
by
cyberagent
PDF
データファースト開発
by
Katsunori Kanda
PDF
ソーシャル系Webサービスのデータを用いた社会科学 資料
by
Masanori Takano
PDF
サラリーマンのための計算社会科学
by
Masanori Takano
PDF
How Do Newcomers Blend into a Group?: Study on a Social Network Game
by
Masanori Takano
PDF
社会関係の強さに基づく社会的グルーミング戦略の適応性
by
Masanori Takano
Amebaにおけるレコメンデーションシステムの紹介
by
cyberagent
データファースト開発
by
Katsunori Kanda
ソーシャル系Webサービスのデータを用いた社会科学 資料
by
Masanori Takano
サラリーマンのための計算社会科学
by
Masanori Takano
How Do Newcomers Blend into a Group?: Study on a Social Network Game
by
Masanori Takano
社会関係の強さに基づく社会的グルーミング戦略の適応性
by
Masanori Takano
Similar to MapR Hadoop M7 in CyberAgent AdTech Studio
PPTX
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
by
Mitsutoshi Kiuchi
PDF
aws seminer_so-net_public
by
awsadovantageseminar
PDF
So net
by
awsadvantageseminar
PDF
20130313 OSCA Hadoopセミナー
by
Ichiro Fukuda
PPTX
Amebaソーシャルゲームにおけるr活用の体制と事例のご紹介
by
Masanori Takano
PDF
Our recent activities on cybersecurity researches using AI (Nov. 20, 2020)
by
Takeshi Takahashi
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
by
Mitsutoshi Kiuchi
aws seminer_so-net_public
by
awsadovantageseminar
So net
by
awsadvantageseminar
20130313 OSCA Hadoopセミナー
by
Ichiro Fukuda
Amebaソーシャルゲームにおけるr活用の体制と事例のご紹介
by
Masanori Takano
Our recent activities on cybersecurity researches using AI (Nov. 20, 2020)
by
Takeshi Takahashi
MapR Hadoop M7 in CyberAgent AdTech Studio
1.
MapR Hadoop M7 in
CyberAgent AdTech Studio 2016 April 4th CyberAgent, Inc. All Rights Reserved
2.
自己紹介
3.
Ken Takao 株式会社サイバーエージェント アドテク本部 技術戦略部 技術戦略室 Central Infrastructure
Agency Infra Manager アドテク本部の技術ボードメンバー として分析基盤の構築や推進を行ってます。
4.
サイバーエージェントとは?
5.
OUR VISION 当社は1998年の創業以来、インターネットを軸に事業を展開し、 現在では当社の代表的なサービスである「Ameba」をはじめ、ス マートフォン向けに多数のコミュニティサービスやゲームを提供 しています。2011年よりスマートフォン事業へ経営資産を大きく シフトし、2014年9月期には売上高の約7割がスマートフォン事 業に転換。変化対応力を強みに事業拡大を続けております。 Ameba事業は、先行投資期から収穫期に移行。インターネット 広告事業においては、スマートフォン広告市場の約3割を取り扱 い、インターネット広 告
市 場 国 内ナンバーワンのシェアを拡 大 し、アドテクノロジー分野や動画広告など、新しい広告手法にも 積極的に取り組んでおります。2009年から展開するゲーム事業 においても、ネイティブゲームにて複数本のヒットタイトルが出る など、国内有数のゲーム事業へ成長いたしました。
6.
タイトル TITLE
7.
タイトル TITLE
8.
アドテクスタジオとは?
12.
200名以上の エンジニア 20以上の 広告システム 1000台以上の 物理サーバー GCP,AWS, IDCF Cloudなど マルチクラウド 10PB以上の データ基盤 数百TBの データ ウェアハウス
13.
Hadoop Platform in AdTech
Studio
14.
アドテクスタジオのHadoop 現在10以上のHadoopクラスターが存在 ・広告のレポート集計基盤 ・アドホックなデータ分析 ・巨大データストレージ
15.
アドテクならではの要件 ・想定容量10PB ・レイテンシー5ms以内 ・構築期間2カ月
16.
アドテクならではの要件 ・想定容量10PB クラウドだと2TBのディスクが24本のるサーバーが625台必要 ・レイテンシー5ms以内 HBaseだとGCのタイミングでレイテンシー悪化 ・構築期間2カ月 検証や構築、運用テストなど行うとギリギリ。
17.
購入したサーバー HP ProLiant SL4540 Gen8
18.
なんとDiskが60本搭載可能 1台あたり0.36PB(6TBx60本)
19.
大量に購入 10PB!
20.
トピック 高密度型サーバーを活用し、 容量を確保する一方でコストを削減 高密度型サーバーを使い切る MAPRのパフォーマンス IOが高速化すればするほど 伸びるパフォーマンス
21.
MAPR HadoopとDWHの連携 グデータなど大規模な データ量のファイルを MAPR-FSに集約。 DWHでMAPR-FSを POSIX CLIENTでマウ ントし、超高速にデータ をインポートし、必要な 時だけデータを入れて 集計
22.
DWHでデータを読み込むときの MAPR Hadoop側の転送スピード
23.
Result ・約1TBのデータを30分程度でHadoopからDWHにIMPORT。 超高速なデータ集計基盤に! ・MAPR-FSではNFSでのマウントが可能となり、データのログ転送 回りのフローが大幅に簡略化! ・ただのストレージではなく、Hadoopコマンドが利用可能! ・ストレージ容量が10PBなので、今までデータ量を気にして消して いたファイルも気兼ねなく保存し続けることが可能に。 ・これによりデータを活用して配信に活用するスパンが短くなり、広 告効果が向上。
24.
今後の展望
25.
今後の展望 ・アドテクにはリアルタイム性が必要 ・より新しいデータをリアルタイムに活用したい ・コンバージド・データ・プラットフォームとして 機能追加された「MapR Streams」の活用を 検討中
26.
Next Level
27.
Project Ganesha 共通Hadoopクラスタと それを取り巻くデータ処理環境を構築予定 ターゲット -個々に管理していたHadoopクラスタを集約することで リソースの効率化を行う -遊休リソースを分析業務に再分配
28.
Project Ganeshaの全体像 Matrix 各システム ストリーミング基盤 ログ データ基盤
Download