Submit Search
Upload
データ分析基盤を支えるエンジニアリング
•
Download as PPTX, PDF
•
22 likes
•
9,882 views
Recruit Lifestyle Co., Ltd.
Follow
・リクルートライフスタイルのデータ分析基盤の紹介 ・データ分析基盤に必要なエンジニアリング リクルートライフスタイル 白鳥昇治
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 46
Download now
Recommended
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
え!?データがオンプレにあるけどPower BI で BI したいの?
え!?データがオンプレにあるけどPower BI で BI したいの?
Yugo Shimizu
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
NTT DATA Technology & Innovation
リクルートライフスタイル流!分析基盤との賢い付き合い方
リクルートライフスタイル流!分析基盤との賢い付き合い方
Recruit Lifestyle Co., Ltd.
超実践 Cloud Spanner 設計講座
超実践 Cloud Spanner 設計講座
Samir Hammoudi
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
NTT DATA Technology & Innovation
Recommended
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
え!?データがオンプレにあるけどPower BI で BI したいの?
え!?データがオンプレにあるけどPower BI で BI したいの?
Yugo Shimizu
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
NTT DATA Technology & Innovation
リクルートライフスタイル流!分析基盤との賢い付き合い方
リクルートライフスタイル流!分析基盤との賢い付き合い方
Recruit Lifestyle Co., Ltd.
超実践 Cloud Spanner 設計講座
超実践 Cloud Spanner 設計講座
Samir Hammoudi
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
NTT DATA Technology & Innovation
既存Redshift/ETLからSpectrum/Glueへの移行を徹底解明!
既存Redshift/ETLからSpectrum/Glueへの移行を徹底解明!
Recruit Lifestyle Co., Ltd.
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
Daiyu Hatakeyama
RDF Semantic Graph「RDF 超入門」
RDF Semantic Graph「RDF 超入門」
オラクルエンジニア通信
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
hamaken
【de:code 2020】 今すぐはじめたい SQL Database のかしこい使い分け術 後編
【de:code 2020】 今すぐはじめたい SQL Database のかしこい使い分け術 後編
日本マイクロソフト株式会社
マイクロサービスに至る歴史とこれから - XP祭り2021
マイクロサービスに至る歴史とこれから - XP祭り2021
Yusuke Suzuki
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
Denodo
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Snowflake Architecture and Performance
Snowflake Architecture and Performance
Mineaki Motohashi
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
NTT DATA Technology & Innovation
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Mineaki Motohashi
AKS と ACI を組み合わせて使ってみた
AKS と ACI を組み合わせて使ってみた
Hideaki Aoyagi
なぜ「マイクロサービス“化”」が必要なのか
なぜ「マイクロサービス“化”」が必要なのか
Yusuke Suzuki
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Ingress on Azure Kubernetes Service
Ingress on Azure Kubernetes Service
Toru Makabe
JenkinsとCodeBuildとCloud Buildと私
JenkinsとCodeBuildとCloud Buildと私
Shoji Shirotori
PostgreSQL 13でのpg_stat_statementsの改善について(第12回PostgreSQLアンカンファレンス@オンライン 発表資料)
PostgreSQL 13でのpg_stat_statementsの改善について(第12回PostgreSQLアンカンファレンス@オンライン 発表資料)
NTT DATA Technology & Innovation
データ分析基盤におけるOpsのためのDev with event driven + serverless
データ分析基盤におけるOpsのためのDev with event driven + serverless
Shoji Shirotori
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
Google Cloud Platform - Japan
More Related Content
What's hot
既存Redshift/ETLからSpectrum/Glueへの移行を徹底解明!
既存Redshift/ETLからSpectrum/Glueへの移行を徹底解明!
Recruit Lifestyle Co., Ltd.
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
Daiyu Hatakeyama
RDF Semantic Graph「RDF 超入門」
RDF Semantic Graph「RDF 超入門」
オラクルエンジニア通信
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
hamaken
【de:code 2020】 今すぐはじめたい SQL Database のかしこい使い分け術 後編
【de:code 2020】 今すぐはじめたい SQL Database のかしこい使い分け術 後編
日本マイクロソフト株式会社
マイクロサービスに至る歴史とこれから - XP祭り2021
マイクロサービスに至る歴史とこれから - XP祭り2021
Yusuke Suzuki
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
Denodo
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Snowflake Architecture and Performance
Snowflake Architecture and Performance
Mineaki Motohashi
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
NTT DATA Technology & Innovation
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Mineaki Motohashi
AKS と ACI を組み合わせて使ってみた
AKS と ACI を組み合わせて使ってみた
Hideaki Aoyagi
なぜ「マイクロサービス“化”」が必要なのか
なぜ「マイクロサービス“化”」が必要なのか
Yusuke Suzuki
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Ingress on Azure Kubernetes Service
Ingress on Azure Kubernetes Service
Toru Makabe
JenkinsとCodeBuildとCloud Buildと私
JenkinsとCodeBuildとCloud Buildと私
Shoji Shirotori
PostgreSQL 13でのpg_stat_statementsの改善について(第12回PostgreSQLアンカンファレンス@オンライン 発表資料)
PostgreSQL 13でのpg_stat_statementsの改善について(第12回PostgreSQLアンカンファレンス@オンライン 発表資料)
NTT DATA Technology & Innovation
What's hot
(20)
既存Redshift/ETLからSpectrum/Glueへの移行を徹底解明!
既存Redshift/ETLからSpectrum/Glueへの移行を徹底解明!
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
RDF Semantic Graph「RDF 超入門」
RDF Semantic Graph「RDF 超入門」
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
【de:code 2020】 今すぐはじめたい SQL Database のかしこい使い分け術 後編
【de:code 2020】 今すぐはじめたい SQL Database のかしこい使い分け術 後編
マイクロサービスに至る歴史とこれから - XP祭り2021
マイクロサービスに至る歴史とこれから - XP祭り2021
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
Snowflake Architecture and Performance
Snowflake Architecture and Performance
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
AKS と ACI を組み合わせて使ってみた
AKS と ACI を組み合わせて使ってみた
なぜ「マイクロサービス“化”」が必要なのか
なぜ「マイクロサービス“化”」が必要なのか
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
Ingress on Azure Kubernetes Service
Ingress on Azure Kubernetes Service
JenkinsとCodeBuildとCloud Buildと私
JenkinsとCodeBuildとCloud Buildと私
PostgreSQL 13でのpg_stat_statementsの改善について(第12回PostgreSQLアンカンファレンス@オンライン 発表資料)
PostgreSQL 13でのpg_stat_statementsの改善について(第12回PostgreSQLアンカンファレンス@オンライン 発表資料)
Similar to データ分析基盤を支えるエンジニアリング
データ分析基盤におけるOpsのためのDev with event driven + serverless
データ分析基盤におけるOpsのためのDev with event driven + serverless
Shoji Shirotori
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
Google Cloud Platform - Japan
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
tatsuya 264
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
Yu Yamada
20181206 Jazug DataScience TeamBuilding and DevOps
20181206 Jazug DataScience TeamBuilding and DevOps
Yukako Shimizu
データをどこに溜めよう?ローカル?クラウド?どのデータベース?
データをどこに溜めよう?ローカル?クラウド?どのデータベース?
- Core Concept Technologies
データ分析基盤について
データ分析基盤について
Yuta Inamura
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
dstn
プロダクト中心のデータ駆動を推進していくために必要なこと
プロダクト中心のデータ駆動を推進していくために必要なこと
Kazuhito Osabe
Alteryxの中級者向けトレーニングコース始めます!
Alteryxの中級者向けトレーニングコース始めます!
Yuji Kanemoto
DeNAにおけるSWETの役割
DeNAにおけるSWETの役割
Toshiyuki Hirata
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
Kentaro Yoshida
構造化データをツールで簡単に分析
構造化データをツールで簡単に分析
Yoshitaka Seo
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
Recruit Lifestyle Co., Ltd.
20150905 stream analytics
20150905 stream analytics
一希 大田
ビフォーアフターで学ぶ データビジュアライゼーションの基本
ビフォーアフターで学ぶ データビジュアライゼーションの基本
Toshikuni Fuji
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
Takanori Kawahara
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
aslead
Open Cloud Innovation2016 day1(これからのデータ分析者とエンジニアに必要なdatascienceexperienceツールと...
Open Cloud Innovation2016 day1(これからのデータ分析者とエンジニアに必要なdatascienceexperienceツールと...
Atsushi Tsuchiya
Similar to データ分析基盤を支えるエンジニアリング
(20)
データ分析基盤におけるOpsのためのDev with event driven + serverless
データ分析基盤におけるOpsのためのDev with event driven + serverless
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
オンプレ、クラウドを組み合わせて作るビックデータ基盤 データ基盤の選び方
20181206 Jazug DataScience TeamBuilding and DevOps
20181206 Jazug DataScience TeamBuilding and DevOps
データをどこに溜めよう?ローカル?クラウド?どのデータベース?
データをどこに溜めよう?ローカル?クラウド?どのデータベース?
データ分析基盤について
データ分析基盤について
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
2015年2月26日 dsthHUB 『DataSpiderインターナル プラガブルアーキテクチャで広がる可能性』
プロダクト中心のデータ駆動を推進していくために必要なこと
プロダクト中心のデータ駆動を推進していくために必要なこと
Alteryxの中級者向けトレーニングコース始めます!
Alteryxの中級者向けトレーニングコース始めます!
DeNAにおけるSWETの役割
DeNAにおけるSWETの役割
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
構造化データをツールで簡単に分析
構造化データをツールで簡単に分析
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
20150905 stream analytics
20150905 stream analytics
ビフォーアフターで学ぶ データビジュアライゼーションの基本
ビフォーアフターで学ぶ データビジュアライゼーションの基本
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
Open Cloud Innovation2016 day1(これからのデータ分析者とエンジニアに必要なdatascienceexperienceツールと...
Open Cloud Innovation2016 day1(これからのデータ分析者とエンジニアに必要なdatascienceexperienceツールと...
More from Recruit Lifestyle Co., Ltd.
業務と消費者の体験を同時にデザインするリクルートの価値検証のリアル ー 「Airレジ ハンディ」セルフオーダーのブレない「価値」の確かめ方 ー
業務と消費者の体験を同時にデザインするリクルートの価値検証のリアル ー 「Airレジ ハンディ」セルフオーダーのブレない「価値」の確かめ方 ー
Recruit Lifestyle Co., Ltd.
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
Recruit Lifestyle Co., Ltd.
OOUIを実践してわかった、9つの大切なこと
OOUIを実践してわかった、9つの大切なこと
Recruit Lifestyle Co., Ltd.
Flutter移行の苦労と、乗り越えた先に得られたもの
Flutter移行の苦労と、乗り越えた先に得られたもの
Recruit Lifestyle Co., Ltd.
CTIサービスを支える裏側 〜物理デバイスとの戦い〜 | iOSDC Japan 2020
CTIサービスを支える裏側 〜物理デバイスとの戦い〜 | iOSDC Japan 2020
Recruit Lifestyle Co., Ltd.
「進化し続けるインフラ」のためのマルチアカウント管理
「進化し続けるインフラ」のためのマルチアカウント管理
Recruit Lifestyle Co., Ltd.
Air事業のデザイン組織とデザイナー
Air事業のデザイン組織とデザイナー
Recruit Lifestyle Co., Ltd.
リクルートライフスタイル AirシリーズでのUXリサーチ
リクルートライフスタイル AirシリーズでのUXリサーチ
Recruit Lifestyle Co., Ltd.
ホットペッパービューティーにおけるモバイルアプリ向けAPIのBFF/Backend分割
ホットペッパービューティーにおけるモバイルアプリ向けAPIのBFF/Backend分割
Recruit Lifestyle Co., Ltd.
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
Recruit Lifestyle Co., Ltd.
Real-time personalized recommendation using embedding
Real-time personalized recommendation using embedding
Recruit Lifestyle Co., Ltd.
データから価値を生み続けるには
データから価値を生み続けるには
Recruit Lifestyle Co., Ltd.
データプロダクト開発を成功に導くには
データプロダクト開発を成功に導くには
Recruit Lifestyle Co., Ltd.
Jupyter だけで機械学習を実サービス展開できる基盤
Jupyter だけで機械学習を実サービス展開できる基盤
Recruit Lifestyle Co., Ltd.
SQLを書くだけでAPIが作れる基盤
SQLを書くだけでAPIが作れる基盤
Recruit Lifestyle Co., Ltd.
BtoBサービスならではの顧客目線の取り入れ方
BtoBサービスならではの顧客目線の取り入れ方
Recruit Lifestyle Co., Ltd.
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
Recruit Lifestyle Co., Ltd.
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
Recruit Lifestyle Co., Ltd.
ビックデータ分析基盤の成⻑の軌跡
ビックデータ分析基盤の成⻑の軌跡
Recruit Lifestyle Co., Ltd.
Refactoring point of Kotlin application
Refactoring point of Kotlin application
Recruit Lifestyle Co., Ltd.
More from Recruit Lifestyle Co., Ltd.
(20)
業務と消費者の体験を同時にデザインするリクルートの価値検証のリアル ー 「Airレジ ハンディ」セルフオーダーのブレない「価値」の確かめ方 ー
業務と消費者の体験を同時にデザインするリクルートの価値検証のリアル ー 「Airレジ ハンディ」セルフオーダーのブレない「価値」の確かめ方 ー
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
OOUIを実践してわかった、9つの大切なこと
OOUIを実践してわかった、9つの大切なこと
Flutter移行の苦労と、乗り越えた先に得られたもの
Flutter移行の苦労と、乗り越えた先に得られたもの
CTIサービスを支える裏側 〜物理デバイスとの戦い〜 | iOSDC Japan 2020
CTIサービスを支える裏側 〜物理デバイスとの戦い〜 | iOSDC Japan 2020
「進化し続けるインフラ」のためのマルチアカウント管理
「進化し続けるインフラ」のためのマルチアカウント管理
Air事業のデザイン組織とデザイナー
Air事業のデザイン組織とデザイナー
リクルートライフスタイル AirシリーズでのUXリサーチ
リクルートライフスタイル AirシリーズでのUXリサーチ
ホットペッパービューティーにおけるモバイルアプリ向けAPIのBFF/Backend分割
ホットペッパービューティーにおけるモバイルアプリ向けAPIのBFF/Backend分割
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
Real-time personalized recommendation using embedding
Real-time personalized recommendation using embedding
データから価値を生み続けるには
データから価値を生み続けるには
データプロダクト開発を成功に導くには
データプロダクト開発を成功に導くには
Jupyter だけで機械学習を実サービス展開できる基盤
Jupyter だけで機械学習を実サービス展開できる基盤
SQLを書くだけでAPIが作れる基盤
SQLを書くだけでAPIが作れる基盤
BtoBサービスならではの顧客目線の取り入れ方
BtoBサービスならではの顧客目線の取り入れ方
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
The Design for Serverless ETL Pipeline データ分析基盤のレガシーなデータロードをサーバレスでフルリプレースするまで道のり
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
ビックデータ分析基盤の成⻑の軌跡
ビックデータ分析基盤の成⻑の軌跡
Refactoring point of Kotlin application
Refactoring point of Kotlin application
データ分析基盤を支えるエンジニアリング
1.
データ分析基盤を支えるエンジニアリング 白鳥 昇治 テクノロジープラットフォームユニット データマネジメントグループ データ基盤チーム 2017/12/12 0
2.
今日お話すること • 自己紹介 • リクルートライフスタイルのデータ分析基盤の紹介 •
データ分析基盤に必要なエンジニアリング • さいごに 1
3.
自己紹介 • 白鳥 昇治(しろとり
しょうじ) • 略歴 • インフラエンジニア@SIer 2013/4〜 • 社内プライベートクラウドの構築・運用 • ソフトウェア開発ツールの社内ホスティングサービス開発・運用 • データエンジニア@リクルートライフスタイル 2017/7〜 • データ基盤チーム • 美容データプロデュースチーム(兼務) • 趣味 • バイク / 登山 / 仮想通貨トレード / Splatoon 2
4.
Engineering for data Business with data 技術でビジネスを ドライブする Stable
Infrastructure Continual Innovation+ リクルートライフスタイルにおけるエンジニアの役割
5.
今日お話すること • 自己紹介 • リクルートライフスタイルのデータ分析基盤の紹介 •
データ分析基盤に必要なエンジニアリング • さいごに 4
6.
リクルートライフスタイルのプロダクト 5
7.
どういうデータが集まるの? • 事業DBデータ • じゃらん、ホットペッパーグルメなどの各事業DBのテーブルそのもの や、そのスナップショットデータ •
マスターデータ • 地理情報などの外部データから取得できるマスターデータ • 管理者が手動で管理しているのでmaster_handスキーマと呼ばれる • データマート • 事業データ、マスターデータを駆使して分析・モニタリングしやすい ように加工したもの。データプランナーが事業と一緒に考えて作成。 • 誰でも音速でBIできるのでbi_smh(BIシューマッハ)スキーマと呼ば れる • サイトアクセスログ • Adobe Analyticsによる各事業のアクセスログ 6
8.
どう使う分析基盤なの? • アドホック分析 • データが必要になったときに。 •
例:昨日のこのエリアの宿のじゃらん予約数を知りたい • KPI・KGIモニタリング • 主にTableauでモニタリング、出力ファイル提供もする • 例:アクティブユーザー数の推移を見たい • 施策のためのデータ抽出 • 売上に直結するような施策のためのデータ抽出をバッチ実行 • データサイエンティストが考えたモデルを動かして使ったりする • 例:キャンペーンのポイント付与対象者リストが欲しい 7 プロダクトごとに 分析フローは様々
9.
データウェアハウス データ分析基盤 データ分析基盤 超概要 8 データ データ レイク データ データ 格納 データ 格納 データ マート BIツール 集計 集約 分析 ローデータを一元的に格納 データを構造的に格納 分析しやすいように データを加工する データ基盤チーム 分析ユーザー orシステム 事業
10.
データ分析基盤BLT 概要 9 S3 HPB JLN HPG TSV CSV Cloud Storage Redshift(本番) Redshift(退避) アクセスログ CSV 事業データ 外部データ Exadata Bigquery (スナップショット から再作成) ETL処理 ロード ETL処理 ロード ETL処理 マート作成 ETL処理 展開 BIツール JLN JLN
11.
実装ポイント3つ • データレイク構成 • 4つのデータウェアハウス •
ETLのための独自フレームワーク 10
12.
データレイク構成 11 HPB JLN HPG TSV CSV Cloud Storage Redshift(本番) Redshift(退避) アクセスログ CSV 事業データ 外部データ Exadata Bigquery (スナップショット から再作成) ETL処理 ロード ETL処理 ロード ETL処理 マート作成 ETL処理 展開 BIツール JLN JLN S3
13.
データレイク構成 • ローデータはすべてS3に保管(=データレイク構成) • データレイク構成にしておくことによって、新しいエンジンや新 しいニーズが出てきた際もある程度柔軟に対応出来る 12 S3 Load OK!
14.
4つのデータウェアハウス 13 HPB JLN HPG TSV CSV Cloud Storageアクセスログ CSV 事業データ 外部データ (スナップショット から再作成) ETL処理 ロード ETL処理 ロード ETL処理 マート作成 ETL処理 展開 BIツール S3 Redshift(本番) Redshift(退避) Exadata Bigquery JLN JLN
15.
4つのデータウェアハウス • Exadata • 施策バッチの専用実行環境 •
オンプレ • 売上に直結するため、通常の分析環境とリソースを分離して安 全安心を確保 • 利用についてはマネージャー承認制 14
16.
4つのデータウェアハウス • Redshitf(本番) • メインの分析環境 •
データロードとマート作成が常に走っており激重 • 重要指標のモニタリングによく使われる • データ鮮度:日次 15
17.
4つのデータウェアハウス • Redshift(退避) • アドホック分析環境その2 •
本番のRedshiftが遅すぎたため作った環境 • 週次で本番Redshiftのスナップショットから再作成される • 最新のデータをテーブル単位でS3からロードすることもできる • データ鮮度:週次 16
18.
4つのデータウェアハウス • BigQuery • アドホック分析環境その2 •
アクセスログが毎時で連携されている • 最近Redshiftのデータも連携されるようになったのでRedshift 退避環境の退役も近い • 安いし使いやすいし最高でしかない • データ鮮度:毎時or日次 17
19.
(スナップショット から再作成) BIツールRedshift(本番) Redshift(退避) Exadata Bigquery JLN JLN ETL(Extract Transform Load)処理 18 HPB JLN HPG TSV CSV Cloud
Storageアクセスログ CSV 事業データ 外部データ S3 ETL処理 マート作成 ETL処理 ロード ETL処理 ロード ETL処理 展開
20.
ETL処理のためのフレームワーク① • 通称、h2framework • 独自で実装した
ETLのフレームワークを用意し、SQLとYAMLを作るだけ でデータの移動を出来るようにしている。Python製。スケジューラーは JP1。 19
21.
ETL処理のためのフレームワーク② • 通称、bq-loader • S3にデータが配置されると、自動的にBigQueryにロードされる。ジョブ の中身はPython製。イベントドリブンでイケてる。 20
22.
今日お話すること • 自己紹介 • リクルートライフスタイルのデータ分析基盤の紹介 •
データ分析基盤に必要なエンジニアリング • さいごに 21
23.
データ分析基盤に必要なエンジニアリング このデータ分析基盤で達成したいこと とにかくどんどん分析してもらって 売上を上げてもらう! そのために… 22
24.
23 #1 ユーザビリティを上げる
25.
ユーザビリティを上げる • 使ってもらわないことには始まらない • アクティブユーザー数は150〜200、ユニークユーザーは1000以上 •
ユーザーのバックグラウンドも様々 • ディレクター、マーケター、セールス、エンジニア、データサイエン ティスト、etc... 24
26.
ユーザビリティを上げる • データをいい感じにする • データソースを増やす •
たとえば業務で使っているクラウドサービスのデータ • データ鮮度を上げる • Weekly→Daily→Hourly→リアルタイム • ここはまだ要望に答えきれていない… 25
27.
ユーザビリティを上げる • ユーティリティツールを公開する • チャットでつぶやくとで最新データをロードするインターフェース •
データの更新時間がわかるダッシュボード • Slackの質問チャンネル開設 • メタ情報の公開 26
28.
27 • 事業DBやDWH、Adobe Analyticsのメタデータを一元的に管理 •
カラムに対してのコメント機能もあるため、単純なDDLよりもわかりやすい情報が載っている
29.
#2 パフォーマンスを上げる 28
30.
パフォーマンスを上げる • クエリが数分間返ってこない分析基盤なんて使っても らえない • ユーザー「ボルト?遅っ!!」 29
31.
パフォーマンスを上げる • ビッグデータ、データ分析関連のソフトウェアやサービスはも のすごい勢いでローンチ/アップデートされている • Redshift
Spectrum, AWS Glue, Dataflow, Data studio... • 良さそうなものは検証して基盤を進化させ続け、その時想像で きる最適を目指す 30
32.
31 Amazon EMR Amazon Athena AWS
Glue 役目を終えた OR 我々の基盤に今はマッチしなかったサービス・ツール達
33.
パフォーマンスを上げる • マネージドサービスとは仲良く、フィードバックする • もちろん最初はSQLチューニングやベストプラクティス適用な ど、基本からやりましょう 32
34.
33 #3 運用コストを下げる
35.
運用コストを下げる • ユーザビリティやパフォーマンスのための開発ができ るようにする 34
36.
運用コストを下げる • なるべく運用は自動化しておく • ETLのリトライは単純リランで済むように、冪等な処理に •
故障チケットは自動で起票、チケット起票おじさんがいなくて済むように • Infrastructure as a code/自動テスト/自動デプロイ • 定常作業はすべて自動化するつもりで • まだまだ道半ば>< • 魔改造しない、マネージドサービスに乗れるところは乗る • まだまだオンプレのバッチサーバがあったりします • とはいえミドルウェアを自分でいじれないのはちょっとさみしい>< 35
37.
#4 モニタリングする 36
38.
モニタリングする • データ分析基盤自体もデータ分析が必要 • モニタリングをして改善しないとダメです •
まだきちんとできておりません>< 37
39.
38 クエリ状況 障害状況 DWH負荷状況 UU推移(日足) クエリ数推移(日足) クエリ実行時間推移(日足) クエリ内容 UU推移(月足) クエリ数推移(月足) クエリ実行時間推移(月足) サマリ
40.
#5 自分で分析する 39
41.
自分自身でも分析する • せっかく目の前に面白いデータがあるのに、遊ばない 分析しない手はない • 使う側になってみないとわからないこと、たくさんあ ると思います •
自分がマーケター、ディレクターの役割で事業課題を発見・解決する データを作ってみよう • 誰が、何のために、どんなデータを分析してるのか認 識しないと、最適なデータ分析基盤は作れない • =データプランナーの視点も必要 40
42.
データ分析基盤に必要なエンジニアリング このデータ分析基盤で達成したいこと とにかくどんどん分析してもらって 売上を上げてもらう! そのために… 1. ユーザビリティを上げる 2. パフォーマンスを上げる 3.
運用コストを下げる 4. モニタリングする 5. 自分で分析する 41
43.
今日お話すること • 自己紹介 • リクルートライフスタイルのデータ分析基盤の紹介 •
データ分析基盤に必要なエンジニアリング • さいごに 42
44.
さいごに • 進化を続けることができる基盤は作っていて、エンジニアとして とても楽しい • 新しいマネージドサービスや技術はキャッチアップ必須! •
リクルートライフスタイルのデータ分析基盤はまだ発展途上 • お話したとおり改善ポイントはいくらでもある • 実はアプリやサーバーログのリアルタイム収集・分析基盤は別にあったり… • リクルートライフスタイル、ひいてはリクルート全体の分析基盤 を一緒に作ってくれる方をお待ちしています! 43
45.
44
46.
45
Editor's Notes
リクルートライフスタイルにおけるエンジニアの役割 弊社の特徴として、エンジニアがビジネスのとても近くにいるというのがあります。 図のようにエンジニアの役割は技術によってビジネスをドライブさせることになります。 エンジニアからビジネス側へ提案することが多くある。 あとは、毎年エンジニアがビジネスプランを発表するコンテストもありますし、技術とビジネス両方学べる良い環境だと思います。 リクルートライフスタイルとエンジニアが結びつかない人も多数いるとは思いますが、技術でビジネスをドライブしてる実績が認められ最近はエンジニアを増やすことに注力しています。
Download now