Submit Search
Upload
ビッグデータ&データマネジメント展
•
Download as PPTX, PDF
•
11 likes
•
6,493 views
Recruit Technologies
Follow
ビッグデータ&データマネジメント展での講演資料
Read less
Read more
Technology
Report
Share
Report
Share
1 of 52
Download now
Recommended
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
Hadoopカンファレンス2013
Hadoopカンファレンス2013
Recruit Technologies
Hadoopカンファレンス20140707
Hadoopカンファレンス20140707
Recruit Technologies
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
FluentdやNorikraを使った データ集約基盤への取り組み紹介
FluentdやNorikraを使った データ集約基盤への取り組み紹介
Recruit Technologies
WebDB Forum 2013
WebDB Forum 2013
Recruit Technologies
並列データベースシステムの概念と原理
並列データベースシステムの概念と原理
Makoto Yui
Hadoop / Elastic MapReduceつまみ食い
Hadoop / Elastic MapReduceつまみ食い
Ryuji Tamagawa
Recommended
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
Hadoopカンファレンス2013
Hadoopカンファレンス2013
Recruit Technologies
Hadoopカンファレンス20140707
Hadoopカンファレンス20140707
Recruit Technologies
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
FluentdやNorikraを使った データ集約基盤への取り組み紹介
FluentdやNorikraを使った データ集約基盤への取り組み紹介
Recruit Technologies
WebDB Forum 2013
WebDB Forum 2013
Recruit Technologies
並列データベースシステムの概念と原理
並列データベースシステムの概念と原理
Makoto Yui
Hadoop / Elastic MapReduceつまみ食い
Hadoop / Elastic MapReduceつまみ食い
Ryuji Tamagawa
今さら聞けないHadoop セントラルソフト株式会社(20120119)
今さら聞けないHadoop セントラルソフト株式会社(20120119)
Toru Takizawa
Hadoop for programmer
Hadoop for programmer
Sho Shimauchi
Hadoop -ResourceManager HAの仕組み-
Hadoop -ResourceManager HAの仕組み-
Yuki Gonda
Amazon Elastic MapReduce@Hadoop Conference Japan 2011 Fall
Amazon Elastic MapReduce@Hadoop Conference Japan 2011 Fall
Shinpei Ohtani
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
Developers Summit
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
NTT DATA OSS Professional Services
日々進化するHadoopの 「いま」
日々進化するHadoopの 「いま」
NTT DATA OSS Professional Services
Hadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tk
NTT DATA OSS Professional Services
Hadoop入門
Hadoop入門
Preferred Networks
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
Hadoop / Spark Conference Japan
リクルートにおけるhadoop活用事例+α
リクルートにおけるhadoop活用事例+α
Recruit Technologies
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
NTT DATA OSS Professional Services
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
NTT DATA OSS Professional Services
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
Tetsutaro Watanabe
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
MapR Technologies Japan
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
Ken SASAKI
Hadoopによる大規模分散データ処理
Hadoopによる大規模分散データ処理
Yoji Kiyota
Hadoop概要説明
Hadoop概要説明
Satoshi Noto
MapR 5.2: MapR コンバージド・コミュニティ・エディションを使いこなす
MapR 5.2: MapR コンバージド・コミュニティ・エディションを使いこなす
MapR Technologies Japan
サービスを支える監視運用
サービスを支える監視運用
Akinori Tsuboi
みんなのウェディングのデータ分析基盤の作り方。
みんなのウェディングのデータ分析基盤の作り方。
Sunao Komuro
More Related Content
What's hot
今さら聞けないHadoop セントラルソフト株式会社(20120119)
今さら聞けないHadoop セントラルソフト株式会社(20120119)
Toru Takizawa
Hadoop for programmer
Hadoop for programmer
Sho Shimauchi
Hadoop -ResourceManager HAの仕組み-
Hadoop -ResourceManager HAの仕組み-
Yuki Gonda
Amazon Elastic MapReduce@Hadoop Conference Japan 2011 Fall
Amazon Elastic MapReduce@Hadoop Conference Japan 2011 Fall
Shinpei Ohtani
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
Developers Summit
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
NTT DATA OSS Professional Services
日々進化するHadoopの 「いま」
日々進化するHadoopの 「いま」
NTT DATA OSS Professional Services
Hadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tk
NTT DATA OSS Professional Services
Hadoop入門
Hadoop入門
Preferred Networks
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
Hadoop / Spark Conference Japan
リクルートにおけるhadoop活用事例+α
リクルートにおけるhadoop活用事例+α
Recruit Technologies
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
NTT DATA OSS Professional Services
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
NTT DATA OSS Professional Services
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
Tetsutaro Watanabe
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
MapR Technologies Japan
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
Ken SASAKI
Hadoopによる大規模分散データ処理
Hadoopによる大規模分散データ処理
Yoji Kiyota
Hadoop概要説明
Hadoop概要説明
Satoshi Noto
MapR 5.2: MapR コンバージド・コミュニティ・エディションを使いこなす
MapR 5.2: MapR コンバージド・コミュニティ・エディションを使いこなす
MapR Technologies Japan
What's hot
(20)
今さら聞けないHadoop セントラルソフト株式会社(20120119)
今さら聞けないHadoop セントラルソフト株式会社(20120119)
Hadoop for programmer
Hadoop for programmer
Hadoop -ResourceManager HAの仕組み-
Hadoop -ResourceManager HAの仕組み-
Amazon Elastic MapReduce@Hadoop Conference Japan 2011 Fall
Amazon Elastic MapReduce@Hadoop Conference Japan 2011 Fall
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
日々進化するHadoopの 「いま」
日々進化するHadoopの 「いま」
Hadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tk
Hadoop入門
Hadoop入門
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
リクルートにおけるhadoop活用事例+α
リクルートにおけるhadoop活用事例+α
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
Hadoopによる大規模分散データ処理
Hadoopによる大規模分散データ処理
Hadoop概要説明
Hadoop概要説明
MapR 5.2: MapR コンバージド・コミュニティ・エディションを使いこなす
MapR 5.2: MapR コンバージド・コミュニティ・エディションを使いこなす
Viewers also liked
サービスを支える監視運用
サービスを支える監視運用
Akinori Tsuboi
みんなのウェディングのデータ分析基盤の作り方。
みんなのウェディングのデータ分析基盤の作り方。
Sunao Komuro
JobSchedulerアップデート2016
JobSchedulerアップデート2016
OSSラボ株式会社
0151209 Oracle DDD OracleとHadoop連携の勘所
0151209 Oracle DDD OracleとHadoop連携の勘所
オラクルエンジニア通信
リクルートにおけるVDI導入 ~働き方変革とセキュリティ向上の両立を目指して~
リクルートにおけるVDI導入 ~働き方変革とセキュリティ向上の両立を目指して~
Recruit Technologies
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
Recruit Technologies
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
Recruit Technologies
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
Sadayuki Furuhashi
リクルートにおける画像解析事例紹介と周辺技術紹介
リクルートにおける画像解析事例紹介と周辺技術紹介
Recruit Technologies
リクルート式ビッグデータ活用術
リクルート式ビッグデータ活用術
Recruit Technologies
スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例~
スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例~
Tetsuo Yamabe
DataRobot活用状況@リクルートテクノロジーズ
DataRobot活用状況@リクルートテクノロジーズ
Recruit Technologies
DeNAの分析を支える分析基盤
DeNAの分析を支える分析基盤
Kenshin Yamada
ガチ(?)対決!OSSのジョブ管理ツール
ガチ(?)対決!OSSのジョブ管理ツール
賢 秋穂
あなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイント
Shohei Hido
Viewers also liked
(15)
サービスを支える監視運用
サービスを支える監視運用
みんなのウェディングのデータ分析基盤の作り方。
みんなのウェディングのデータ分析基盤の作り方。
JobSchedulerアップデート2016
JobSchedulerアップデート2016
0151209 Oracle DDD OracleとHadoop連携の勘所
0151209 Oracle DDD OracleとHadoop連携の勘所
リクルートにおけるVDI導入 ~働き方変革とセキュリティ向上の両立を目指して~
リクルートにおけるVDI導入 ~働き方変革とセキュリティ向上の両立を目指して~
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
リクルートにおける画像解析事例紹介と周辺技術紹介
リクルートにおける画像解析事例紹介と周辺技術紹介
リクルート式ビッグデータ活用術
リクルート式ビッグデータ活用術
スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例~
スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例~
DataRobot活用状況@リクルートテクノロジーズ
DataRobot活用状況@リクルートテクノロジーズ
DeNAの分析を支える分析基盤
DeNAの分析を支える分析基盤
ガチ(?)対決!OSSのジョブ管理ツール
ガチ(?)対決!OSSのジョブ管理ツール
あなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイント
Similar to ビッグデータ&データマネジメント展
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
Dell TechCenter Japan
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Preferred Networks
Dat011 hd insight_+_spark_+_r_を活用した
Dat011 hd insight_+_spark_+_r_を活用した
Tech Summit 2016
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
Insight Technology, Inc.
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
hamaken
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
YusukeKuramata
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
Takahiro Inoue
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
Insight Technology, Inc.
避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題
kurikiyo
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
マーケティング向け大規模ログ解析事例紹介
マーケティング向け大規模ログ解析事例紹介
Kenji Hara
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
Kazuhiro Mitsuhashi
MapReduce/YARNの仕組みを知る
MapReduce/YARNの仕組みを知る
日本ヒューレット・パッカード株式会社
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
Tetsutaro Watanabe
JAWS DAYS 2022
JAWS DAYS 2022
陽平 山口
[db tech showcase OSS 2017] A14: IoT時代のデータストア--躍進するNoSQL、拡張するRDB by OSSコンソーシア...
[db tech showcase OSS 2017] A14: IoT時代のデータストア--躍進するNoSQL、拡張するRDB by OSSコンソーシア...
Insight Technology, Inc.
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
巨大なサービスと膨大なデータを支えるプラットフォーム
巨大なサービスと膨大なデータを支えるプラットフォーム
Tetsutaro Watanabe
Similar to ビッグデータ&データマネジメント展
(20)
Big data解析ビジネス
Big data解析ビジネス
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Dat011 hd insight_+_spark_+_r_を活用した
Dat011 hd insight_+_spark_+_r_を活用した
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
マーケティング向け大規模ログ解析事例紹介
マーケティング向け大規模ログ解析事例紹介
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
MapReduce/YARNの仕組みを知る
MapReduce/YARNの仕組みを知る
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
JAWS DAYS 2022
JAWS DAYS 2022
[db tech showcase OSS 2017] A14: IoT時代のデータストア--躍進するNoSQL、拡張するRDB by OSSコンソーシア...
[db tech showcase OSS 2017] A14: IoT時代のデータストア--躍進するNoSQL、拡張するRDB by OSSコンソーシア...
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
巨大なサービスと膨大なデータを支えるプラットフォーム
巨大なサービスと膨大なデータを支えるプラットフォーム
More from Recruit Technologies
新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場
Recruit Technologies
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
Recruit Technologies
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Recruit Technologies
Tableau活用4年の軌跡
Tableau活用4年の軌跡
Recruit Technologies
HadoopをBQにマイグレしようとしてる話
HadoopをBQにマイグレしようとしてる話
Recruit Technologies
LT(自由)
LT(自由)
Recruit Technologies
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
Recruit Technologies
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Recruit Technologies
リクルート式AIの活用法
リクルート式AIの活用法
Recruit Technologies
銀行ロビーアシスタント
銀行ロビーアシスタント
Recruit Technologies
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
Recruit Technologies
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
ユーザーからみたre:Inventのこれまでと今後
ユーザーからみたre:Inventのこれまでと今後
Recruit Technologies
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Recruit Technologies
EMRでスポットインスタンスの自動入札ツールを作成する
EMRでスポットインスタンスの自動入札ツールを作成する
Recruit Technologies
RANCHERを使ったDev(Ops)
RANCHERを使ったDev(Ops)
Recruit Technologies
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
Recruit Technologies
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
Recruit Technologies
「リクルートデータセット」 ~公開までの道のりとこれから~
「リクルートデータセット」 ~公開までの道のりとこれから~
Recruit Technologies
More from Recruit Technologies
(20)
新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Tableau活用4年の軌跡
Tableau活用4年の軌跡
HadoopをBQにマイグレしようとしてる話
HadoopをBQにマイグレしようとしてる話
LT(自由)
LT(自由)
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
リクルート式AIの活用法
リクルート式AIの活用法
銀行ロビーアシスタント
銀行ロビーアシスタント
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
ユーザーからみたre:Inventのこれまでと今後
ユーザーからみたre:Inventのこれまでと今後
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
EMRでスポットインスタンスの自動入札ツールを作成する
EMRでスポットインスタンスの自動入札ツールを作成する
RANCHERを使ったDev(Ops)
RANCHERを使ったDev(Ops)
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
「リクルートデータセット」 ~公開までの道のりとこれから~
「リクルートデータセット」 ~公開までの道のりとこれから~
Recently uploaded
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
Recently uploaded
(8)
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
ビッグデータ&データマネジメント展
1.
リクルート式ビッグデータの活用法
株式会社リクルート MIT システム基盤推進室 プロフェッショナルエンジニアリンググループ 石川 信行
2.
はじめにですが。
主な事業会社 (株)リクルートキャリア (株)リクルートジョブズ (株)リクルートスタッフィング (株)リクルート (株)リクルート住まいカンパニー ホールディングス (株)リクルートライフスタイル (株)リクルートマーケティングパートナーズ (株)スタッフサービス・ホールディングス 機能会社 (株)リクルートアドミニストレーション (株)リクルートコミュニケーションズ (株)リクルートテクノロジーズ 1
3.
ビッグデータグループ新設 ビッグデータグループが新設されました。 (「コンサル型」+「エンジニア型」)×マーケター
事業担当者 ビッグデータグループ ≒マーケター コンサル型 エンジニア型 分析者 Hadoopエンジニ ア
4.
リクルート式ビッグデータの活用法
株式会社リクルートテクノロジーズ IT ソリューション部 ビッグデータグループ 石川 信行
5.
自己紹介 □名前 石川 信行 (
ground_beetle) □出身 福島県 いわき市 大学時代は、害虫制御学および生物統計学専攻 □経歴 ・2009年リクルート新卒入社 ・営業支援システムのコーダー(java)、DBAとして参加。 ・2010年Hadoop推進担当 ・現Hadoop案件推進・新用途開発チームリーダー □ 趣味 ・外国産カブト虫飼育 ・スキューバダイビング ・海水魚飼育
6.
アジェンダ 1
• リクルートについて 2 • ビッグデータへの取り組みの現状 3 • 利活用事例紹介 4 • 課題の克服 5 • まとめ
7.
リクルートについて
8.
ビジネスモデル カスタマー
クライアント ◆マーケットの声を反映 ◆カスタマー自身も気づいていない した 新しい発見や可能性の提示 商品・サービスの向上提 案 ◆安心して選択や行動ができるよう ◆未だ見ぬカスタマーと な の 客観的な評価や評判を提供 出会いを提供(集客支 援) その人らしい最適な選択と クライアントの事業が発展、 意思決定ができるようサポート 成長できるよう伴走
9.
リクルートについて(事業概要)
※サービスの一部です ライフイベント領域 ライフスタイル領域 旅行 車購入 住宅購入 お稽古 ファッション 転職 出産/育児 結婚 時事 飲食 就職 進学 将来を考えて選択と意思決定 日常の中にある「何を食べよう をする大きな「イベント」 か」 といった、小さな選択と意思決定
10.
リクルートについて(会社概要) 創
業 : 1960年3月31日 資本金 : 30億264万円 売上高 : 3,720億57百万円(2011年4月1日~2012年3月31日) 連結売上高 : 8,066億61百万円(2011年4月1日~2012年3月31日) 従業員数 : 5,974名 (2012年4月1日現在)男性:2619名・女性:3355名 代表者 : 代表取締役社長 峰岸 真澄
11.
ビッグデータへの取り組みの現状
12.
新技術のR&D取り組みステップ
Gate Review Gate Review Gate Review R-Stage Dev-Stage β-Stage 運用-Stage ・技術要素調査 ・効果的な仕組 ・正式にフィジ ・実運用へ ・技術の実態を みとしてプレ実 ビリティスタ 把握する 装 ディとして推進 ・活用方法をさ ~展開をする らに開拓 ビッグデー タ (Hadoop)
13.
リクルートが使用するHadoopとは?
大規模データを効率的に分散処理・管理する ためのソフトウェア基盤(JAVAフレームワーク) ・MapReduce(Javaプログラム) これらで構成 ・HDFS(分散ファイルシステム) マスタ サーバー MapReduce MAP (javaプログラム) SHUFFLE スレーブ REDUCE サーバー HDFS (分散ファイルシステム)
14.
システム構成概要 リサーチ段
実験・検証 第1世代環境 第2世代環境 階 20台 120台 40台 (今後拡 3~4台 大) プライベートクラウド プライベートクラウド 部分的な 完全なる 実験機 ラボ環境 環境融合 環境融合 2008~9 2010 2011 2012 Webサイトのバッチ システム移行などで 商用利用が可能な設計 プライベートクラウド 処理移植など、 余ったハードウェアを (セキュリティなど非 環境との融合を進めた 処理性能の評価・ 再利用 機能面)を施した環境 環境 研究 イマココ
15.
システム構成概要
第1世代 第2世代 Apache Hadoop / CDH MapR / GreenplumMR Heartbeat + DRBD MasterNode1 MasterNode2 MasterNode3 MasterNode4 Node1 Node2 Node3 Node4 JobTracker JobTracker CLDB CLDB CLDB CLDB NameNode NameNode JobTracker JobTracker JobTracker JobTracker Secondary Secondary TaskTracker TaskTracker TaskTracker TaskTracker NameNode NameNode FileServer FileServer FileServer FileServer Warden SlaveNode1 SlaveNode2 SlaveNode3 SlaveNode4 Node5 Node6 Node7 Node8 TaskTracker TaskTracker TaskTracker TaskTracker CLDB CLDB CLDB CLDB JobTracker JobTracker JobTracker JobTracker DataNode DataNode DataNode DataNode TaskTracker TaskTracker TaskTracker TaskTracker FileServer FileServer FileServer FileServer Master4台+Slave15台+batch1台の 3Nodeから、利用リソースに 20台構成をベースに利用リソース 応じて増設 に応じてSlaveを増設
16.
利活用事例紹介
17.
【事例紹介①】 自動車事業
18.
「クルマなびカウンター*」における活用事例 *クルマなびカウンター:対面形式で車選びを支援する新サービス
簡単 仲介 安心 お客様 販売店 無料相談 仲介 仲介 カーセンサー独自の品質基準による車選び 物件や状態選定はお任せ+カーナビ/ETC+保証/アフター 車選び~契約までのワンストップサービス 車選び〜実車確認〜契約代行
19.
@イオンタウン 仙台泉大沢
20.
どこにデータ活用がされているのか?
車の価格設定 条件の近いものをまとめ、一律の 保証等を付けて同一品質・同一価格を実現する これが難しい。なぜか? どのような項目でまとめれば良いか? 最適な値段はいくらなのか?
21.
■マーケット・商材の特殊性 中古車マーケットは感覚的な値付けの世界=「正価」のないマーケット 一物一価の商材。価格決定因子が複雑
外部環境(輸出、為替、新車)からの影響値が大きい オプションは ざっと30超! 車種/グレード/年式/走行/修復歴/ナビ/ETC/駆動方式 /色/ミッション/排気量/車検残/禁煙車/本革シート/ モニター/キーレス/サンルーフ/保証/整備/エリア… ➤ 統計的分析が難しい ■価格算出に求められること マーケット・商材の特殊性から、価格算出するために必要なこと ➤ 全データを対象にしたトライ&エラーの繰り返し
22.
もともと、アイディアはあったが… 組み合わせが膨大なため、車種やエリアを限定しても
集計が困難。限定しているので、価格算出の信頼度が低い。 本番DB この集計ではダメだ… 行動履歴 DB やり直そう… 外部 データ 数日 カーセンサーのデータ*:1億件/月 オートオークションのデータ:18万件/月 ➤ 実現できそうもない *月間で340万件×30オプションのand条件
23.
既にバッチ高速化でhadoopの実用性を認識
Hadoopを活用できるのでは? 本番DB 行動履歴 Hadoop 色々試せる! DB 環境 外部 データ 1時間半 仮説→実行→検証を高速に繰り返し 答えを導くことができた
24.
Hadoop活用でサービス完成!
簡単 仲介 お客様 安心 販売店 本番DB 行動履歴 Hadoop DB 環境 外部 データ 毎月950車種の価格を30分で分析!
25.
オープン後の課題に対して追加分析も。
特定の色の車の取引価格が高く仕入れ が難しい!オプション料金にするかど うか考えている。 距離や年式などをずらした際の 価格変動をみたい。 GWやお盆が売れゆきは? 去年のシーズナリティを見たい。 どんなに頑張って分析しても必ず課題は出てくる。 問題はこれをいかに迅速に解決できるか。事業担当者が現場で 感じている感覚をデータですばやく証明する。
26.
【事例紹介②】 じゃらんリサーチセンター
27.
じゃらんnet宿泊実行履歴とは? • 年間6020万人泊の宿泊予約、宿泊実行
履歴データ – サービス開始の2000年11月11日から約12年 間の蓄積 – 会員数1032万人(2012年2月末時点) – 契約宿泊施設数 2万2462軒 – 国内最大級の宿泊予約サイト これらのデータを使って解析した結果を 地方自治体に向けて公開するセミナーを開催している。 今年はビッグデータ解析関連の講演も行われた。 ムムッ…
28.
関東への宿泊旅行者(全国):連泊地域 関東(1都6県)での人気宿泊地域の連泊・転泊動 向実態を把握する 同じ地域内での連泊は 1位横浜、2位舞浜、3位お台場、 4位箱根、5位銀座・東京 【調査概要】じゃらんnet蓄積データより、Nは旅行件数を表す。 関東圏(1都6県)以外の居住者に対する関東圏内の連泊・転泊 集計期間:2011年4月1日~2012年3月31日チェックイン分 1室2名以上での利用(レジャーユースを想定) ※連泊転泊の定義:連続した日程による同一人物による2泊以上の予約を連泊と呼ぶ。この時、2泊目の宿 泊エリアが代わった時を転泊と呼ぶ。 つまり同じエリア内にあるAホテルからBホテルに移ってもこれは連泊扱いとなる。
29.
南関東居住者と北海道居住者の周遊宿泊状況の違い じゃらんnet宿泊実行履歴データより 北海道居住者と南関東居住者の転泊状況の分析 (2011年7月~9月の夏季3か月)
– 北海道旅行者は、4割が 道内から、3割が南関東 から – 北海道居住者は 「網走・北見・知床」と「 釧路・阿寒・根室・川湯・ 屈斜路」が最多の 転泊組み合わせ – 南関東居住者は、「旭川 ・層雲峡」「札幌」が最 多の転泊組み合わせ 28
30.
【事例紹介③】 ブライダル事業
31.
「ログデータ集計基盤」再構築における事例 効果基盤システムの課題 課題1
効果集計データ及びロジックが分散かつ複雑 ➤ データ品質の悪化 課題2 大量データ処理を高速に行う基盤が存在しない ➤ 集計工数の肥大化 SCログ集 計処理 ログ集計 ログ集計 処理1 処理2 課題1 データとロジックが分散。 課題2 大量データを高 データ品質の悪化を招く 速に扱えない
32.
「ログデータ集計基盤」再構築における事例 事業の分析運用面での課題 課題3
分析は手作業中心。データ取得方法も異なる ➤ 分析業務の効率が悪い 課題4 データが分散。十分な分析ができない ➤ 集客ほか効果増に繋がらない データ加工 課題4 データ分散により効 果に繋がる分析ができない 課題3 手作業&異なるデータ取 得方法により効率が悪い
33.
「ログデータ集計基盤」再構築で目指したこと システム面で目指す状態 理想1
効果データ・集計ロジックが集約されデータ品質が 良い 理想2 大量データの高速処理が可能であり、対応工数が抑 えられる 分析運用面で目指す状態 理想3 効果分析業務が最適に効率化されている 理想4 様々なデータを効果分析に利用することができる
34.
打ち手を整理すると… 理想1
効果データ・集計ロジックの集約 データの 一元管理 理想2 大量データの高速処理の実現 理想3 効果分析業務の効率化 大量データ の高速処理 理想4 多様なデータの分析を可能に
35.
【システム化 対応後】
対応前】 既存システムD Hadoop EUC 既存システムE 既存システムE 既存システムA I/F I/F 集計① 集計結果 DBデータ・ログ ② 既存システムB ファイルなどの収集 整形② 集計結果 集計 営業・顧 客 整形① 既存システムF 既存システムF 既存システムC マスタデータの整形 整形① ③ やアクセスログの整 他システム 形 連携 整形③ 集計② 集計結果 ASP 既存システムG MP サイカタ I/F 集計
36.
主な効果(一部のみ紹介) 理想1
効果データ・集計ロジックの データ遡及工数削減 集約 (▲60%) 理想2 大量データの高速処理の実現 14時間の集計処理 →15分 理想3 効果分析業務の効率化 分析工数の削減 (▲85%) 理想4 多様なデータの分析を可能に アトリビューション分 析の実現 上記以外にも副次的な効果が多数
37.
【事例紹介④】 住宅事業
38.
オーナーレポート SUUMOで所有している大量データをつかって、クライアントへの分析商品展開、 営業側で利用するための提案ツール作成を実施。 – クライアントが物件オーナーとの接点を強化し、各種提案をスムーズに行っていただくた
めの物件レポート作成サービス
39.
その他にも…
1週間分のログをクレメンタインで 約8万人に レコメンド計算 レコメンド 約20万人に CVRは レコメンド 1.6倍に 1年半分 でレコメンド計算 アソシエーションルールによる レコメンドエリアの算出 下まで閲覧すると レコメンドバナー表出
40.
リスティング分 事業A
施策シェア分析 析 クチコミ分析 サイト横断 事業B サイト間 モニタリング レコメンド KWD×LP分析 13事業に対し、 クロスUU 指標 事業C 調査 予約分析 事業D メルマガ施策 BI 年間100件超 KPIモニタリン メール通数分析 現行応募相関 ステータス分析 事業E グ 自然語解析 行動ターゲティング LPO 事業F レコメンド ログ分析 事業G 事業H 自然語解析 領域間クロス UU の カスタマープロファイル メールレコメン ド 集客モニタリン グ 商材分析 需要予測 需要予測 クライアントHP分析 クレンジング レコメンド カスタマートラッキング 共通バナー 事業I 事業J グ 価格分析 データ利活用 KPIモニタリン アクション数予 測 レコメンド 効果集計 クラスタリング クチコミ分析 レコメンド 事業K 事業L レコメンド を展開中 効果見立て分析 事業M 39
41.
課題の克服 ~Hadoopエコシステムを使う~
42.
「エンジニア型」アナリストの動き方 ビッグデータ関連技術の活用方法を、技術力・インフラ基盤と共に提供し、 新たな施策を事業とともに考え実装していく ➤ アルゴリズムを「実装する」・「組み合わせる」
しかしながら、現実はそううまくもいかない。 いろいろ課題が絶えず出てくる。 エンジニア型 事業担当者 データを抽出する工数が… アナリスト 既存のシステムに影響が… 機械学習など分からない…etc 技術で実現できることを背 事業の状況を背景とした、 景としたソリューションの 新たな施策の検討、期待 そんな課題をエコシステムで解決していく する成果・目的の設定 紹介、技術力・インフラ基 盤の提供、活用方法の事例 展開や新たな用途開発など
43.
Hadoopを選んだ理由 大規模計算処理システムとしてHadoopを選んだ理由は以下の通り。
スケーラブルであること コストがかからないこと エコシステムが大きい、コミュニティが活性であること ある程度自由に他の製品と組み合わせが可能なこと
44.
各種機能は「エコシステム」で簡単に利用
RDB 問い合わせログ PVログ レコメンド データ Quest® Data Connector SQLライクな操作言語として、Hive マイニングのライブラリとして、mahout データ連携ツールとして、Sqoop JOBスケジューリングツールとして、Azkaban
45.
①Sqoop の活用
・DBからデータ移行に時間がか かる。 ・工数がかかる。 ・HadoopとRDBMSとでデータをやり取りするためのしくみ ・Oracleデータベースへの高速接続を提供する「OraOop」など ・RDBMSを完全に撤廃させることなく、RDBMSと Hadoopでデータを共有、使い分けを可能にする ・複数のRDBMSによる分析基盤作りにも有効 本番DB Hadoop 検証環境 ログ 本番データから 外部 Hadoopデータに連 データ 携する
46.
②Hive の活用
・MapReduceが書けない。 ・移行工数を押さえたい! ・いわば Hadoop上で動作するRDB ・ SQLライクな「HiveQL」で操作、処理結果は自動的に MapReduceへ ・おもに既存機能のリプレイス系の案件で活躍する ・SQL → Hiveへ移行するだけで、低工数で簡単に 高速化が実現 見立てのために 更なる高速化のために 「とりあえずは 一部をMapReduceへ書き Hiveで実装」 換え
47.
③mahout の活用
・機械学習のロジックを使いたい。 が、難しくて実装できない。 ・データマイニング系ロジックのJavaライブラリ ・「アソシエーション分析」などのアルゴリズムが用意されている ・協調フィルタリングや、アソシエーションルール に基づくレコメンドなど ・複数の中から最適な条件を選定することが可能 まずは、実際のデータで動かし、試す。これが大事。 行動履歴 データ レコメンド物件の 表示など
48.
リクルート的ビッグデータ解析フロー。 リクルートにおけるビッグデータ解析はTryandError方式。 素早く環境を構築し、データを移行。実際のデータを用いて初回OUTPUTを 行い、結果を見ながら要件を詰めて施策へ結び付けていく。
ある程度事業担 本番DB 当のやりたいこ Hadoop とを汲み取り、 検証環境 ログ 迅速に初回 Hadoopエンジニア主 OUTPUTを作成 外部 導で素早く データ データを蓄積 効果を測定し、 エンハンスや次期 Output 新施策を検討する。 実際のデータを 事業知見 技術 見ながら、次の 効果測定 要件を検討 分析
49.
事業担当が自ら分析できる環境を提供 WEBGUIからHiveQLを実行できるwebhiveを公開。 これにより、事業担当者も直接かつ簡単に ビッグデータを扱える環境が整った。 ダブルクリックで登 録済HiveQLを選択
HiveQLの編集 とある事業では、 ここ4か月で58個のク githubからダウンロートできます! エリを事業担当者が https://github.com/recruitcojp/WebHive 登録。 クエリ実行 今期中に、テーブル定義DL機能も追加。 ビッグデータを操る 実際に現場で必要になった機能をどんどん追加予定。 ために自らHiveQLを HiveQL処理結果を 学ぶ姿勢も リンク先URLよりダウン ロード可能 浸透してきている。
50.
まとめ ~今後もHadoopを使い倒す~
51.
リクルート的ビッグデータ解析の価値とは。
技術力 事業知見 ・新しい技術の導入がし ・こんなこともできるの やすく。 ではないか。 ・分析の知見も吸収。 という発想の壁の崩壊。 分析力 ・新しい分析手法 (必殺技)を試しやすく! ・システム知見吸収
52.
今後の展望 with 自然言語処理
DWH :Hadoop+Mahout(マイニング)+Lucene(形態素分解)ほか 活用 ➤ クチコミ分析、レコメンドメールなどへ応用展開 or RDB with リアルタイム分析 :Hbase、S4・STORM(リアルタイム分散処理プラットフォーム) ほか 活用 ➤ リアルタイムレコメンド、フラッシュマーケティングなど with スマートデバイス :音声解析(Siri)・位置情報の取り込み、画像データの取り込み ほか ➤ ユーザ属性×GPS(行動履歴)分析による店舗情報プッシュなど
Download now