Submit Search
Upload
マイニング探検会#10
•
0 likes
•
795 views
Yoji Kiyota
Follow
マイニング探検会 10回目は Hadoop をはじめとする大規模データ分散処理についての概略を紹介します。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 19
Download now
Download to read offline
Recommended
Hadoopことはじめ
Hadoopことはじめ
均 津田
大規模分散システムの現在 -- GFS, MapReduce, BigTableはどう変化したか?
大規模分散システムの現在 -- GFS, MapReduce, BigTableはどう変化したか?
maruyama097
Hadoop入門
Hadoop入門
Preferred Networks
ただいまHadoop勉強中
ただいまHadoop勉強中
Satoshi Noto
Hadoop loves H2
Hadoop loves H2
Tadashi Satoh
Hadoopを用いた大規模ログ解析
Hadoopを用いた大規模ログ解析
shuichi iida
Hadoop 基礎
Hadoop 基礎
hideaki honda
Hadoopのシステム設計・運用のポイント
Hadoopのシステム設計・運用のポイント
Cloudera Japan
Recommended
Hadoopことはじめ
Hadoopことはじめ
均 津田
大規模分散システムの現在 -- GFS, MapReduce, BigTableはどう変化したか?
大規模分散システムの現在 -- GFS, MapReduce, BigTableはどう変化したか?
maruyama097
Hadoop入門
Hadoop入門
Preferred Networks
ただいまHadoop勉強中
ただいまHadoop勉強中
Satoshi Noto
Hadoop loves H2
Hadoop loves H2
Tadashi Satoh
Hadoopを用いた大規模ログ解析
Hadoopを用いた大規模ログ解析
shuichi iida
Hadoop 基礎
Hadoop 基礎
hideaki honda
Hadoopのシステム設計・運用のポイント
Hadoopのシステム設計・運用のポイント
Cloudera Japan
Hadoopによる大規模分散データ処理
Hadoopによる大規模分散データ処理
Yoji Kiyota
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
Takashi Aoe
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
FlyData Inc.
Hadoop / MapReduce とは
Hadoop / MapReduce とは
Takeshi Matsuoka
SASとHadoopとの連携
SASとHadoopとの連携
SAS Institute Japan
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
hamaken
Hadoopの紹介
Hadoopの紹介
bigt23
Hadoopソースコードリーディング8/MapRを使ってみた
Hadoopソースコードリーディング8/MapRを使ってみた
Recruit Technologies
Hadoopデータプラットフォーム #cwt2013
Hadoopデータプラットフォーム #cwt2013
Cloudera Japan
世界一簡単なHadoopの話
世界一簡単なHadoopの話
Koichi Shimazaki
Map server入門 - FOSS4G 2012 Hokkaido
Map server入門 - FOSS4G 2012 Hokkaido
Hideo Harada
今さら聞けないHadoop セントラルソフト株式会社(20120119)
今さら聞けないHadoop セントラルソフト株式会社(20120119)
Toru Takizawa
Bigdata 2012 06-03
Bigdata 2012 06-03
Daisuke Ito
Hadoop for programmer
Hadoop for programmer
Sho Shimauchi
Hadoop事始め
Hadoop事始め
You&I
Drill超簡単チューニング
Drill超簡単チューニング
MapR Technologies Japan
MapR M7 技術概要
MapR M7 技術概要
MapR Technologies Japan
Hadoopとその周辺の紹介
Hadoopとその周辺の紹介
Shinya Okano
並列データベースシステムの概念と原理
並列データベースシステムの概念と原理
Makoto Yui
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
MapR Technologies Japan
Taller de números naturales i periodo
Taller de números naturales i periodo
belrosy
リッテルナビゲーター 東海大学様講習資料 20141202
リッテルナビゲーター 東海大学様講習資料 20141202
Yoji Kiyota
More Related Content
What's hot
Hadoopによる大規模分散データ処理
Hadoopによる大規模分散データ処理
Yoji Kiyota
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
Takashi Aoe
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
FlyData Inc.
Hadoop / MapReduce とは
Hadoop / MapReduce とは
Takeshi Matsuoka
SASとHadoopとの連携
SASとHadoopとの連携
SAS Institute Japan
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
hamaken
Hadoopの紹介
Hadoopの紹介
bigt23
Hadoopソースコードリーディング8/MapRを使ってみた
Hadoopソースコードリーディング8/MapRを使ってみた
Recruit Technologies
Hadoopデータプラットフォーム #cwt2013
Hadoopデータプラットフォーム #cwt2013
Cloudera Japan
世界一簡単なHadoopの話
世界一簡単なHadoopの話
Koichi Shimazaki
Map server入門 - FOSS4G 2012 Hokkaido
Map server入門 - FOSS4G 2012 Hokkaido
Hideo Harada
今さら聞けないHadoop セントラルソフト株式会社(20120119)
今さら聞けないHadoop セントラルソフト株式会社(20120119)
Toru Takizawa
Bigdata 2012 06-03
Bigdata 2012 06-03
Daisuke Ito
Hadoop for programmer
Hadoop for programmer
Sho Shimauchi
Hadoop事始め
Hadoop事始め
You&I
Drill超簡単チューニング
Drill超簡単チューニング
MapR Technologies Japan
MapR M7 技術概要
MapR M7 技術概要
MapR Technologies Japan
Hadoopとその周辺の紹介
Hadoopとその周辺の紹介
Shinya Okano
並列データベースシステムの概念と原理
並列データベースシステムの概念と原理
Makoto Yui
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
MapR Technologies Japan
What's hot
(20)
Hadoopによる大規模分散データ処理
Hadoopによる大規模分散データ処理
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
JavaOne2013報告会 LT資料 Hadoopの話を聞いてきた
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
Hadoop / MapReduce とは
Hadoop / MapReduce とは
SASとHadoopとの連携
SASとHadoopとの連携
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
Hadoopの紹介
Hadoopの紹介
Hadoopソースコードリーディング8/MapRを使ってみた
Hadoopソースコードリーディング8/MapRを使ってみた
Hadoopデータプラットフォーム #cwt2013
Hadoopデータプラットフォーム #cwt2013
世界一簡単なHadoopの話
世界一簡単なHadoopの話
Map server入門 - FOSS4G 2012 Hokkaido
Map server入門 - FOSS4G 2012 Hokkaido
今さら聞けないHadoop セントラルソフト株式会社(20120119)
今さら聞けないHadoop セントラルソフト株式会社(20120119)
Bigdata 2012 06-03
Bigdata 2012 06-03
Hadoop for programmer
Hadoop for programmer
Hadoop事始め
Hadoop事始め
Drill超簡単チューニング
Drill超簡単チューニング
MapR M7 技術概要
MapR M7 技術概要
Hadoopとその周辺の紹介
Hadoopとその周辺の紹介
並列データベースシステムの概念と原理
並列データベースシステムの概念と原理
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
Viewers also liked
Taller de números naturales i periodo
Taller de números naturales i periodo
belrosy
リッテルナビゲーター 東海大学様講習資料 20141202
リッテルナビゲーター 東海大学様講習資料 20141202
Yoji Kiyota
Science Students, Ladha, April 13
Science Students, Ladha, April 13
iStudent Career Coaching
ПГ "Васил Берон", гр. В. Търново - работа по конкурса по "Бизнес етика"
ПГ "Васил Берон", гр. В. Търново - работа по конкурса по "Бизнес етика"
Junior Achievement Bulgaria
図書館総合展ネクスト主催フォーラム「アカデミックとリアルの谷を埋める道」基調講演 2011年11月11日
図書館総合展ネクスト主催フォーラム「アカデミックとリアルの谷を埋める道」基調講演 2011年11月11日
Yoji Kiyota
Puertos y ranuras graficos
Puertos y ranuras graficos
informaticaprofesora
НФСГ София - резюме
НФСГ София - резюме
Junior Achievement Bulgaria
図書館総合展ネットアドバンス主催フォーラム 清田talk
図書館総合展ネットアドバンス主催フォーラム 清田talk
Yoji Kiyota
マイニング探検会#13
マイニング探検会#13
Yoji Kiyota
Pgm yakoruda 1 miasto
Pgm yakoruda 1 miasto
Junior Achievement Bulgaria
Lubomir Popiordanov - Ethical and Responsible Business, Entrepreneurship with...
Lubomir Popiordanov - Ethical and Responsible Business, Entrepreneurship with...
Junior Achievement Bulgaria
クラウドソーシングによる文献情報メタデータ整備の可能性 / Discussions on metadata refinement by crowd sou...
クラウドソーシングによる文献情報メタデータ整備の可能性 / Discussions on metadata refinement by crowd sou...
Yoji Kiyota
Souiche blagoevgrad putiat na uspeshnia biznes
Souiche blagoevgrad putiat na uspeshnia biznes
Junior Achievement Bulgaria
JA Bulgaria Annual Report 2013-2014
JA Bulgaria Annual Report 2013-2014
Junior Achievement Bulgaria
リサーチ・ナビ検索システムの技術
リサーチ・ナビ検索システムの技術
Yoji Kiyota
京都大学「情報と職業」 20110415講義資料
京都大学「情報と職業」 20110415講義資料
Yoji Kiyota
マイニング探検会 #01
マイニング探検会 #01
Yoji Kiyota
Viewers also liked
(17)
Taller de números naturales i periodo
Taller de números naturales i periodo
リッテルナビゲーター 東海大学様講習資料 20141202
リッテルナビゲーター 東海大学様講習資料 20141202
Science Students, Ladha, April 13
Science Students, Ladha, April 13
ПГ "Васил Берон", гр. В. Търново - работа по конкурса по "Бизнес етика"
ПГ "Васил Берон", гр. В. Търново - работа по конкурса по "Бизнес етика"
図書館総合展ネクスト主催フォーラム「アカデミックとリアルの谷を埋める道」基調講演 2011年11月11日
図書館総合展ネクスト主催フォーラム「アカデミックとリアルの谷を埋める道」基調講演 2011年11月11日
Puertos y ranuras graficos
Puertos y ranuras graficos
НФСГ София - резюме
НФСГ София - резюме
図書館総合展ネットアドバンス主催フォーラム 清田talk
図書館総合展ネットアドバンス主催フォーラム 清田talk
マイニング探検会#13
マイニング探検会#13
Pgm yakoruda 1 miasto
Pgm yakoruda 1 miasto
Lubomir Popiordanov - Ethical and Responsible Business, Entrepreneurship with...
Lubomir Popiordanov - Ethical and Responsible Business, Entrepreneurship with...
クラウドソーシングによる文献情報メタデータ整備の可能性 / Discussions on metadata refinement by crowd sou...
クラウドソーシングによる文献情報メタデータ整備の可能性 / Discussions on metadata refinement by crowd sou...
Souiche blagoevgrad putiat na uspeshnia biznes
Souiche blagoevgrad putiat na uspeshnia biznes
JA Bulgaria Annual Report 2013-2014
JA Bulgaria Annual Report 2013-2014
リサーチ・ナビ検索システムの技術
リサーチ・ナビ検索システムの技術
京都大学「情報と職業」 20110415講義資料
京都大学「情報と職業」 20110415講義資料
マイニング探検会 #01
マイニング探検会 #01
Similar to マイニング探検会#10
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
Developers Summit
遊休リソースを用いた相同性検索処理の並列化とその評価
遊休リソースを用いた相同性検索処理の並列化とその評価
Satoshi Nagayasu
Cloudera大阪セミナー 20130219
Cloudera大阪セミナー 20130219
Cloudera Japan
[db tech showcase Tokyo 2017] A15: レプリケーションを使用したデータ分析基盤構築のキモ(事例)by 株式会社インサイトテ...
[db tech showcase Tokyo 2017] A15: レプリケーションを使用したデータ分析基盤構築のキモ(事例)by 株式会社インサイトテ...
Insight Technology, Inc.
MapReduce解説
MapReduce解説
Shunsuke Aihara
StreamGraph
StreamGraph
Altech Takeno
AI・HPC・ビッグデータで利用される分散ファイルシステムを知る
AI・HPC・ビッグデータで利用される分散ファイルシステムを知る
日本ヒューレット・パッカード株式会社
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
20160220 MSのビッグデータ分析基盤 - データマイニング+WEB@東京
20160220 MSのビッグデータ分析基盤 - データマイニング+WEB@東京
Koichiro Sasaki
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
Daiyu Hatakeyama
初心者向け負荷軽減のはなし
初心者向け負荷軽減のはなし
Oonishi Takaaki
Data Center As A Computer 2章前半
Data Center As A Computer 2章前半
Akinori YOSHIDA
第2章アーキテクチャ
第2章アーキテクチャ
Kenta Hattori
経済学のための実践的データ分析 4.SQL ことはじめ
経済学のための実践的データ分析 4.SQL ことはじめ
Yasushi Hara
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
Amazon Web Services Japan
MySQLの運用でありがちなこと
MySQLの運用でありがちなこと
Hiroaki Sano
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
Dell TechCenter Japan
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
Recruit Technologies
Fluentd casual
Fluentd casual
oranie Narut
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
griddb
Similar to マイニング探検会#10
(20)
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
遊休リソースを用いた相同性検索処理の並列化とその評価
遊休リソースを用いた相同性検索処理の並列化とその評価
Cloudera大阪セミナー 20130219
Cloudera大阪セミナー 20130219
[db tech showcase Tokyo 2017] A15: レプリケーションを使用したデータ分析基盤構築のキモ(事例)by 株式会社インサイトテ...
[db tech showcase Tokyo 2017] A15: レプリケーションを使用したデータ分析基盤構築のキモ(事例)by 株式会社インサイトテ...
MapReduce解説
MapReduce解説
StreamGraph
StreamGraph
AI・HPC・ビッグデータで利用される分散ファイルシステムを知る
AI・HPC・ビッグデータで利用される分散ファイルシステムを知る
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
20160220 MSのビッグデータ分析基盤 - データマイニング+WEB@東京
20160220 MSのビッグデータ分析基盤 - データマイニング+WEB@東京
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
初心者向け負荷軽減のはなし
初心者向け負荷軽減のはなし
Data Center As A Computer 2章前半
Data Center As A Computer 2章前半
第2章アーキテクチャ
第2章アーキテクチャ
経済学のための実践的データ分析 4.SQL ことはじめ
経済学のための実践的データ分析 4.SQL ことはじめ
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
MySQLの運用でありがちなこと
MySQLの運用でありがちなこと
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
Fluentd casual
Fluentd casual
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
More from Yoji Kiyota
テキストアナリティクスの知見を社会に活かすには? -シーズ指向の視点とニーズ指向の視点-
テキストアナリティクスの知見を社会に活かすには? -シーズ指向の視点とニーズ指向の視点-
Yoji Kiyota
「LIFULL HOME'Sデータセット」提供を通じた不動産テック分野のオープンイノベーション
「LIFULL HOME'Sデータセット」提供を通じた不動産テック分野のオープンイノベーション
Yoji Kiyota
論文執筆の環境をめぐる最新の状況と、学会の査読・編集システムを持続可能とするための方策の検討
論文執筆の環境をめぐる最新の状況と、学会の査読・編集システムを持続可能とするための方策の検討
Yoji Kiyota
LIFULL HOME'Sにおける不動産物件画像解析
LIFULL HOME'Sにおける不動産物件画像解析
Yoji Kiyota
第10回ARG WI2研究会 株式会社LIFULL 技術報告
第10回ARG WI2研究会 株式会社LIFULL 技術報告
Yoji Kiyota
SoC2017 不動産テックの研究課題
SoC2017 不動産テックの研究課題
Yoji Kiyota
超高齢社会における地域課題の複雑さと「ネットワークが創発する知能」研究への期待 ―不動産・介護・医療分野を例として―
超高齢社会における地域課題の複雑さと「ネットワークが創発する知能」研究への期待 ―不動産・介護・医療分野を例として―
Yoji Kiyota
IEEE DSAA 2017投稿呼びかけ
IEEE DSAA 2017投稿呼びかけ
Yoji Kiyota
住居選択支援を目的としたAI技術適用の試み -ソーシャルメディアへのクラウドソーシング適用および物件画像への深層学習適用-
住居選択支援を目的としたAI技術適用の試み -ソーシャルメディアへのクラウドソーシング適用および物件画像への深層学習適用-
Yoji Kiyota
ライフイベントの決断を支えるオープンイノベーションの取り組み
ライフイベントの決断を支えるオープンイノベーションの取り組み
Yoji Kiyota
学際領域としての不動産の研究を活性化させるために
学際領域としての不動産の研究を活性化させるために
Yoji Kiyota
「HOME'Sデータセット」を通じた不動産分野の研究活性化
「HOME'Sデータセット」を通じた不動産分野の研究活性化
Yoji Kiyota
「HOME'Sデータセット」を活用した不動産物件画像への深層学習の適用の取り組み
「HOME'Sデータセット」を活用した不動産物件画像への深層学習の適用の取り組み
Yoji Kiyota
Code4Lib JAPANカンファレンス2016 in 大阪
Code4Lib JAPANカンファレンス2016 in 大阪
Yoji Kiyota
人生の意思決定を支える社会インフラとしての図書館
人生の意思決定を支える社会インフラとしての図書館
Yoji Kiyota
「HOME'Sデータセット」提供を通じた不動産領域におけるオープンイノベーション促進の取り組み
「HOME'Sデータセット」提供を通じた不動産領域におけるオープンイノベーション促進の取り組み
Yoji Kiyota
Mining User Experience through Crowdsourcing: A Property Search Behavior Corp...
Mining User Experience through Crowdsourcing: A Property Search Behavior Corp...
Yoji Kiyota
不動産物件データセットを用いた研究開発事例と、大学との共同研究の取り組みの紹介
不動産物件データセットを用いた研究開発事例と、大学との共同研究の取り組みの紹介
Yoji Kiyota
「HOME'Sデータセット」提供開始の背景 〜産学間データ共有の課題〜
「HOME'Sデータセット」提供開始の背景 〜産学間データ共有の課題〜
Yoji Kiyota
JSAI2015 ツイートタイムラインへの階層的クラウドソーシングの適用による住まい探しユーザの背景ニーズ理解
JSAI2015 ツイートタイムラインへの階層的クラウドソーシングの適用による住まい探しユーザの背景ニーズ理解
Yoji Kiyota
More from Yoji Kiyota
(20)
テキストアナリティクスの知見を社会に活かすには? -シーズ指向の視点とニーズ指向の視点-
テキストアナリティクスの知見を社会に活かすには? -シーズ指向の視点とニーズ指向の視点-
「LIFULL HOME'Sデータセット」提供を通じた不動産テック分野のオープンイノベーション
「LIFULL HOME'Sデータセット」提供を通じた不動産テック分野のオープンイノベーション
論文執筆の環境をめぐる最新の状況と、学会の査読・編集システムを持続可能とするための方策の検討
論文執筆の環境をめぐる最新の状況と、学会の査読・編集システムを持続可能とするための方策の検討
LIFULL HOME'Sにおける不動産物件画像解析
LIFULL HOME'Sにおける不動産物件画像解析
第10回ARG WI2研究会 株式会社LIFULL 技術報告
第10回ARG WI2研究会 株式会社LIFULL 技術報告
SoC2017 不動産テックの研究課題
SoC2017 不動産テックの研究課題
超高齢社会における地域課題の複雑さと「ネットワークが創発する知能」研究への期待 ―不動産・介護・医療分野を例として―
超高齢社会における地域課題の複雑さと「ネットワークが創発する知能」研究への期待 ―不動産・介護・医療分野を例として―
IEEE DSAA 2017投稿呼びかけ
IEEE DSAA 2017投稿呼びかけ
住居選択支援を目的としたAI技術適用の試み -ソーシャルメディアへのクラウドソーシング適用および物件画像への深層学習適用-
住居選択支援を目的としたAI技術適用の試み -ソーシャルメディアへのクラウドソーシング適用および物件画像への深層学習適用-
ライフイベントの決断を支えるオープンイノベーションの取り組み
ライフイベントの決断を支えるオープンイノベーションの取り組み
学際領域としての不動産の研究を活性化させるために
学際領域としての不動産の研究を活性化させるために
「HOME'Sデータセット」を通じた不動産分野の研究活性化
「HOME'Sデータセット」を通じた不動産分野の研究活性化
「HOME'Sデータセット」を活用した不動産物件画像への深層学習の適用の取り組み
「HOME'Sデータセット」を活用した不動産物件画像への深層学習の適用の取り組み
Code4Lib JAPANカンファレンス2016 in 大阪
Code4Lib JAPANカンファレンス2016 in 大阪
人生の意思決定を支える社会インフラとしての図書館
人生の意思決定を支える社会インフラとしての図書館
「HOME'Sデータセット」提供を通じた不動産領域におけるオープンイノベーション促進の取り組み
「HOME'Sデータセット」提供を通じた不動産領域におけるオープンイノベーション促進の取り組み
Mining User Experience through Crowdsourcing: A Property Search Behavior Corp...
Mining User Experience through Crowdsourcing: A Property Search Behavior Corp...
不動産物件データセットを用いた研究開発事例と、大学との共同研究の取り組みの紹介
不動産物件データセットを用いた研究開発事例と、大学との共同研究の取り組みの紹介
「HOME'Sデータセット」提供開始の背景 〜産学間データ共有の課題〜
「HOME'Sデータセット」提供開始の背景 〜産学間データ共有の課題〜
JSAI2015 ツイートタイムラインへの階層的クラウドソーシングの適用による住まい探しユーザの背景ニーズ理解
JSAI2015 ツイートタイムラインへの階層的クラウドソーシングの適用による住まい探しユーザの背景ニーズ理解
Recently uploaded
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Recently uploaded
(12)
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
マイニング探検会#10
1.
2010年1月28日 マイニング探検会#10 @東京大学アントレプレナープラザ会議室 データ処理のパラダイムシフト
東京大学情報基盤センター 学術情報研究部門 特任講師/ 株式会社リッテル 最高技術責任者 清田 陽司 1
2.
2000年代の大きな変化 • サーチエンジンの急速な普及 • データ処理手法の変化 •
… 背景: 扱うデータサイズが飛躍的に増大 =「情報爆発」 2
3.
なぜ「情報爆発」? •
データ発生源の増大 • ストレージ量の増大 • コンピュータへのニーズの変化 • 大規模データが処理できるインフラの普及 3
4.
データ発生源の増大 •
PCのブラウザ • 携帯電話/スマートフォン • 電子マネー/IC乗車券 • GPS • センサーネットワーク 4
5.
ストレージ量の増大 • ハードディスク媒体の急速な進歩
– 記録密度は年率40%で向上中 • 容量あたりのコストの急激な低下 5
6.
コンピュータへのニーズの変化 定型処理から非定型処理へ • 定型処理 –
決まったルールにしたがって完全自動処理 – 厳密な計算が要求される – 具体例: 給与計算、売り上げ集計、貸出管理 • 非定型処理 – 処理された結果の最終的な解釈を人間に委ねる – 厳密さよりデータのカバレッジが重視される – 具体例: サーチエンジン、データマイニング 6
7.
大規模データ処理のインフラ普及 • Googleの社内システムとして開発 –
Google File System (2003): http://labs.google.com/papers/gfs.html – MapReduce (2004): http://labs.google.com/papers/mapreduce.html • Hadoop: Googleのアイディアのオープンソー ス実装 7
8.
Hadoopとは何か? A large-scale distributed
batch processing infrastracture • Large-scale = Web規模のデータを扱える • 1TBytes(1兆バイト)~1PBytes(1000兆バイト) • Distributed = 分散型システム • Batch = バッチ処理専用 (高速な処理) • Infrastructure = インフラとしてのシステム • つまり意識せずに使える
9.
スケール・アップとスケール・アウト
価格 性能を上げようとすると スケール・アップ 価格が飛躍的に 上昇してしまう スケール・アウト 1台のコンピュータ この領域をうまく の性能 使いたい
10.
スケールアウトの課題 データをたくさんの台数のコンピュータで並列に 処理するのは難しい •
故障の確率が上がる – 1台の故障率 1%/1年 => 1000台の故障率は?! → 壊れても自動復元できる仕組みが必要 • 有限のリソースを効率的に配分しなければな らない – プロセッサ時間、メモリ、ハードディスク空き容量、 ネットワーク帯域
11.
スケールアウトの課題(cont.) • マシン間の同期をとらなければならない • どこかが故障したときにも計算を続けなけれ
ばならない
12.
スケール・アウトのボトルネック
分割されたデータを 台数を増やすほど処理 それぞれのサーバー は速くなるはずだが… で処理する 処理結果データをそ 集められた処理結 れぞれのサーバー 果の集計処理を行 から集める い、集計結果を出力 巨大な入力データを 分割し、それぞれサー する バーに配布する 入力 出力 ・・ ・ スケール・アウトの 必要に応じて繰り返す ボトルネック
13.
スケール・アウトのボトルネックを解消
するには? 3種類の処理を分散できるしくみが必要 1. 処理すべきデータの固まりを分担して扱うし くみ 2. ばらばらの処理結果を集めて仕分けるしくみ 3. 仕分けられた結果を集計して出力するしくみ
14.
担当
ボトルネックの解消 入力 出力 ファイル ファイル 担当 担当 最初からデータを 仕分け先をマークごとに決めて まとめた結果データ 仕分け用の それぞれのサーバに 振り分ける もそれぞれのサーバ マーキング ばらまいておく 仕分け先はできるだけ均等に が保持
15.
Hadoopのボトルネック解消のしくみ • 2つのシステムのコラボレーション • 分散ファイルシステム
– HDFS (Hadoop Distributed File System) – それぞれのサーバのハードディスクを束ねて、ひとつ の巨大な仮想ディスクとして扱う – 多重書き込み (cf. RAID0) → 耐障害性 • MapReduce – map (分担する) → shuffle (仕分ける) → reduce (集計す る) – 分散バッチ処理をフレームワーク化 • プログラミングが必要なのは map と reduceのみ – 仕分けのしくみはHadoopで用意されている
16.
Hadoopがスケール・アウトする仕組み データ本体を扱わないため、
マスタ-・サーバーはシステム ボトルネックになりにくい 全体のデータの流れをコント マスター・サーバー ロールする役割を果たす (親分) shuffle 仕分け作業のために、ス map, shuffle, reduceは レーブ・サーバー同士が 必要に応じて繰り返す データをやりとりする スレーブ・サーバー reduce map (子分) 仕分けられたデータを それぞれのスレーブ・ 分散ファイル・システムか サーバーが分担して らそれぞれのスレーブ・ 集計し、処理結果を分 サーバーが入力データを 散ファイル・システム 読み込み、分担して処理 に書き出す 分散ファイル・システム(HDFS) スレーブ・サーバーのハードディスクを束ねて構成 巨大な入力データを分 出力データを分散ファイ 散ファイル・システムに ル・システムから読み出 書き込む す 分散ファイル・システムへの読み書き性能、 計算処理性能ともに台数にほぼ比例する
17.
スレーブ・サーバー数と処理能力の関係 350GBytesのテキストデータのMapReduce処理
「Bitqull: Data harvesting with MapReduce」 http://www.bitquill.net/blog/?p=17 より引用
18.
理解のポイント • データマイニングの世界の鉄則 「量が質に転化する」 •
システム構築の固定観念が崩れつつある – いつまでもベンダー任せでやっていけるのか? • 数十年のスパンでの変化を理解しておく 18
19.
TP&Dフォーラム2011 • 整理技術、情報管理に問題意識を持つ研究
者・実務者の集い – http://tpd.eplang.jp/ • 1991年より毎年開催、今年で21回目 – 委員長は伊藤祥さん@JST • 清田も今回発表予定です • 日時 – 2011年8月19日(金) 昼~20日(土) 昼 – 熱海・金城館 19
Download now