Submit Search
Upload
ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
•
Download as PPTX, PDF
•
11 likes
•
4,416 views
Junichi Noda
Follow
第八回ニコニコ学会βデータ研究会 ~人工知能と根性で挑むコンテンツの世界~ http://niconicodatasig8.peatix.com/?lang=ja の発表資料です。
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 48
Download now
Recommended
社内のマニュアルをSphinxで作ってみた
社内のマニュアルをSphinxで作ってみた
Iosif Takakura
Looking glass + videoplayer
Looking glass + videoplayer
優介 黒河
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
Preferred Networks
グラフデータベース:Neo4j、そしてRDBからの移行手順の紹介
グラフデータベース:Neo4j、そしてRDBからの移行手順の紹介
ippei_suzuki
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
2015-10-31 クラウドネイティヴ時代の運用を考える 〜 ドキュメント駆動運用へ
2015-10-31 クラウドネイティヴ時代の運用を考える 〜 ドキュメント駆動運用へ
Operation Lab, LLC.
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
Tableau Server Client(Python)でできる3000人規模のサーバーレス運用管理
Tableau Server Client(Python)でできる3000人規模のサーバーレス運用管理
Ken Takao
Recommended
社内のマニュアルをSphinxで作ってみた
社内のマニュアルをSphinxで作ってみた
Iosif Takakura
Looking glass + videoplayer
Looking glass + videoplayer
優介 黒河
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
Preferred Networks
グラフデータベース:Neo4j、そしてRDBからの移行手順の紹介
グラフデータベース:Neo4j、そしてRDBからの移行手順の紹介
ippei_suzuki
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
2015-10-31 クラウドネイティヴ時代の運用を考える 〜 ドキュメント駆動運用へ
2015-10-31 クラウドネイティヴ時代の運用を考える 〜 ドキュメント駆動運用へ
Operation Lab, LLC.
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
Tableau Server Client(Python)でできる3000人規模のサーバーレス運用管理
Tableau Server Client(Python)でできる3000人規模のサーバーレス運用管理
Ken Takao
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
Shota Shinogi
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
Tokoroten Nakayama
AlmaLinux と Rocky Linux の誕生経緯&比較
AlmaLinux と Rocky Linux の誕生経緯&比較
beyond Co., Ltd.
Pythonによる黒魔術入門
Pythonによる黒魔術入門
大樹 小倉
ファイルシステム比較
ファイルシステム比較
NaoyaFukuda
DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】
DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】
DeNA
DockerとPodmanの比較
DockerとPodmanの比較
Akihiro Suda
フロー効率性とリソース効率性について #xpjug
フロー効率性とリソース効率性について #xpjug
Itsuki Kuroda
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
Tokoroten Nakayama
SAT/SMTソルバの仕組み
SAT/SMTソルバの仕組み
Masahiro Sakai
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
Machine learning CI/CD with OSS
Machine learning CI/CD with OSS
yusuke shibui
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Web Services Japan
インフラCICDの勘所
インフラCICDの勘所
Toru Makabe
OpenTelemetryでWebシステムの処理を追跡しよう - DjangoCongress JP 2022
OpenTelemetryでWebシステムの処理を追跡しよう - DjangoCongress JP 2022
Takayuki Shimizukawa
Kubernetesによる機械学習基盤への挑戦
Kubernetesによる機械学習基盤への挑戦
Preferred Networks
開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)
mosa siru
Dockerfile を書くためのベストプラクティス解説編
Dockerfile を書くためのベストプラクティス解説編
Masahito Zembutsu
例外設計における大罪
例外設計における大罪
Takuto Wada
日本のアニメ産業を爆速させるアニメAPIの開発と活用事例 (ニコニコ超会議2016 大和証券ステージ)
日本のアニメ産業を爆速させるアニメAPIの開発と活用事例 (ニコニコ超会議2016 大和証券ステージ)
Junichi Noda
できる所からはじめる社会・経済影響のモニタリング
できる所からはじめる社会・経済影響のモニタリング
izunyan
More Related Content
What's hot
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
Shota Shinogi
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
Tokoroten Nakayama
AlmaLinux と Rocky Linux の誕生経緯&比較
AlmaLinux と Rocky Linux の誕生経緯&比較
beyond Co., Ltd.
Pythonによる黒魔術入門
Pythonによる黒魔術入門
大樹 小倉
ファイルシステム比較
ファイルシステム比較
NaoyaFukuda
DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】
DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】
DeNA
DockerとPodmanの比較
DockerとPodmanの比較
Akihiro Suda
フロー効率性とリソース効率性について #xpjug
フロー効率性とリソース効率性について #xpjug
Itsuki Kuroda
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
Tokoroten Nakayama
SAT/SMTソルバの仕組み
SAT/SMTソルバの仕組み
Masahiro Sakai
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
Machine learning CI/CD with OSS
Machine learning CI/CD with OSS
yusuke shibui
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Web Services Japan
インフラCICDの勘所
インフラCICDの勘所
Toru Makabe
OpenTelemetryでWebシステムの処理を追跡しよう - DjangoCongress JP 2022
OpenTelemetryでWebシステムの処理を追跡しよう - DjangoCongress JP 2022
Takayuki Shimizukawa
Kubernetesによる機械学習基盤への挑戦
Kubernetesによる機械学習基盤への挑戦
Preferred Networks
開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)
mosa siru
Dockerfile を書くためのベストプラクティス解説編
Dockerfile を書くためのベストプラクティス解説編
Masahito Zembutsu
例外設計における大罪
例外設計における大罪
Takuto Wada
What's hot
(20)
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
ネットストーカー御用達OSINTツールBlackBirdを触ってみた.pptx
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
AlmaLinux と Rocky Linux の誕生経緯&比較
AlmaLinux と Rocky Linux の誕生経緯&比較
Pythonによる黒魔術入門
Pythonによる黒魔術入門
ファイルシステム比較
ファイルシステム比較
DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】
DeClang 誕生!Clang ベースのハッキング対策コンパイラ【DeNA TechCon 2020 ライブ配信】
DockerとPodmanの比較
DockerとPodmanの比較
フロー効率性とリソース効率性について #xpjug
フロー効率性とリソース効率性について #xpjug
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
SAT/SMTソルバの仕組み
SAT/SMTソルバの仕組み
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
Machine learning CI/CD with OSS
Machine learning CI/CD with OSS
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Kinesis Familyを活用したストリームデータ処理
インフラCICDの勘所
インフラCICDの勘所
OpenTelemetryでWebシステムの処理を追跡しよう - DjangoCongress JP 2022
OpenTelemetryでWebシステムの処理を追跡しよう - DjangoCongress JP 2022
Kubernetesによる機械学習基盤への挑戦
Kubernetesによる機械学習基盤への挑戦
開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)
Dockerfile を書くためのベストプラクティス解説編
Dockerfile を書くためのベストプラクティス解説編
例外設計における大罪
例外設計における大罪
Viewers also liked
日本のアニメ産業を爆速させるアニメAPIの開発と活用事例 (ニコニコ超会議2016 大和証券ステージ)
日本のアニメ産業を爆速させるアニメAPIの開発と活用事例 (ニコニコ超会議2016 大和証券ステージ)
Junichi Noda
できる所からはじめる社会・経済影響のモニタリング
できる所からはじめる社会・経済影響のモニタリング
izunyan
アニメ聖地デザインパターン
アニメ聖地デザインパターン
Junichi Noda
ラブライブ!サンシャイン!!入門書 (A4 縦向き)
ラブライブ!サンシャイン!!入門書 (A4 縦向き)
Junichi Noda
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステムver 1.1
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステムver 1.1
Junichi Noda
できる所からはじめる社会・経済影響のモニタリング(2)
できる所からはじめる社会・経済影響のモニタリング(2)
izunyan
アニメ聖地巡礼についてのアイデアソンテンプレート
アニメ聖地巡礼についてのアイデアソンテンプレート
Junichi Noda
ラブライブ✕沼津 アニメタイアップについて
ラブライブ✕沼津 アニメタイアップについて
Junichi Noda
Word2Vec Neologdで作るアニメ人工知能
Word2Vec Neologdで作るアニメ人工知能
Junichi Noda
秋葉原IT戦略研究所のご紹介(2016/05/04)
秋葉原IT戦略研究所のご紹介(2016/05/04)
Junichi Noda
Itamae-Serverspec入門
Itamae-Serverspec入門
辰徳 斎藤
アイデアスケッチ テンプレート
アイデアスケッチ テンプレート
Junichi Noda
法規制後でも個人で楽しむドローン入門 2016・秋
法規制後でも個人で楽しむドローン入門 2016・秋
Junichi Noda
秋葉原IT戦略研究所のご紹介
秋葉原IT戦略研究所のご紹介
Junichi Noda
GEEK ACADEMY REAL Vol.2. 「最先端のデータ解析/Apache Sparkを利用したレコメンドエンジン開発」
GEEK ACADEMY REAL Vol.2. 「最先端のデータ解析/Apache Sparkを利用したレコメンドエンジン開発」
Junichi Noda
とらのあなエンジニア採用イベント 2017年2月9日
とらのあなエンジニア採用イベント 2017年2月9日
Junichi Noda
JS と Canvas で作るシューティングゲーム
JS と Canvas で作るシューティングゲーム
sairoutine
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Junichi Noda
Touhou Project on JavaScript
Touhou Project on JavaScript
sairoutine
Mithril - 軽量/高速なMVCフレームワーク
Mithril - 軽量/高速なMVCフレームワーク
sairoutine
Viewers also liked
(20)
日本のアニメ産業を爆速させるアニメAPIの開発と活用事例 (ニコニコ超会議2016 大和証券ステージ)
日本のアニメ産業を爆速させるアニメAPIの開発と活用事例 (ニコニコ超会議2016 大和証券ステージ)
できる所からはじめる社会・経済影響のモニタリング
できる所からはじめる社会・経済影響のモニタリング
アニメ聖地デザインパターン
アニメ聖地デザインパターン
ラブライブ!サンシャイン!!入門書 (A4 縦向き)
ラブライブ!サンシャイン!!入門書 (A4 縦向き)
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステムver 1.1
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステムver 1.1
できる所からはじめる社会・経済影響のモニタリング(2)
できる所からはじめる社会・経済影響のモニタリング(2)
アニメ聖地巡礼についてのアイデアソンテンプレート
アニメ聖地巡礼についてのアイデアソンテンプレート
ラブライブ✕沼津 アニメタイアップについて
ラブライブ✕沼津 アニメタイアップについて
Word2Vec Neologdで作るアニメ人工知能
Word2Vec Neologdで作るアニメ人工知能
秋葉原IT戦略研究所のご紹介(2016/05/04)
秋葉原IT戦略研究所のご紹介(2016/05/04)
Itamae-Serverspec入門
Itamae-Serverspec入門
アイデアスケッチ テンプレート
アイデアスケッチ テンプレート
法規制後でも個人で楽しむドローン入門 2016・秋
法規制後でも個人で楽しむドローン入門 2016・秋
秋葉原IT戦略研究所のご紹介
秋葉原IT戦略研究所のご紹介
GEEK ACADEMY REAL Vol.2. 「最先端のデータ解析/Apache Sparkを利用したレコメンドエンジン開発」
GEEK ACADEMY REAL Vol.2. 「最先端のデータ解析/Apache Sparkを利用したレコメンドエンジン開発」
とらのあなエンジニア採用イベント 2017年2月9日
とらのあなエンジニア採用イベント 2017年2月9日
JS と Canvas で作るシューティングゲーム
JS と Canvas で作るシューティングゲーム
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Touhou Project on JavaScript
Touhou Project on JavaScript
Mithril - 軽量/高速なMVCフレームワーク
Mithril - 軽量/高速なMVCフレームワーク
Similar to ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステム
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステム
Junichi Noda
kintone で AIによる画像解析の活用を試してみた
kintone で AIによる画像解析の活用を試してみた
Cybozucommunity
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
Preferred Networks
AIとロボットが変える人の未来
AIとロボットが変える人の未来
良治 富田
Innovation with IoT 2018: 世界のIoT動向とIoTのもたらす未来@MS
Innovation with IoT 2018: 世界のIoT動向とIoTのもたらす未来@MS
Atsuhito Kondo
[DynamoDB][AmazonES]メディア向けデータストアサービスをリリースして直面したツラミ ~X-Tech後日談~
[DynamoDB][AmazonES]メディア向けデータストアサービスをリリースして直面したツラミ ~X-Tech後日談~
Yasuhiro Murata
IoT勉強会in岡山#2 M5StickCで遊んでみた!
IoT勉強会in岡山#2 M5StickCで遊んでみた!
Shinya Suefusa
情報産業の最新動向2017
情報産業の最新動向2017
Takao Ikoma
誰もが AI を使う時代、作る時代
誰もが AI を使う時代、作る時代
Yoshitaka Seo
Tech on#06 SXSW2019に見るAIの未来 帆足啓一郎様@KDDI総合研究所
Tech on#06 SXSW2019に見るAIの未来 帆足啓一郎様@KDDI総合研究所
Techon Organization
Data Science Workshop 「クリエイティブAI」で新たな価値を創造する
Data Science Workshop 「クリエイティブAI」で新たな価値を創造する
Masaya Mori
[db analytics showcase Sapporo 2018] A11 増え続けるビッグデータをもっと手軽に、もっと速く ~究極の位置データ分析...
[db analytics showcase Sapporo 2018] A11 増え続けるビッグデータをもっと手軽に、もっと速く ~究極の位置データ分析...
Insight Technology, Inc.
Tokyo H2O.ai Meetup#2 by Iida
Tokyo H2O.ai Meetup#2 by Iida
Hidenori Fujioka
AIのリスクを一緒におさらいしましょう(推し技術:生成AI)Let's review the risks of AI together
AIのリスクを一緒におさらいしましょう(推し技術:生成AI)Let's review the risks of AI together
Chuki ちゅき
2019 kintone hack 予選
2019 kintone hack 予選
Yukihito Kataoka
Developers.IO 2019 | IoT はここまできた!「作らずに創る」IoT システムとその先の「デジタル化&データ活用」
Developers.IO 2019 | IoT はここまできた!「作らずに創る」IoT システムとその先の「デジタル化&データ活用」
SORACOM,INC
JPC2016: Keynote: Transforming the World Together~パートナー様と共に推進するデジタルトランスフォーメーション
JPC2016: Keynote: Transforming the World Together~パートナー様と共に推進するデジタルトランスフォーメーション
MPN Japan
デジタルゲームにおける人工知能のワークフローと導入フロー
デジタルゲームにおける人工知能のワークフローと導入フロー
Youichiro Miyake
実世界の人工知能@DeNA TechCon 2017
実世界の人工知能@DeNA TechCon 2017
Preferred Networks
S02 t3 python_study_web
S02 t3 python_study_web
Takeshi Akutsu
Similar to ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
(20)
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステム
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステム
kintone で AIによる画像解析の活用を試してみた
kintone で AIによる画像解析の活用を試してみた
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
AIとロボットが変える人の未来
AIとロボットが変える人の未来
Innovation with IoT 2018: 世界のIoT動向とIoTのもたらす未来@MS
Innovation with IoT 2018: 世界のIoT動向とIoTのもたらす未来@MS
[DynamoDB][AmazonES]メディア向けデータストアサービスをリリースして直面したツラミ ~X-Tech後日談~
[DynamoDB][AmazonES]メディア向けデータストアサービスをリリースして直面したツラミ ~X-Tech後日談~
IoT勉強会in岡山#2 M5StickCで遊んでみた!
IoT勉強会in岡山#2 M5StickCで遊んでみた!
情報産業の最新動向2017
情報産業の最新動向2017
誰もが AI を使う時代、作る時代
誰もが AI を使う時代、作る時代
Tech on#06 SXSW2019に見るAIの未来 帆足啓一郎様@KDDI総合研究所
Tech on#06 SXSW2019に見るAIの未来 帆足啓一郎様@KDDI総合研究所
Data Science Workshop 「クリエイティブAI」で新たな価値を創造する
Data Science Workshop 「クリエイティブAI」で新たな価値を創造する
[db analytics showcase Sapporo 2018] A11 増え続けるビッグデータをもっと手軽に、もっと速く ~究極の位置データ分析...
[db analytics showcase Sapporo 2018] A11 増え続けるビッグデータをもっと手軽に、もっと速く ~究極の位置データ分析...
Tokyo H2O.ai Meetup#2 by Iida
Tokyo H2O.ai Meetup#2 by Iida
AIのリスクを一緒におさらいしましょう(推し技術:生成AI)Let's review the risks of AI together
AIのリスクを一緒におさらいしましょう(推し技術:生成AI)Let's review the risks of AI together
2019 kintone hack 予選
2019 kintone hack 予選
Developers.IO 2019 | IoT はここまできた!「作らずに創る」IoT システムとその先の「デジタル化&データ活用」
Developers.IO 2019 | IoT はここまできた!「作らずに創る」IoT システムとその先の「デジタル化&データ活用」
JPC2016: Keynote: Transforming the World Together~パートナー様と共に推進するデジタルトランスフォーメーション
JPC2016: Keynote: Transforming the World Together~パートナー様と共に推進するデジタルトランスフォーメーション
デジタルゲームにおける人工知能のワークフローと導入フロー
デジタルゲームにおける人工知能のワークフローと導入フロー
実世界の人工知能@DeNA TechCon 2017
実世界の人工知能@DeNA TechCon 2017
S02 t3 python_study_web
S02 t3 python_study_web
More from Junichi Noda
[Anitech] ITでアニメを考える、「ShangriLa Meetup5」
[Anitech] ITでアニメを考える、「ShangriLa Meetup5」
Junichi Noda
ITを使った今時の聖地巡礼ユーザー分析 in 沼津
ITを使った今時の聖地巡礼ユーザー分析 in 沼津
Junichi Noda
せいまち〜聖地探訪に出会いを求めるのは間違っているだろうか〜
せいまち〜聖地探訪に出会いを求めるのは間違っているだろうか〜
Junichi Noda
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Junichi Noda
秋葉原IT戦略研究所のREAL~コミュニティ立ち上げから半年間の成果~
秋葉原IT戦略研究所のREAL~コミュニティ立ち上げから半年間の成果~
Junichi Noda
アカリクVol7 「アドテク」gmoアドパートナーズ株式会社
アカリクVol7 「アドテク」gmoアドパートナーズ株式会社
Junichi Noda
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Junichi Noda
2015 10 24_spark_osc15tk
2015 10 24_spark_osc15tk
Junichi Noda
最新!2015年 クラウドAI プラットフォーム比較 AzureML & AmazonML
最新!2015年 クラウドAI プラットフォーム比較 AzureML & AmazonML
Junichi Noda
Apache sparkでつぶやきビッグデータ クローンをつくってみた
Apache sparkでつぶやきビッグデータ クローンをつくってみた
Junichi Noda
Spark streamingを使用したtwitter解析によるレコメンドサービス例
Spark streamingを使用したtwitter解析によるレコメンドサービス例
Junichi Noda
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Junichi Noda
ConoHaオブジェクトストレージ 利用ケース
ConoHaオブジェクトストレージ 利用ケース
Junichi Noda
オープンソースカンファレンス2014 kansai@kyoto
オープンソースカンファレンス2014 kansai@kyoto
Junichi Noda
More from Junichi Noda
(14)
[Anitech] ITでアニメを考える、「ShangriLa Meetup5」
[Anitech] ITでアニメを考える、「ShangriLa Meetup5」
ITを使った今時の聖地巡礼ユーザー分析 in 沼津
ITを使った今時の聖地巡礼ユーザー分析 in 沼津
せいまち〜聖地探訪に出会いを求めるのは間違っているだろうか〜
せいまち〜聖地探訪に出会いを求めるのは間違っているだろうか〜
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
秋葉原IT戦略研究所のREAL~コミュニティ立ち上げから半年間の成果~
秋葉原IT戦略研究所のREAL~コミュニティ立ち上げから半年間の成果~
アカリクVol7 「アドテク」gmoアドパートナーズ株式会社
アカリクVol7 「アドテク」gmoアドパートナーズ株式会社
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
2015 10 24_spark_osc15tk
2015 10 24_spark_osc15tk
最新!2015年 クラウドAI プラットフォーム比較 AzureML & AmazonML
最新!2015年 クラウドAI プラットフォーム比較 AzureML & AmazonML
Apache sparkでつぶやきビッグデータ クローンをつくってみた
Apache sparkでつぶやきビッグデータ クローンをつくってみた
Spark streamingを使用したtwitter解析によるレコメンドサービス例
Spark streamingを使用したtwitter解析によるレコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
ConoHaオブジェクトストレージ 利用ケース
ConoHaオブジェクトストレージ 利用ケース
オープンソースカンファレンス2014 kansai@kyoto
オープンソースカンファレンス2014 kansai@kyoto
ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
1.
秋葉原IT戦略研究所 野田純一
2.
自己紹介 所属 GMOインターネット 業務分野 ビッグデータ、機械学習 アドテク
3.
秋葉原IT戦略研究所のご紹介 形態 アニメに関するデータ解析が主体の 同人サークル 兼 ITコミュニティ メンバー 現在11名 活動 オープンソースカンファレンス出展、コミケC89出展、デブサミ等のイベ ントで発表 合計7回
4.
2/18-19 目黒雅叙園 デブサミ2016
5.
デブサミ2016の出展も大盛況
6.
コミュニティコンセプト オタク業界のIT化促進 ビッグデータからアニメに関するトピックを解析する際に必要と なる今期アニメ作品のマスターが取得できるAPIの開発。今まで の手作業を自動化。 オタク産業のIT化は黒船企業に勝ちたい 「僕(日本人)が一番アニメをうまく扱えるんだ!!」 IT界のトレンド技術のアニメへの適用 ビッグデータ、機械学習、AIを使った解析
7.
Anime APIの必要性について Wikipediaやまとめサイトから今期のアニメのタイトル名 、タイトル略称、ハッシュタグなどを取得 今期の人気アニメを解析、統計、レポート出力 5時間
8.
Anime APIの必要性について Anime API
で今期のアニメのタイトル名、タイト ル略称、ハッシュタグなどを取得 今期の人気アニメを解析、統計、レポート出力 10秒
9.
ShangriLa Anime API curl
http://api.moemoe.tokyo/anime/v1/master/2016/2 | jq . 2016年2期(春期)の アニメの情報を取得
10.
ShangriLa Ruby Gem
Module 2016年2期(春期)の アニメタイトルと公式URLを表示 gem install shangrila
11.
12.
Anime Follower Ranking
13.
Anime Follower Ranking 2016年1期(冬期)のアニメで 「このすば」が一番人気が出たのが データから証明できる
14.
2016 春アニメ Ranking 単純なランキングでは 続編作品が強くなってしまう 続編 新作 新作
15.
新作のみで比較が可能 「Re:ゼロ」がこれからの3ヶ月で どこまで伸びるかに注目
16.
Pixiv Anime tag
Ranking
17.
2016/02/08 ~ 2016/03/25のタグ増加数 僕街▶
18.
人気作品に絞って再度比較
19.
Pixivの僕街イラコンの締切のためバーストしていた http://www.pixiv.net/info.php?id=3664
20.
僕街を除外すると「このすば」が一番人気 2016年1期(冬期)のアニメで 「このすば」が一番人気が出たのが データから証明できる
21.
22.
目的:これのアニメ版が作りたい
23.
作ったシステム http://tv-anime.biz/
24.
ご注文は何のアニメですか?
25.
今回のシステム「tippy」
26.
• HadoopのMapReduceとは別アプローチ(DAG)での並列分 散集計処理を行う • インメモリー処理 •
Hadoopエコシステムの一部として扱われるがHadoopと直 接的な関係はない • APIを利用できる言語はScala, Java, Python Sparkについて
27.
• 機械学習用のSparkライブラリ • 協調フィルタリングやAssociation
Ruleなどが簡単に使える ようになっている。 • Sparkクラスタを構築し実行することでビッグデータに対し て機械学習演算を処理できるようになる。 Spark MLlibについて
28.
•TwitterのStreamingAPIで今期アニメ作品43作品に 関するワードを拾ってくる。 •とりあえずCSVに記録 •1ヶ月半で4G、1500万レコード程度 status.getId() status.getUser().getScreenName() status.getText() status.getSource() status.getRetweetCount() status.getFavoriteCount() status.getCreatedAt() 記録した要素 Twitterからデータを収集
29.
UserName Tweet tanaka おそ松さん面白い mika
ガンダム面白い tanaka おそ松最高 daken ガンダム面白い mika ラブライブ見る UserID Product Rate 1 1 2 2 2 1 2 3 1 3 2 1 • 協調フィルタリングに読み込ませるため右表のフォーマットに BigQueryで加工する。(AmazonMLもAzureMLなどもこの形式) • SparkMLlibがUserIDがIntでないといけないという制限があるため TwitterIDは内部的にシーケンスな番号を付ける。 データの加工
30.
Spark MLlib code
31.
Spark MLlib code モデルを作成
32.
Spark MLlib code モデルを使って予測(predict)
33.
Sparkクラスタで実行 ./bin/spark-submit --master spark://managerhost:7077 --executor-memory
25G --conf spark.driver.memory=4G anime_collaborative_filtering_assembly-1.0.jar /var/data/anime.csv
34.
Spark WEB UI
35.
80万Twitterユーザー x 43
(2015年冬期アニメ作品数) 3440万レコードが推薦データとしてMySQLに格納 されている MLlibで処理した結果 UserID ProductID Rate 354796 242 1.8322849817902473 354796 243 -2.5666437672644378 354796 244 0.385125554296764 354796 245 0.9550722901486512
36.
実演
37.
実演 補足
38.
検証結果 • とらのあなは「うたわれるもの」を作っているアクアプラスと業務 提携しているので発言数が多くなっている。▶それなりの正しい推薦 であることが確認できた。
39.
40.
結論:今年は高橋李依がくる!
41.
声優のTwitterフォロワーランキング
42.
3月1日から3月26日までのフォロワー数の伸び TOP10 声優名 フォロワー増加数 南條愛乃
16021 三森すずこ 15715 井上麻里奈 12401 高橋李依 9625 新田 恵海 9066 内田彩 8665 飯田里穂 7914 Pile 7613 竹達 彩奈 7410 徳井青空 6996
43.
企業コラボやアニメ作品で「高橋李依」 を起用したい時のマーケ担当者の場合 「プリキュア+めぐみん+リゼロがあるから 高橋李依は当たる!」 ▶アニオタの妄言 「フォロワーのデータの伸びがこれだけあり他 の声優と比較しても桁違いだから当たる!」 ▶データでの説得力があるビジネスマン の発言
44.
まとめ 秋葉原IT戦略研究所はビッグデータからアニメに関するデータ を解析するのに便利なツール(API)を提供しています。 またAPIを使い以下のデータを蓄積解析しています。
45.
伝えたいこと アニメ関連のデータ解析が必要だったら ご連絡ください 土日プログラマー集団ですが、お手伝いできます データが必要なアニメ関連のイベント があれば誘ってください 用意できるデータであれば用意し発表します パトロン企業を募集しています 恒久的にAnimeAPIを提供するため
46.
4/9「IT x アニメ」で勉強会します http://akibalab.connpass.com/event/28293/
47.
IT系同人誌売ってます
48.
デモ+プロダクト リンク集 製品名 サブカテゴリ
URL Twitterフォロワーラ ンキング https://twitter.com/anime_follower/ つぶやきビッグデー タ 2015年秋期アニメ http://tv-anime.xyz/ 2016年冬期アニメ http://akiba-net.com/5/ ラブライブ http://lovelive-net.com/5/ 東京テレビ局 http://telev.net/5/ アニメ推薦エンジン http://tv-anime.biz/ 声優フォロワーラン キング http://data.akiba-net.com/ Pixiv投稿数ランキン グ TOP http://pix.akiba-net.com/
Download now