SlideShare a Scribd company logo
1 of 22
ビッグデータ解析手法を用いて
ソーシャルメディアの評価分析を実現する
JAWS-UG会津
自己紹介
石川 智史 (いしかわ さとし)
現職
• 株式会社シンク (会津営業部 兼 開発本部品質管理グループ)
• オープン系Webアプリケーション開発エンジニア
活動
• JAWS-UG会津
Amazon AWSを楽しく勉強するためのコミュニティ。

• エフスタ会津
ITエンジニアのためのスキルアップコミュニティ。

• Code For Aizu
会津のオープンデータ活用を促進するためのコミュニティ。
それでは本題に入ります…
皆さん
今一度よくお考えいただきたい
姉ヶ崎寧々は本当に天使なのでしょうか
果たして、Webページのみの検証
で十分だと言えるのだろうか。

Twitterの評価分析だ!
ソーシャル評価分析手法
Twitterのツイートを取得

形態素解析を行う

1. 以下のキーワードを含むツイートを取得
姉ヶ崎寧々/高嶺愛花/小早川凜子

2. 品詞に分解し、品詞間の依存性を解析
ex 「姉ヶ崎 寧々 は 天使 だ」
名詞

係り受け解析を行う

名詞

助詞

名詞

助動詞

3. 抽出した品詞をP/N判定し比率を算出
P/N判定を行う

ポジティブワード:かわいい、天使

ネガティブワード:薄情、不機嫌
システム化したらこうなった!

形態素解析・係り受け解析
Tweetの取得

アプリケーション基盤
続きはWebで
つまりは
姉ヶ崎寧々とは
最高に可愛い
エロいの大好き

俺の嫁

もうこれは天使でいいんじゃねぇかと
ソーシャル評価分析サービス
Salesforce radian6

Twitterなどのソーシャルデータから、
ブランドや商品に対する評価分析を行う
この後
会場の約98%の方が

深刻な問題に直面します
いったい誰を嫁にすればいいのか ∑(゚Д゚;)
決められない。決められない。
決められない。決められない。
決められない。決められない。

Amazon EMR が
その問題を解決します。
Amazon EMR
Amazon EMR (Elastic MapReduce)
• Amazon AWSのサービスの一つ
• Hadoopをベースに莫大なデータを処理できるサービス

主な利用シーン
•
•
•
•
•

ログ分析
ウェブインデックス作成
データウェアハウス
機械学習
科学シミュレーション

ビッグデータ解析に
欠かせないサービス
解決方法

Amazon EMR + 機械学習ライブラリMahoutで
嫁を選定するための単純ベイズ分類器を作成する
ベイズ分類器生成の流れ
学習データ

1. 学習データとして各ヒロイン
を支持するユーザプロフィー
ルを取得
2. 学習データとMahoutのAPIに
よりベイズ分類器を生成する
ベイズ分類器

自分自身の
プロフィール

3. 分類器にたいして、自分自身
のプロフィールを入力
4. 幸せな未来が約束される
Webサービス化してみた

デモサイト

Web API

3.作成したベイズ分類器を移行

ベイズ
分類器

EC2
1.学習データの入力

ベイズ
分類器

2.ベイズ分類器の作成
続きはWebで
つまりは

Amazon EMRとは
誰も傷つけることなく
あなたの最高の嫁を
見つけ出してくれる

奇跡のサービスといっても過言じゃない
Windows Azureでも!
ありがとうございました

More Related Content

Viewers also liked

ログ収集フレームワークの新バージョン「FlumeNG」
ログ収集フレームワークの新バージョン「FlumeNG」ログ収集フレームワークの新バージョン「FlumeNG」
ログ収集フレームワークの新バージョン「FlumeNG」AdvancedTechNight
 
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTipsAmazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTipsyuichi_komatsu
 
Awsとrubyで作るビッグデータ解析の裏側
Awsとrubyで作るビッグデータ解析の裏側Awsとrubyで作るビッグデータ解析の裏側
Awsとrubyで作るビッグデータ解析の裏側Shohei Kobayashi
 
SQL, NoSQL, BigData in Data Architecture
SQL, NoSQL, BigData in Data ArchitectureSQL, NoSQL, BigData in Data Architecture
SQL, NoSQL, BigData in Data ArchitectureVenu Anuganti
 
Big data presentation for mcpc
Big data presentation for mcpcBig data presentation for mcpc
Big data presentation for mcpcCLOUDIAN KK
 
Building Business UIs with EMF Forms (ECE2014)
Building Business UIs with EMF Forms (ECE2014)Building Business UIs with EMF Forms (ECE2014)
Building Business UIs with EMF Forms (ECE2014)Maximilian Kögel
 
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識Katsuhiro Morishita
 
[DDBJ Challenge 2016] 遺伝研スーパーコンピュータのビッグデータ解析環境
[DDBJ Challenge 2016] 遺伝研スーパーコンピュータのビッグデータ解析環境[DDBJ Challenge 2016] 遺伝研スーパーコンピュータのビッグデータ解析環境
[DDBJ Challenge 2016] 遺伝研スーパーコンピュータのビッグデータ解析環境DNA Data Bank of Japan center
 
Architecting a Next Generation Data Platform
Architecting a Next Generation Data PlatformArchitecting a Next Generation Data Platform
Architecting a Next Generation Data Platformhadooparchbook
 

Viewers also liked (9)

ログ収集フレームワークの新バージョン「FlumeNG」
ログ収集フレームワークの新バージョン「FlumeNG」ログ収集フレームワークの新バージョン「FlumeNG」
ログ収集フレームワークの新バージョン「FlumeNG」
 
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTipsAmazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
 
Awsとrubyで作るビッグデータ解析の裏側
Awsとrubyで作るビッグデータ解析の裏側Awsとrubyで作るビッグデータ解析の裏側
Awsとrubyで作るビッグデータ解析の裏側
 
SQL, NoSQL, BigData in Data Architecture
SQL, NoSQL, BigData in Data ArchitectureSQL, NoSQL, BigData in Data Architecture
SQL, NoSQL, BigData in Data Architecture
 
Big data presentation for mcpc
Big data presentation for mcpcBig data presentation for mcpc
Big data presentation for mcpc
 
Building Business UIs with EMF Forms (ECE2014)
Building Business UIs with EMF Forms (ECE2014)Building Business UIs with EMF Forms (ECE2014)
Building Business UIs with EMF Forms (ECE2014)
 
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
 
[DDBJ Challenge 2016] 遺伝研スーパーコンピュータのビッグデータ解析環境
[DDBJ Challenge 2016] 遺伝研スーパーコンピュータのビッグデータ解析環境[DDBJ Challenge 2016] 遺伝研スーパーコンピュータのビッグデータ解析環境
[DDBJ Challenge 2016] 遺伝研スーパーコンピュータのビッグデータ解析環境
 
Architecting a Next Generation Data Platform
Architecting a Next Generation Data PlatformArchitecting a Next Generation Data Platform
Architecting a Next Generation Data Platform
 

Similar to エフスタ東京Vol3 ビッグデータ解析手法を用いてソーシャルメディアの評価分析を実現する

ビッグデータ解析とクラウドの関係
ビッグデータ解析とクラウドの関係ビッグデータ解析とクラウドの関係
ビッグデータ解析とクラウドの関係Satoshi Ishikawa
 
マーケティング的視点で見る コミュニティ育成 アマゾン データサービス ジャパン 小島 英揮氏 資料
マーケティング的視点で見る コミュニティ育成  アマゾン データサービス ジャパン 小島 英揮氏 資料マーケティング的視点で見る コミュニティ育成  アマゾン データサービス ジャパン 小島 英揮氏 資料
マーケティング的視点で見る コミュニティ育成 アマゾン データサービス ジャパン 小島 英揮氏 資料Peatix Japan
 
データを扱いたい!はじめてのAWS
データを扱いたい!はじめてのAWSデータを扱いたい!はじめてのAWS
データを扱いたい!はじめてのAWSShoichiYashiro
 
APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部
APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部
APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部Daisuke Nagao
 
フロントエンドエンジニアに伝えたい 常時SSLとCDNの話
フロントエンドエンジニアに伝えたい 常時SSLとCDNの話フロントエンドエンジニアに伝えたい 常時SSLとCDNの話
フロントエンドエンジニアに伝えたい 常時SSLとCDNの話Takahisa Iwamoto
 
構造化データをツールで簡単に分析
構造化データをツールで簡単に分析構造化データをツールで簡単に分析
構造化データをツールで簡単に分析Yoshitaka Seo
 
AI時代のすごいアクセス解析-20231125WACA-KANSAI-seminar.pdf
AI時代のすごいアクセス解析-20231125WACA-KANSAI-seminar.pdfAI時代のすごいアクセス解析-20231125WACA-KANSAI-seminar.pdf
AI時代のすごいアクセス解析-20231125WACA-KANSAI-seminar.pdfKojiMaruyama5
 
システム高速化に使えるJSON関連ライブラリ
システム高速化に使えるJSON関連ライブラリシステム高速化に使えるJSON関連ライブラリ
システム高速化に使えるJSON関連ライブラリiRidge, Inc.
 
ITエンジニアのためのAI基礎2020
ITエンジニアのためのAI基礎2020ITエンジニアのためのAI基礎2020
ITエンジニアのためのAI基礎2020Keisuke Tameyasu
 
Amazon Echo Showの ユーザー補助機能
Amazon Echo Showのユーザー補助機能Amazon Echo Showのユーザー補助機能
Amazon Echo Showの ユーザー補助機能Toru MOCHIDA
 
『AI入門』初めての人工知能 〜人とAIの適材適所〜 #お多福勉強会01 「AIってナニ?」
『AI入門』初めての人工知能 〜人とAIの適材適所〜 #お多福勉強会01 「AIってナニ?」『AI入門』初めての人工知能 〜人とAIの適材適所〜 #お多福勉強会01 「AIってナニ?」
『AI入門』初めての人工知能 〜人とAIの適材適所〜 #お多福勉強会01 「AIってナニ?」株式会社お多福ラボ
 
jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207Toshiyuki Konparu
 
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略Takanori Kawahara
 
Webシステムプログラミング20161003
Webシステムプログラミング20161003Webシステムプログラミング20161003
Webシステムプログラミング20161003義広 河野
 
Watson Explorerを使ったテキストマイニング
Watson Explorerを使ったテキストマイニングWatson Explorerを使ったテキストマイニング
Watson Explorerを使ったテキストマイニングHori Tasuku
 
AI & Deep Learning on AWS at CTO Night&Day 2016 Winter
AI & Deep Learning on AWS at CTO Night&Day 2016 WinterAI & Deep Learning on AWS at CTO Night&Day 2016 Winter
AI & Deep Learning on AWS at CTO Night&Day 2016 WinterYasuhiro Matsuo
 
20130126 mtddcms
20130126 mtddcms20130126 mtddcms
20130126 mtddcmsyokonaka
 
ヘルプサイトの制作プロセス
ヘルプサイトの制作プロセスヘルプサイトの制作プロセス
ヘルプサイトの制作プロセスNaohiro Nakata
 
[db tech showcase Tokyo 2018] #dbts2018 #A11 『システム開発によろこびと驚きの連鎖を』
[db tech showcase Tokyo 2018] #dbts2018 #A11 『システム開発によろこびと驚きの連鎖を』[db tech showcase Tokyo 2018] #dbts2018 #A11 『システム開発によろこびと驚きの連鎖を』
[db tech showcase Tokyo 2018] #dbts2018 #A11 『システム開発によろこびと驚きの連鎖を』Insight Technology, Inc.
 
データサイエンティスト養成読本の解説+書き忘れたこと
データサイエンティスト養成読本の解説+書き忘れたことデータサイエンティスト養成読本の解説+書き忘れたこと
データサイエンティスト養成読本の解説+書き忘れたことTokoroten Nakayama
 

Similar to エフスタ東京Vol3 ビッグデータ解析手法を用いてソーシャルメディアの評価分析を実現する (20)

ビッグデータ解析とクラウドの関係
ビッグデータ解析とクラウドの関係ビッグデータ解析とクラウドの関係
ビッグデータ解析とクラウドの関係
 
マーケティング的視点で見る コミュニティ育成 アマゾン データサービス ジャパン 小島 英揮氏 資料
マーケティング的視点で見る コミュニティ育成  アマゾン データサービス ジャパン 小島 英揮氏 資料マーケティング的視点で見る コミュニティ育成  アマゾン データサービス ジャパン 小島 英揮氏 資料
マーケティング的視点で見る コミュニティ育成 アマゾン データサービス ジャパン 小島 英揮氏 資料
 
データを扱いたい!はじめてのAWS
データを扱いたい!はじめてのAWSデータを扱いたい!はじめてのAWS
データを扱いたい!はじめてのAWS
 
APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部
APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部
APIを叩くだけでない、Deep Learning on AWS で自分だけの学習モデルを作ろう! by JAWS-UG AI支部
 
フロントエンドエンジニアに伝えたい 常時SSLとCDNの話
フロントエンドエンジニアに伝えたい 常時SSLとCDNの話フロントエンドエンジニアに伝えたい 常時SSLとCDNの話
フロントエンドエンジニアに伝えたい 常時SSLとCDNの話
 
構造化データをツールで簡単に分析
構造化データをツールで簡単に分析構造化データをツールで簡単に分析
構造化データをツールで簡単に分析
 
AI時代のすごいアクセス解析-20231125WACA-KANSAI-seminar.pdf
AI時代のすごいアクセス解析-20231125WACA-KANSAI-seminar.pdfAI時代のすごいアクセス解析-20231125WACA-KANSAI-seminar.pdf
AI時代のすごいアクセス解析-20231125WACA-KANSAI-seminar.pdf
 
システム高速化に使えるJSON関連ライブラリ
システム高速化に使えるJSON関連ライブラリシステム高速化に使えるJSON関連ライブラリ
システム高速化に使えるJSON関連ライブラリ
 
ITエンジニアのためのAI基礎2020
ITエンジニアのためのAI基礎2020ITエンジニアのためのAI基礎2020
ITエンジニアのためのAI基礎2020
 
Amazon Echo Showの ユーザー補助機能
Amazon Echo Showのユーザー補助機能Amazon Echo Showのユーザー補助機能
Amazon Echo Showの ユーザー補助機能
 
『AI入門』初めての人工知能 〜人とAIの適材適所〜 #お多福勉強会01 「AIってナニ?」
『AI入門』初めての人工知能 〜人とAIの適材適所〜 #お多福勉強会01 「AIってナニ?」『AI入門』初めての人工知能 〜人とAIの適材適所〜 #お多福勉強会01 「AIってナニ?」
『AI入門』初めての人工知能 〜人とAIの適材適所〜 #お多福勉強会01 「AIってナニ?」
 
jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207
 
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
Developers Summit 2022 プロダクト開発速度とデータの組織的価値をセットで飛躍的に高める開発戦略
 
Webシステムプログラミング20161003
Webシステムプログラミング20161003Webシステムプログラミング20161003
Webシステムプログラミング20161003
 
Watson Explorerを使ったテキストマイニング
Watson Explorerを使ったテキストマイニングWatson Explorerを使ったテキストマイニング
Watson Explorerを使ったテキストマイニング
 
AI & Deep Learning on AWS at CTO Night&Day 2016 Winter
AI & Deep Learning on AWS at CTO Night&Day 2016 WinterAI & Deep Learning on AWS at CTO Night&Day 2016 Winter
AI & Deep Learning on AWS at CTO Night&Day 2016 Winter
 
20130126 mtddcms
20130126 mtddcms20130126 mtddcms
20130126 mtddcms
 
ヘルプサイトの制作プロセス
ヘルプサイトの制作プロセスヘルプサイトの制作プロセス
ヘルプサイトの制作プロセス
 
[db tech showcase Tokyo 2018] #dbts2018 #A11 『システム開発によろこびと驚きの連鎖を』
[db tech showcase Tokyo 2018] #dbts2018 #A11 『システム開発によろこびと驚きの連鎖を』[db tech showcase Tokyo 2018] #dbts2018 #A11 『システム開発によろこびと驚きの連鎖を』
[db tech showcase Tokyo 2018] #dbts2018 #A11 『システム開発によろこびと驚きの連鎖を』
 
データサイエンティスト養成読本の解説+書き忘れたこと
データサイエンティスト養成読本の解説+書き忘れたことデータサイエンティスト養成読本の解説+書き忘れたこと
データサイエンティスト養成読本の解説+書き忘れたこと
 

エフスタ東京Vol3 ビッグデータ解析手法を用いてソーシャルメディアの評価分析を実現する