SlideShare a Scribd company logo
このスライドは、
ダメ院生のクソみたいな日常を
淡々と述べる物です。
過度な期待はしないでください。
あと、部屋は明るくして、
画面から3メートルは離れて
見やがって下さい。
Pythonによるソーシャルデータ分析
―わたしはこうやって修士号を取得しました―




                @who_you_me
このスライドの目的

●   とある元院生の修論体験記を通して
    –   Pythonのステマをする
    –   ソーシャルデータ分析に便利なツールを知る

    –   実際のソーシャルデータ分析の流れを知る
        ●   ただし自己流ですが
修論の概要

●   Twitterの分析

●   リスト機能を使って自分とこの学生のアカウ
    ントを抽出

●   2010年12月~2011年9月の期間、プロ
    フィール、フォロワー、ツイート等を取得
●   スケールこのくらい
    –   アカウント数:1,631
    –   ツイート数:1,174,684


●   このデータをもとにテキストマイニングやっ
    たりクラスタリングしたりネットワーク分析
    やったり
下準備

●   研究テーマどうしよう?
    –   適当にTwitter API叩いてたら楽しかったので、
        適当にデータ取って分析でもするか


●   言語なにつかおう?
    –   Python!!!!
    –   先生がPythonの人だったので
データの収集

●   Twitter APIからデータ取得

●   取り始める前に考えよう
    –   闇雲に集めても意味ないよ!
    –   分析対象は誰?何?


●   ランダムサンプリングはあんま意味ない
    –   ネットワーク分析できないし……
    –   対象となるトピック、コミュニティを絞ろう
●   生のAPI叩くより、各言語のラッパー使った
    方がお手軽
    –   PythonならTweepyがお勧めらしい


●   ただし自分はラッパー使いませんでした
    –   BASIC認証からOAuth認証に完全移行した直後
        で、まだ対応してなかった、、、
    –   urllib, urllib2, oauth2などでゴリゴリと
Twitter APIの注意点

●   1時間に350回しかAPI叩けない
    –   3垢作って回す
    –   毎月1日にデータ取得した
    –   日付変わると同時にスクリプト回す。昼前には終
        わる


●   よく落ちる(今は知らん)
●   仕様変わる(仕方ないけど)
データの永続化

●   何も考えずにMySQLを使った

●   今やるなら絶対にMongoDB使う
    –   JSONでデータ取ってそのままぶち込むだけ。ス
        キーマレス最高!!!
    –   MySQLだといちいちデータの形式に合わせてス
        キーマ定義するのめんどい
データ収集を始めて数ヶ月……
データ溜まってきたし、そろそろ分
     析するぞ!!
就活
内定出たことだし、
そろそろ分析するぞ!!
まあでもまだ時間あるし、
   ちょっと遊ぶか
ちょっと……?
気付けば9月……
(就活は4月に終わりました)
月末に中間発表会が
あったような……
分析するぞオラァ!!!!!

●   まずはグラフ描くよね
    –   フォロー数、フォロワー数の分布
    –   1ヶ月のツイート数
    –   こいつらの相関


●   matplotlibを使いましょう
    –   Pythonのグラフ描画ライブラリ
●   テキストマイニングでもやるか

●   ツイート内容でユーザー分類できたら面白い
    よね

●   MeCabで形態素解析
    –   ツイートを単語に区切る
●   ユーザごとの名詞の使用頻度を算出

●   k-meansでクラスタリング
cluster 0   cluster 1   cluster 2        cluster 3

・・・(名詞)     私(名詞)       僕(名詞)            俺(名詞)

ゆう(動詞)      わたし(名詞)     日本(名詞)           ww(名詞)

俺(名詞)       lt(名詞)      ありがとうございます(名詞)   僕(名詞)

ラーメン(名詞)    ありがとう(名詞)   ブログ(名詞)          マジ(名詞)

ちょっと(名詞)    gt(名詞)      考える(動詞)          www(名詞)

リアル(名詞)     ちゃう(動詞)     本(名詞)            at(名詞)

一橋(名詞)      うち(名詞)      仕事(名詞)           飲む(動詞)

嘘(名詞)       食べる(動詞)     問題(名詞)           やつ(名詞)

食べる(動詞)     バイト(名詞)     学生(名詞)           誰(名詞)

まあ(副詞)      ちゃん(名詞)     者(名詞)            リア充(名詞)

円(名詞)       がんばる(動詞)    性(名詞)            卒論(名詞)

とりあえず(副詞)   かわいい(名詞)    the(名詞)          バイト(名詞)

わかる(動詞)     ふる(動詞)      ため(名詞)           食う(動詞)

なに(名詞)      みんな(名詞)     読む(動詞)           君(名詞)

寝る(名詞)      好き(名詞)      書く(動詞)           わかる(動詞)

大学(名詞)      楽しみ(名詞)     必要(名詞)           行く(名詞)

曲(名詞)       先輩(名詞)      会(名詞)            友達(名詞)

怖い(形容詞)     素敵(名詞)      話(名詞)            やっぱ(副詞)

無い(形容詞)     ほんとに(副詞)    ところ(名詞)          とく(動詞)

帰宅(名詞)      こ(名詞)       おれ(名詞)           奴(名詞)
●   MeCab-pythonで形態素解析

●   PyClusterでクラスタリング

●   どっちもCで書いてあるから実行早い!!
よーしなんとか中間発表
 乗り切れそうだぞ!!


 と思った矢先……
PCを電車に置き忘れる
   \(^o^)/
翌日発見されて事無きを得ました
データのバックアップ超大事!!!
     (当たり前)
本格的に分析しましょう

●   中間発表乗り切ったので、本腰入れて分析し
    よう!!!
    –   発表終わった直後にPS3買いに走ったのは内緒だぜぇ



●   データクリーニングしないと
    –   ウチの学生じゃない垢含まれてる
    –   プロフィールでだいたい判別できるかな?
●   正解データ100個ぐらい用意してベイズ分類
    器でも作るか?
    –   精度低そう


●   たかだか2,000アカウントぐらいだし、手作
    業でやっちゃえ!!!!

●   大量のプロフィールを「正解」「不正解」
    「判別不能」に分類
●   2日ぐらいで終わったからよかったよね
ゴールが見えてきたぞ!

●   ユーザのクラスタリング
    –   情報発信クラスタ
    –   日常会話クラスタ(男)
    –   日常会話クラスタ(女)
    –   中間クラスタ


●   利用形態違うよねー
    –   情報発信はRT多い、PC使う
    –   日常会話は@多い、スマホ使う
●   「片想い」に注目
    –   Facebookは対称
    –   Twitterは非対称


●   情報発信する人ほど、片想い/片想われの比
    率が高い
    –   Twitterが情報発信によく使われるのって、関係
        が非対称だからなのかなー
●   ネットワーク分析もやりましょう
    –   利用目的違う人たちって、ネットワーク上の分布
        も離れてるのかな?


●   networkX!!!!!!
●   情報発信する人たちはやや固まる傾向
    –   他はバラバラ


●   とはいえ、違う利用目的の人も活発に交流し
    てるみたいだねー
と、分析終わったのはいいが

●   お前Python好きだな!

●   だって便利だもん

●   データ分析にはPythonだよ!!!
vs. C, Java, ...

●   Pythonの方が覚えるのが楽チン
●   コーディングも楽

●   もちろん実行速度は遅いけど……
vs. Ruby, Perl, ...

●   Pythonは分析系のライブラリが豊富
    –   Numpy, Scipy
    –   matplotlib
    –   NLTK
    –   networkX


●   オライリーのいい感じの本はだいたいPython
vs. R

●   最大のライバル!!!
    –   向こうはライバルと思ってないだろうけど……


●   統計計算に特化してるだけあって、Rはすっ
    ごく手軽に計算できる
●   でも、実はRって大規模データに向いてない
    んだよね……
    –   メモリがすぐに溢れる


●   Pythonの方がメモリの扱いはお上手な気がす
    る

●   Pythonだと API叩いてデータ収集→DBに保
    存→分析→グラフ描く まで1つの言語でで
    きる!!!
Pythonのステマは以上。続き

●   分析はできたけど、これで終わりじゃない
    よ!!

●   論文書いて発表するまでが修士論文です
修士号取るまでが修論です

●   TeXで書きました。Wordなんか使ってられ
    るか

●   製本出して提出すれば、あとは最終試験ある
    のみ!!
    –   先生の前でプレゼンして質疑応答
    –   先生優しいし、楽勝だろ(ホジ
最終試験当日の朝
PCがぶっ壊れる
  \(^o^)/
発表資料USBメモリに入れといて
      よかった
結論

●   Pythonは便利

●   日頃の行いが良くない人には報いが訪れる
    –   神様っているんだね!!!
    –   報いに備えてバックアップを


●   分析して終わり ではダメ
    –   論文とか、報告書とか、企画書とか、ブログとか
そう、どんなに良い分析したって
   アウトプットしないと
   何の意味もない!!!
というわけで、
発表者募集中です!!




    社会ネットワーク分析勉強会

More Related Content

What's hot

解説#82 記号論理学
解説#82 記号論理学解説#82 記号論理学
解説#82 記号論理学
Ruo Ando
 
論文の書き方入門 2017
論文の書き方入門 2017論文の書き方入門 2017
論文の書き方入門 2017
Hironori Washizaki
 
「生態学における統計的因果推論」という大ネタへの挑戦:その理論的背景と適用事例
「生態学における統計的因果推論」という大ネタへの挑戦:その理論的背景と適用事例「生態学における統計的因果推論」という大ネタへの挑戦:その理論的背景と適用事例
「生態学における統計的因果推論」という大ネタへの挑戦:その理論的背景と適用事例
takehikoihayashi
 
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
 
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
Shiga University, RIKEN
 
GPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装についてGPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装について
Yuya Unno
 
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
Megagon Labs
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
 
Stan超初心者入門
Stan超初心者入門Stan超初心者入門
Stan超初心者入門
Hiroshi Shimizu
 
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
 
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
 
[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景
Deep Learning JP
 
ICML2018読み会: Overview of NLP / Adversarial Attacks
ICML2018読み会: Overview of NLP / Adversarial AttacksICML2018読み会: Overview of NLP / Adversarial Attacks
ICML2018読み会: Overview of NLP / Adversarial Attacks
Motoki Sato
 
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
Hiroaki Kudo
 
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
Ken'ichi Matsui
 
Rで項目反応理論、テキストマイニング、Rの研修やってますという三題噺(33rd #TokyoR)
Rで項目反応理論、テキストマイニング、Rの研修やってますという三題噺(33rd #TokyoR)Rで項目反応理論、テキストマイニング、Rの研修やってますという三題噺(33rd #TokyoR)
Rで項目反応理論、テキストマイニング、Rの研修やってますという三題噺(33rd #TokyoR)
Kenta Tanaka
 
優れた研究論文の書き方―7つの提案
優れた研究論文の書き方―7つの提案優れた研究論文の書き方―7つの提案
優れた研究論文の書き方―7つの提案
Masanori Kado
 
負の二項分布について
負の二項分布について負の二項分布について
負の二項分布について
Hiroshi Shimizu
 
100614 構造方程式モデリング基本の「き」
100614 構造方程式モデリング基本の「き」100614 構造方程式モデリング基本の「き」
100614 構造方程式モデリング基本の「き」
Shinohara Masahiro
 
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
Shushi Namba
 

What's hot (20)

解説#82 記号論理学
解説#82 記号論理学解説#82 記号論理学
解説#82 記号論理学
 
論文の書き方入門 2017
論文の書き方入門 2017論文の書き方入門 2017
論文の書き方入門 2017
 
「生態学における統計的因果推論」という大ネタへの挑戦:その理論的背景と適用事例
「生態学における統計的因果推論」という大ネタへの挑戦:その理論的背景と適用事例「生態学における統計的因果推論」という大ネタへの挑戦:その理論的背景と適用事例
「生態学における統計的因果推論」という大ネタへの挑戦:その理論的背景と適用事例
 
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
 
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
 
GPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装についてGPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装について
 
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
 
Stan超初心者入門
Stan超初心者入門Stan超初心者入門
Stan超初心者入門
 
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
 
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
 
[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景
 
ICML2018読み会: Overview of NLP / Adversarial Attacks
ICML2018読み会: Overview of NLP / Adversarial AttacksICML2018読み会: Overview of NLP / Adversarial Attacks
ICML2018読み会: Overview of NLP / Adversarial Attacks
 
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
 
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
 
Rで項目反応理論、テキストマイニング、Rの研修やってますという三題噺(33rd #TokyoR)
Rで項目反応理論、テキストマイニング、Rの研修やってますという三題噺(33rd #TokyoR)Rで項目反応理論、テキストマイニング、Rの研修やってますという三題噺(33rd #TokyoR)
Rで項目反応理論、テキストマイニング、Rの研修やってますという三題噺(33rd #TokyoR)
 
優れた研究論文の書き方―7つの提案
優れた研究論文の書き方―7つの提案優れた研究論文の書き方―7つの提案
優れた研究論文の書き方―7つの提案
 
負の二項分布について
負の二項分布について負の二項分布について
負の二項分布について
 
100614 構造方程式モデリング基本の「き」
100614 構造方程式モデリング基本の「き」100614 構造方程式モデリング基本の「き」
100614 構造方程式モデリング基本の「き」
 
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
 

Viewers also liked

PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
Katsuhiro Morishita
 
GTC 2017 ディープラーニング最新情報
GTC 2017 ディープラーニング最新情報GTC 2017 ディープラーニング最新情報
GTC 2017 ディープラーニング最新情報
NVIDIA Japan
 
Python twitter data_150709
Python twitter data_150709Python twitter data_150709
Python twitter data_150709
BrainPad Inc.
 
実践で学ぶネットワーク分析
実践で学ぶネットワーク分析実践で学ぶネットワーク分析
実践で学ぶネットワーク分析
Mitsunori Sato
 
Rubyによるデータ解析
Rubyによるデータ解析Rubyによるデータ解析
Rubyによるデータ解析
Shugo Maeda
 
Rでソーシャルネットワーク分析
Rでソーシャルネットワーク分析Rでソーシャルネットワーク分析
Rでソーシャルネットワーク分析
Hiroko Onari
 
『繋がり』を見る: Cytoscapeと周辺ツールを使ったグラフデータ可視化入門
『繋がり』を見る: Cytoscapeと周辺ツールを使ったグラフデータ可視化入門『繋がり』を見る: Cytoscapeと周辺ツールを使ったグラフデータ可視化入門
『繋がり』を見る: Cytoscapeと周辺ツールを使ったグラフデータ可視化入門
Keiichiro Ono
 
大規模ネットワーク分析 篠田
大規模ネットワーク分析 篠田大規模ネットワーク分析 篠田
大規模ネットワーク分析 篠田
Kosuke Shinoda
 
Social network analysis & Big Data - Telecommunications and more
Social network analysis & Big Data - Telecommunications and moreSocial network analysis & Big Data - Telecommunications and more
Social network analysis & Big Data - Telecommunications and moreWael Elrifai
 
潜在トピックとネットワーク分析
潜在トピックとネットワーク分析潜在トピックとネットワーク分析
潜在トピックとネットワーク分析
s tanaka
 
R seminar on igraph
R seminar on igraphR seminar on igraph
R seminar on igraph
Kazuhiro Takemoto
 
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
sleepy_yoshi
 
Big Data Analytics : A Social Network Approach
Big Data Analytics : A Social Network ApproachBig Data Analytics : A Social Network Approach
Big Data Analytics : A Social Network Approach
Andry Alamsyah
 
Big Data: Social Network Analysis
Big Data: Social Network AnalysisBig Data: Social Network Analysis
Big Data: Social Network Analysis
Michel Bruley
 
10分でわかるPythonの開発環境
10分でわかるPythonの開発環境10分でわかるPythonの開発環境
10分でわかるPythonの開発環境
Hisao Soyama
 
「Python言語」はじめの一歩 / First step of Python
「Python言語」はじめの一歩 / First step of Python「Python言語」はじめの一歩 / First step of Python
「Python言語」はじめの一歩 / First step of Python
Takanori Suzuki
 
python-twitterを用いたTwitterデータ収集
python-twitterを用いたTwitterデータ収集python-twitterを用いたTwitterデータ収集
python-twitterを用いたTwitterデータ収集Hikaru Takemura
 
PythonによるWebスクレイピング入門
PythonによるWebスクレイピング入門PythonによるWebスクレイピング入門
PythonによるWebスクレイピング入門
Hironori Sekine
 
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
Shinichi Nakagawa
 
Python 機械学習プログラミング データ分析ライブラリー解説編
Python 機械学習プログラミング データ分析ライブラリー解説編Python 機械学習プログラミング データ分析ライブラリー解説編
Python 機械学習プログラミング データ分析ライブラリー解説編
Etsuji Nakai
 

Viewers also liked (20)

PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
 
GTC 2017 ディープラーニング最新情報
GTC 2017 ディープラーニング最新情報GTC 2017 ディープラーニング最新情報
GTC 2017 ディープラーニング最新情報
 
Python twitter data_150709
Python twitter data_150709Python twitter data_150709
Python twitter data_150709
 
実践で学ぶネットワーク分析
実践で学ぶネットワーク分析実践で学ぶネットワーク分析
実践で学ぶネットワーク分析
 
Rubyによるデータ解析
Rubyによるデータ解析Rubyによるデータ解析
Rubyによるデータ解析
 
Rでソーシャルネットワーク分析
Rでソーシャルネットワーク分析Rでソーシャルネットワーク分析
Rでソーシャルネットワーク分析
 
『繋がり』を見る: Cytoscapeと周辺ツールを使ったグラフデータ可視化入門
『繋がり』を見る: Cytoscapeと周辺ツールを使ったグラフデータ可視化入門『繋がり』を見る: Cytoscapeと周辺ツールを使ったグラフデータ可視化入門
『繋がり』を見る: Cytoscapeと周辺ツールを使ったグラフデータ可視化入門
 
大規模ネットワーク分析 篠田
大規模ネットワーク分析 篠田大規模ネットワーク分析 篠田
大規模ネットワーク分析 篠田
 
Social network analysis & Big Data - Telecommunications and more
Social network analysis & Big Data - Telecommunications and moreSocial network analysis & Big Data - Telecommunications and more
Social network analysis & Big Data - Telecommunications and more
 
潜在トピックとネットワーク分析
潜在トピックとネットワーク分析潜在トピックとネットワーク分析
潜在トピックとネットワーク分析
 
R seminar on igraph
R seminar on igraphR seminar on igraph
R seminar on igraph
 
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
 
Big Data Analytics : A Social Network Approach
Big Data Analytics : A Social Network ApproachBig Data Analytics : A Social Network Approach
Big Data Analytics : A Social Network Approach
 
Big Data: Social Network Analysis
Big Data: Social Network AnalysisBig Data: Social Network Analysis
Big Data: Social Network Analysis
 
10分でわかるPythonの開発環境
10分でわかるPythonの開発環境10分でわかるPythonの開発環境
10分でわかるPythonの開発環境
 
「Python言語」はじめの一歩 / First step of Python
「Python言語」はじめの一歩 / First step of Python「Python言語」はじめの一歩 / First step of Python
「Python言語」はじめの一歩 / First step of Python
 
python-twitterを用いたTwitterデータ収集
python-twitterを用いたTwitterデータ収集python-twitterを用いたTwitterデータ収集
python-twitterを用いたTwitterデータ収集
 
PythonによるWebスクレイピング入門
PythonによるWebスクレイピング入門PythonによるWebスクレイピング入門
PythonによるWebスクレイピング入門
 
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
 
Python 機械学習プログラミング データ分析ライブラリー解説編
Python 機械学習プログラミング データ分析ライブラリー解説編Python 機械学習プログラミング データ分析ライブラリー解説編
Python 機械学習プログラミング データ分析ライブラリー解説編
 

Similar to Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―

どたばたかいぎ成果発表
どたばたかいぎ成果発表どたばたかいぎ成果発表
どたばたかいぎ成果発表
Eric Sartre
 
コミュ障の俺が、自分と近い特徴のヤツを探す(プロ生#32 LT)
コミュ障の俺が、自分と近い特徴のヤツを探す(プロ生#32 LT)コミュ障の俺が、自分と近い特徴のヤツを探す(プロ生#32 LT)
コミュ障の俺が、自分と近い特徴のヤツを探す(プロ生#32 LT)
cancolle
 
Jubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニングJubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニングYuya Unno
 
ネットワークマイニング(グラフ構造分析)
ネットワークマイニング(グラフ構造分析)ネットワークマイニング(グラフ構造分析)
ネットワークマイニング(グラフ構造分析)Katsuhiro Takata
 
中国地方Db勉強会
中国地方Db勉強会中国地方Db勉強会
中国地方Db勉強会
Soudai Sone
 
みんな何使ってるの(Japan.R 2015 LT)
みんな何使ってるの(Japan.R 2015 LT)みんな何使ってるの(Japan.R 2015 LT)
みんな何使ってるの(Japan.R 2015 LT)
cancolle
 
データ分析-の波乗り遅れた気がしてる人のための Python×データ分析の超基礎の基礎 v1.0-20160831
 データ分析-の波乗り遅れた気がしてる人のための Python×データ分析の超基礎の基礎 v1.0-20160831 データ分析-の波乗り遅れた気がしてる人のための Python×データ分析の超基礎の基礎 v1.0-20160831
データ分析-の波乗り遅れた気がしてる人のための Python×データ分析の超基礎の基礎 v1.0-20160831
Yusaku Kinoshita
 
データ分析スクリプトのツール化入門 - PyConJP 2016
データ分析スクリプトのツール化入門 - PyConJP 2016データ分析スクリプトのツール化入門 - PyConJP 2016
データ分析スクリプトのツール化入門 - PyConJP 2016
Akinori Kohno
 
ぼくとしりとりの約3.0*10^3日間戦争
ぼくとしりとりの約3.0*10^3日間戦争ぼくとしりとりの約3.0*10^3日間戦争
ぼくとしりとりの約3.0*10^3日間戦争Eric Sartre
 
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―Hisao Soyama
 
SappoRoR #3 (2014) R入門
SappoRoR #3 (2014) R入門SappoRoR #3 (2014) R入門
SappoRoR #3 (2014) R入門
Daisuke Nakanishi
 
Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門
Tatsuya Tojima
 
チームラボ忘年会
チームラボ忘年会チームラボ忘年会
チームラボ忘年会
antibayesian 俺がS式だ
 
オブジェクト指向勉強会(基礎)
オブジェクト指向勉強会(基礎)オブジェクト指向勉強会(基礎)
オブジェクト指向勉強会(基礎)
nomuken
 
NLP2017 NMT Tutorial
NLP2017 NMT TutorialNLP2017 NMT Tutorial
NLP2017 NMT Tutorial
Toshiaki Nakazawa
 
pg_trgmと全文検索
pg_trgmと全文検索pg_trgmと全文検索
pg_trgmと全文検索
Masahiko Sawada
 
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17Yuya Unno
 

Similar to Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました― (20)

どたばたかいぎ成果発表
どたばたかいぎ成果発表どたばたかいぎ成果発表
どたばたかいぎ成果発表
 
コミュ障の俺が、自分と近い特徴のヤツを探す(プロ生#32 LT)
コミュ障の俺が、自分と近い特徴のヤツを探す(プロ生#32 LT)コミュ障の俺が、自分と近い特徴のヤツを探す(プロ生#32 LT)
コミュ障の俺が、自分と近い特徴のヤツを探す(プロ生#32 LT)
 
Jubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニングJubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニング
 
ネットワークマイニング(グラフ構造分析)
ネットワークマイニング(グラフ構造分析)ネットワークマイニング(グラフ構造分析)
ネットワークマイニング(グラフ構造分析)
 
中国地方Db勉強会
中国地方Db勉強会中国地方Db勉強会
中国地方Db勉強会
 
みんな何使ってるの(Japan.R 2015 LT)
みんな何使ってるの(Japan.R 2015 LT)みんな何使ってるの(Japan.R 2015 LT)
みんな何使ってるの(Japan.R 2015 LT)
 
データ分析-の波乗り遅れた気がしてる人のための Python×データ分析の超基礎の基礎 v1.0-20160831
 データ分析-の波乗り遅れた気がしてる人のための Python×データ分析の超基礎の基礎 v1.0-20160831 データ分析-の波乗り遅れた気がしてる人のための Python×データ分析の超基礎の基礎 v1.0-20160831
データ分析-の波乗り遅れた気がしてる人のための Python×データ分析の超基礎の基礎 v1.0-20160831
 
データ分析スクリプトのツール化入門 - PyConJP 2016
データ分析スクリプトのツール化入門 - PyConJP 2016データ分析スクリプトのツール化入門 - PyConJP 2016
データ分析スクリプトのツール化入門 - PyConJP 2016
 
ぼくとしりとりの約3.0*10^3日間戦争
ぼくとしりとりの約3.0*10^3日間戦争ぼくとしりとりの約3.0*10^3日間戦争
ぼくとしりとりの約3.0*10^3日間戦争
 
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
 
SappoRoR #3 (2014) R入門
SappoRoR #3 (2014) R入門SappoRoR #3 (2014) R入門
SappoRoR #3 (2014) R入門
 
Our docsys-pyfes-2012-11
Our docsys-pyfes-2012-11Our docsys-pyfes-2012-11
Our docsys-pyfes-2012-11
 
Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門
 
チームラボ忘年会
チームラボ忘年会チームラボ忘年会
チームラボ忘年会
 
オブジェクト指向勉強会(基礎)
オブジェクト指向勉強会(基礎)オブジェクト指向勉強会(基礎)
オブジェクト指向勉強会(基礎)
 
NLP2017 NMT Tutorial
NLP2017 NMT TutorialNLP2017 NMT Tutorial
NLP2017 NMT Tutorial
 
Database smells
Database smellsDatabase smells
Database smells
 
資料
資料資料
資料
 
pg_trgmと全文検索
pg_trgmと全文検索pg_trgmと全文検索
pg_trgmと全文検索
 
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
 

More from Hisao Soyama

People analyticsと社会ネットワーク分析
People analyticsと社会ネットワーク分析People analyticsと社会ネットワーク分析
People analyticsと社会ネットワーク分析
Hisao Soyama
 
コードレビューのアンチパターンについて考えてみた
コードレビューのアンチパターンについて考えてみたコードレビューのアンチパターンについて考えてみた
コードレビューのアンチパターンについて考えてみた
Hisao Soyama
 
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
Hisao Soyama
 
階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
Hisao Soyama
 
『アジャイルデータサイエンス』2章 データ
『アジャイルデータサイエンス』2章 データ『アジャイルデータサイエンス』2章 データ
『アジャイルデータサイエンス』2章 データHisao Soyama
 
『アジャイルデータサイエンス』1章 理論
『アジャイルデータサイエンス』1章 理論 『アジャイルデータサイエンス』1章 理論
『アジャイルデータサイエンス』1章 理論 Hisao Soyama
 
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
 グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ- グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-Hisao Soyama
 
グラフデータベース「Neo4j」の 導入の導入
グラフデータベース「Neo4j」の 導入の導入グラフデータベース「Neo4j」の 導入の導入
グラフデータベース「Neo4j」の 導入の導入Hisao Soyama
 
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクションHisao Soyama
 

More from Hisao Soyama (10)

People analyticsと社会ネットワーク分析
People analyticsと社会ネットワーク分析People analyticsと社会ネットワーク分析
People analyticsと社会ネットワーク分析
 
コードレビューのアンチパターンについて考えてみた
コードレビューのアンチパターンについて考えてみたコードレビューのアンチパターンについて考えてみた
コードレビューのアンチパターンについて考えてみた
 
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
 
階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
 
『アジャイルデータサイエンス』2章 データ
『アジャイルデータサイエンス』2章 データ『アジャイルデータサイエンス』2章 データ
『アジャイルデータサイエンス』2章 データ
 
『アジャイルデータサイエンス』1章 理論
『アジャイルデータサイエンス』1章 理論 『アジャイルデータサイエンス』1章 理論
『アジャイルデータサイエンス』1章 理論
 
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
 グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ- グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
 
グラフデータベース「Neo4j」の 導入の導入
グラフデータベース「Neo4j」の 導入の導入グラフデータベース「Neo4j」の 導入の導入
グラフデータベース「Neo4j」の 導入の導入
 
Matrix
MatrixMatrix
Matrix
 
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
 

Recently uploaded

YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
NTT DATA Technology & Innovation
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
 
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
atsushi061452
 
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
iPride Co., Ltd.
 
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
Matsushita Laboratory
 
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
atsushi061452
 
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
yassun7010
 
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdfFIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance
 
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdfFIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance
 
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
harmonylab
 
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdfFIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance
 
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
Fukuoka Institute of Technology
 
【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow
Sony - Neural Network Libraries
 
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdfFIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance
 
FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdfFIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance
 

Recently uploaded (15)

YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
 
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
 
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
 
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
 
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
 
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
 
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdfFIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
 
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdfFIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
 
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
 
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdfFIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
 
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
 
【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow
 
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdfFIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
 
FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdfFIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdf
 

Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―

  • 4. このスライドの目的 ● とある元院生の修論体験記を通して – Pythonのステマをする – ソーシャルデータ分析に便利なツールを知る – 実際のソーシャルデータ分析の流れを知る ● ただし自己流ですが
  • 5. 修論の概要 ● Twitterの分析 ● リスト機能を使って自分とこの学生のアカウ ントを抽出 ● 2010年12月~2011年9月の期間、プロ フィール、フォロワー、ツイート等を取得
  • 6. スケールこのくらい – アカウント数:1,631 – ツイート数:1,174,684 ● このデータをもとにテキストマイニングやっ たりクラスタリングしたりネットワーク分析 やったり
  • 7. 下準備 ● 研究テーマどうしよう? – 適当にTwitter API叩いてたら楽しかったので、 適当にデータ取って分析でもするか ● 言語なにつかおう? – Python!!!! – 先生がPythonの人だったので
  • 8. データの収集 ● Twitter APIからデータ取得 ● 取り始める前に考えよう – 闇雲に集めても意味ないよ! – 分析対象は誰?何? ● ランダムサンプリングはあんま意味ない – ネットワーク分析できないし…… – 対象となるトピック、コミュニティを絞ろう
  • 9. 生のAPI叩くより、各言語のラッパー使った 方がお手軽 – PythonならTweepyがお勧めらしい ● ただし自分はラッパー使いませんでした – BASIC認証からOAuth認証に完全移行した直後 で、まだ対応してなかった、、、 – urllib, urllib2, oauth2などでゴリゴリと
  • 10. Twitter APIの注意点 ● 1時間に350回しかAPI叩けない – 3垢作って回す – 毎月1日にデータ取得した – 日付変わると同時にスクリプト回す。昼前には終 わる ● よく落ちる(今は知らん) ● 仕様変わる(仕方ないけど)
  • 11. データの永続化 ● 何も考えずにMySQLを使った ● 今やるなら絶対にMongoDB使う – JSONでデータ取ってそのままぶち込むだけ。ス キーマレス最高!!! – MySQLだといちいちデータの形式に合わせてス キーマ定義するのめんどい
  • 15. まあでもまだ時間あるし、 ちょっと遊ぶか
  • 19. 分析するぞオラァ!!!!! ● まずはグラフ描くよね – フォロー数、フォロワー数の分布 – 1ヶ月のツイート数 – こいつらの相関 ● matplotlibを使いましょう – Pythonのグラフ描画ライブラリ
  • 20.
  • 21. テキストマイニングでもやるか ● ツイート内容でユーザー分類できたら面白い よね ● MeCabで形態素解析 – ツイートを単語に区切る ● ユーザごとの名詞の使用頻度を算出 ● k-meansでクラスタリング
  • 22. cluster 0 cluster 1 cluster 2 cluster 3 ・・・(名詞) 私(名詞) 僕(名詞) 俺(名詞) ゆう(動詞) わたし(名詞) 日本(名詞) ww(名詞) 俺(名詞) lt(名詞) ありがとうございます(名詞) 僕(名詞) ラーメン(名詞) ありがとう(名詞) ブログ(名詞) マジ(名詞) ちょっと(名詞) gt(名詞) 考える(動詞) www(名詞) リアル(名詞) ちゃう(動詞) 本(名詞) at(名詞) 一橋(名詞) うち(名詞) 仕事(名詞) 飲む(動詞) 嘘(名詞) 食べる(動詞) 問題(名詞) やつ(名詞) 食べる(動詞) バイト(名詞) 学生(名詞) 誰(名詞) まあ(副詞) ちゃん(名詞) 者(名詞) リア充(名詞) 円(名詞) がんばる(動詞) 性(名詞) 卒論(名詞) とりあえず(副詞) かわいい(名詞) the(名詞) バイト(名詞) わかる(動詞) ふる(動詞) ため(名詞) 食う(動詞) なに(名詞) みんな(名詞) 読む(動詞) 君(名詞) 寝る(名詞) 好き(名詞) 書く(動詞) わかる(動詞) 大学(名詞) 楽しみ(名詞) 必要(名詞) 行く(名詞) 曲(名詞) 先輩(名詞) 会(名詞) 友達(名詞) 怖い(形容詞) 素敵(名詞) 話(名詞) やっぱ(副詞) 無い(形容詞) ほんとに(副詞) ところ(名詞) とく(動詞) 帰宅(名詞) こ(名詞) おれ(名詞) 奴(名詞)
  • 23. MeCab-pythonで形態素解析 ● PyClusterでクラスタリング ● どっちもCで書いてあるから実行早い!!
  • 28. 本格的に分析しましょう ● 中間発表乗り切ったので、本腰入れて分析し よう!!! – 発表終わった直後にPS3買いに走ったのは内緒だぜぇ ● データクリーニングしないと – ウチの学生じゃない垢含まれてる – プロフィールでだいたい判別できるかな?
  • 29. 正解データ100個ぐらい用意してベイズ分類 器でも作るか? – 精度低そう ● たかだか2,000アカウントぐらいだし、手作 業でやっちゃえ!!!! ● 大量のプロフィールを「正解」「不正解」 「判別不能」に分類 ● 2日ぐらいで終わったからよかったよね
  • 30. ゴールが見えてきたぞ! ● ユーザのクラスタリング – 情報発信クラスタ – 日常会話クラスタ(男) – 日常会話クラスタ(女) – 中間クラスタ ● 利用形態違うよねー – 情報発信はRT多い、PC使う – 日常会話は@多い、スマホ使う
  • 31.
  • 32. 「片想い」に注目 – Facebookは対称 – Twitterは非対称 ● 情報発信する人ほど、片想い/片想われの比 率が高い – Twitterが情報発信によく使われるのって、関係 が非対称だからなのかなー
  • 33. ネットワーク分析もやりましょう – 利用目的違う人たちって、ネットワーク上の分布 も離れてるのかな? ● networkX!!!!!!
  • 34.
  • 35.
  • 36. 情報発信する人たちはやや固まる傾向 – 他はバラバラ ● とはいえ、違う利用目的の人も活発に交流し てるみたいだねー
  • 37. と、分析終わったのはいいが ● お前Python好きだな! ● だって便利だもん ● データ分析にはPythonだよ!!!
  • 38. vs. C, Java, ... ● Pythonの方が覚えるのが楽チン ● コーディングも楽 ● もちろん実行速度は遅いけど……
  • 39. vs. Ruby, Perl, ... ● Pythonは分析系のライブラリが豊富 – Numpy, Scipy – matplotlib – NLTK – networkX ● オライリーのいい感じの本はだいたいPython
  • 40.
  • 41. vs. R ● 最大のライバル!!! – 向こうはライバルと思ってないだろうけど…… ● 統計計算に特化してるだけあって、Rはすっ ごく手軽に計算できる
  • 42. でも、実はRって大規模データに向いてない んだよね…… – メモリがすぐに溢れる ● Pythonの方がメモリの扱いはお上手な気がす る ● Pythonだと API叩いてデータ収集→DBに保 存→分析→グラフ描く まで1つの言語でで きる!!!
  • 43.
  • 44.
  • 45. Pythonのステマは以上。続き ● 分析はできたけど、これで終わりじゃない よ!! ● 論文書いて発表するまでが修士論文です
  • 46. 修士号取るまでが修論です ● TeXで書きました。Wordなんか使ってられ るか ● 製本出して提出すれば、あとは最終試験ある のみ!! – 先生の前でプレゼンして質疑応答 – 先生優しいし、楽勝だろ(ホジ
  • 50. 結論 ● Pythonは便利 ● 日頃の行いが良くない人には報いが訪れる – 神様っているんだね!!! – 報いに備えてバックアップを ● 分析して終わり ではダメ – 論文とか、報告書とか、企画書とか、ブログとか
  • 51. そう、どんなに良い分析したって アウトプットしないと 何の意味もない!!!
  • 52. というわけで、 発表者募集中です!! 社会ネットワーク分析勉強会