Rinko - twitter mood predicts the stock market

459 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
459
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
6
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Rinko - twitter mood predicts the stock market

  1. 1. Twitter mood predicts the stock market Johan Bollen, Huina Mao, Xiao-Jun Zeng Journal of Computational Science (2010-03) Presented by Annaka 2013-10-16
  2. 2. 2
  3. 3. 3
  4. 4. Summary 株価は、現在の値段よりも情報の影響を受ける。 twitterを分析し、⼤大衆の気分を測定 株価と⼤大衆の気分の関連性を、線形モデルでモデル化 「CALM」の気分と深い関連が⾒見見出された ⾮非線形モデルで学習&テスト 86.7%の精度度でダウ平均株価の上下を当てることに成功 4
  5. 5. Outline 1.  研究背景   2.  ⼿手法説明  “⼤大衆の気分”の測定⼿手法 3.  予備実験 “⼤大衆の気分”と“株価”の因果関係分析 4.  本実験        ⾮非線形モデルでの株価予測 5.  本実験        実験結果 5
  6. 6. Outline 1.  研究背景   2.  ⼿手法説明  “⼤大衆の気分”の測定⼿手法 3.  予備実験 “⼤大衆の気分”と“株価”の因果関係分析 4.  本実験        ⾮非線形モデルでの株価予測 5.  本実験        実験結果 6.  まとめ&コメント 6
  7. 7. 研究背景 チャットの内容から本の売上を予測[Gruhl,2005] ブログの評判から映画の売上を予測[Mishne,2006] 重⼤大ニュースと株価変化の関係[Schumaker,2009] ⼈人間の気分と決断は深い関係がある(⼼心理理学) 7
  8. 8. 研究背景 チャットの内容から本の売上を予測[Gruhl,2005] ブログの評判から映画の売上を予測[Mishne,2006] 重⼤大ニュースと株価変化の関係[Schumaker,2009] ⼈人間の気分と決断は深い関係がある(⼼心理理学) 「⼤大衆の気分」と「株価」に、何か関連性があるかもしれない (あわよくば株価予測ができるかも)[Bollen,2010] ※著者 8
  9. 9. Outline 1.  研究背景   2.  ⼿手法説明  “⼤大衆の気分”の測定⼿手法 3.  予備実験 “⼤大衆の気分”と“株価”の因果関係分析 4.  本実験        ⾮非線形モデルでの株価予測 5.  本実験        実験結果 6.  まとめ&コメント 9
  10. 10. ⼿手法説明  ⼤大衆の気分測定 2種類の気分測定ツールを利利⽤用 Opinion  Finder  (OF) あるテキスト⽂文書が、肯定的(Positive)なのか否定的(Negative)なのかを判定 ①Positive単語辞書とNegative単語辞書を⽤用意 ②⽂文書に含まれるPositive単語とNegative単語の数を集計 ③集計した単語の割合によって判定 Google-‐‑‒Profile  of  Mood  States  (GPOMS) “Calm”,  “Alert”,  “Sure”,  “Vital”,  “Kind”,  “Happy”  の6次元で出⼒力力 ⼼心理理学者が提唱した気分の分類(POMS)をGoogleが改良良したもの ①上記の各気分の6種類の辞書を⽤用意 ②⽂文書に含まれる各気分ごとの単語の数を集計 ③集計した単語の割合によって判定 10
  11. 11. ⼿手法説明  ⼤大衆の気分測定(例例) ①Opinion  Finder  PositiveかNegativeか判定
  12. 12. ⼿手法説明  ⼤大衆の気分測定(例例) ②GPOMS  6種の気分別に数値化
  13. 13. ⼿手法説明  ⼤大衆の気分測定 2種類の気分測定ツールを利利⽤用 Opinion  Finder  (OF) “Sure”,“Happy”と  Positive あるテキスト⽂文書が、肯定的(Positive)なのか否定的(Negative)なのかを判定 は似た性質 ①Positive単語辞書とNegative単語辞書を⽤用意 ②⽂文書に含まれるPositive単語とNegative単語の数を集計 ③集計した単語の割合によって判定 Google-‐‑‒Profile  of  Mood  States  (GPOMS) “Calm”,  “Alert”,  “Sure”,  “Vital”,  “Kind”,  “Happy”  の6次元で出⼒力力 ⼼心理理学者が提唱した気分の分類(POMS)をGoogleが改良良したもの ①上記の各気分の6種類の辞書を⽤用意 ②⽂文書に含まれる各気分ごとの単語の数を集計 ③集計した単語の割合によって判定 13
  14. 14. Outline 1.  研究背景   2.  ⼿手法説明  “⼤大衆の気分”の測定⼿手法 3.  予備実験 “⼤大衆の気分”と“株価”の因果関係分析 4.  本実験        ⾮非線形モデルでの株価予測 5.  本実験        実験結果 6.  まとめ&コメント 14
  15. 15. 予備実験  “⼤大衆の気分”と“株価”の因果関係分析 グレンジャーの因果分析を⾏行行った。 ⽇日付 t における ダウ平均株価の 前⽇日との差 n⽇日前までの 値動き情報 ⽇日付 t-i における 気分Aの値 n⽇日前までの ⼤大衆の気分情報 モデル化した      と、実際のダウ平均株価の変化が どの程度度⼀一致しているか調べる 15
  16. 16. 予備実験(結果) 2-‐‑‒6⽇日前までの情報を使⽤用し、 気分「Calm」の情報を使⽤用した場合が最も良良くモデル化できた 16
  17. 17. 予備実験(結果) ⻘青線:ダウ平均株価の変化 ⾚赤線:「Calm」の情報を⽤用いてモデル化した場合 17
  18. 18. 予備実験(結果) ⻘青線:ダウ平均株価の変化 ⾚赤線:「Calm」の情報を⽤用いてモデル化した場合 18
  19. 19. 本実験  “⼤大衆の気分”と“株価”の因果関係分析 データ: tweet数    :985万tweet   期間      :2008/2/28  ~∼  2008/12/19 ⼈人数      :270万user 訓練セット:2008/2/28  ~∼  2008/11/28 testセット:2008/12/1  ~∼  2008/12/19 モデル: Self-‐‑‒organizing  Fuzzy  Neural  Network(SOFNN)  -‐‑‒  2007年年に提案された、⾃自らでつながりを作っていくNN(?)  -‐‑‒  5層  -‐‑‒  線形モデルよりも精度度が出るはず 19
  20. 20. Outline 1.  研究背景   2.  ⼿手法説明  “⼤大衆の気分”の測定⼿手法 3.  予備実験 “⼤大衆の気分”と“株価”の因果関係分析 4.  本実験        ⾮非線形モデルでの株価予測 5.  本実験        実験結果 6.  まとめ&コメント 20
  21. 21. 本実験  “⼤大衆の気分”と“株価”の因果関係分析 リーマンショック training test 21
  22. 22. Outline 1.  研究背景   2.  ⼿手法説明  “⼤大衆の気分”の測定⼿手法 3.  予備実験 “⼤大衆の気分”と“株価”の因果関係分析 4.  本実験        ⾮非線形モデルでの株価予測 5.  本実験        実験結果 6.  まとめ&コメント 22
  23. 23. 実験結果   使⽤用した特徴量量 値下がりor値上がり の的中率率率(%) 誤差(%) OFのみ 1.95 73.3 何もなし 1.94 73.3 GPOS(Calm) 1.83 86.7 GPOS(Calm+Alert) 2.03 60.0 GPOS(Calm+Sure) 2.13 46.7 GPOS(Calm+Vital) 2.05 60.0 GPOS(Calm+Kind) 1.85 73.3 GPOS(Calm+Happy) 1.79 80.0 23
  24. 24. 実験結果   使⽤用した特徴量量 値下がりor値上がり の的中率率率(%) 誤差(%) OFのみ 1.95 73.3 何もなし 1.94 73.3 GPOS(Calm) 86.7 GPOS(Calm+Sure) 1.83 複数の特徴量量を組み合わせると 2.03 精度度低下 2.13 GPOS(Calm+Vital) 2.05 60.0 GPOS(Calm+Kind) 1.85 73.3 GPOS(Calm+Happy) 1.79 80.0 GPOS(Calm+Alert) 60.0 46.7 24
  25. 25. Outline 1.  研究背景   2.  ⼿手法説明  “⼤大衆の気分”の測定⼿手法 3.  予備実験 “⼤大衆の気分”と“株価”の因果関係分析 4.  本実験        ⾮非線形モデルでの株価予測 5.  本実験        実験結果 6.  まとめ&コメント 25
  26. 26. Summary(再掲) 株価は、現在の値段よりも情報の影響を受ける。 twitterを分析し、⼤大衆の気分を測定 株価と⼤大衆の気分の関連性を、線形モデルでモデル化 「CALM」の気分と深い関連が⾒見見出された ⾮非線形モデルで学習&テスト 86.7%の精度度でダウ平均株価の上下を当てることに成功 26
  27. 27. コメント •  線形モデルよりも、⾮非線形モデルの⽅方が有効だった •  「Calm」の気分が最も有効な特徴量量(理理由不不明) •  複数の気分を組み合わせると精度度が落落ちる(理理由不不 明) •  3-‐‑‒6⽇日分の情報が必要な理理由もうまく説明できない •  値動きを⼤大きく左右するunexpectedなニュースには 対処できない •  unexpectedなニュースに対応できない=実 ⽤用性が無いのでは? •  複数の特徴量量(気分)を組み合わせると精度度が 落落ちるのは、上⼿手くモデル化ができていない 証拠では? 27
  28. 28. 28

×