Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

時系列データ分析とPython

15,298 views

Published on

時系列データの分析をPythonでやってみた。

Published in: Data & Analytics
  • Dating direct: ♥♥♥ http://bit.ly/2F4cEJi ♥♥♥
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Sex in your area is here: ❶❶❶ http://bit.ly/2F4cEJi ❶❶❶
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

時系列データ分析とPython

  1. 1. 時系列データ分析 と Python
  2. 2. 目次 • 時系列データの特性 • Pythonによる時系列データの取り扱い • Pythonで解析やってみた!(解析例)
  3. 3. 時系列データとは 時間の推移とともに観測されるデータのことで、 観測される順序に意味があることが大きな特徴 である。 <例> 経済・ファイナンシャルデータ(GDP・株価など) 気象データ(気温・湿度・雨量など) 医療データ(脳波・心電図など) アクセスログデータ etc. http://www.kabu-1.jp/beginner/shikumi/kabuka-chart/
  4. 4. 統計手法の多くは、データを「同一の確率分 布から得られた、互いに独立な標本の集まり」 と見なしています。 時系列データでは成り立たない!
  5. 5. よく見かける光景 その1 ヒストグラム ヒストグラムでは標本抽出の順序を考慮していないため、 毎回の標本抽出は互いに独立であることを認めているこ とになる。 時間情報の消失
  6. 6. よく見かける光景 その2 最尤推定 観測点 𝑥 𝑛, 𝑦𝑛 が得られる確率 𝑁 𝑦 𝑛|𝑓 𝑥 𝑛 , 𝜎2 = 1 2𝜋𝜎2 exp − 𝑦𝑛 − 𝑓 𝑥 𝑛 2 2𝜎2 トレーニングセット 𝑥 𝑛, 𝑦𝑛 𝑛=1 𝑁 が得られる確率 𝑃 = 𝑁 𝑦1|𝑓 𝑥1 , 𝜎2 × ⋯ × 𝑁 𝑦 𝑁|𝑓 𝑥 𝑁 , 𝜎2 = 𝑛=1 𝑁 𝑁 𝑦 𝑛|𝑓 𝑥 𝑛 , 𝜎2 データが互いに独立と仮定している
  7. 7. 参考書 Pythonでやります!
  8. 8. 時系列解析に使えるPythonライブラリ • pandas • matplotlib • statsmodels
  9. 9. リッチなデータ構造と関数を提供 金融データ分析のために開発されたため、 時系列分析に最適 DataFrame:2次元データ
  10. 10. データの可視化に有用 IPython + matplotlibは科学計算にとって非常に 生産的な環境を提供 最近はSeabornもよく見かけるが、いまだ デファクトスタンダード
  11. 11. statsmodels statistical modeling and econometrics in Python 数多くの統計モデリング手法を提供 (一般化線形モデル、状態空間モデル、etc.) scipy.statsなどもあるが、おそらく一番機能が 充実している。
  12. 12. 時系列解析やってみた! 東京都における火災件数の推移
  13. 13. 解析の目的 観測される現象の背後にある「しくみ」の理解 例えば・・・ 年々火災件数は減少している →住宅用火災警報機の普及 →IHコンロの普及 冬場は火災が多い →空気が乾燥していて火災が起きやすい →暖房器具が稼働している たまたま多い、たまたま少ないなどのノイズを 除去した形でデータを眺めたい・・
  14. 14. 状態空間モデル • 非常に幅広い概念で、もともとは物理システム の記述に使われていたが、1990年代頃から金 融データをはじめとする時系列データに対する 応用が盛んになる • 状態空間モデルは、観測できない隠れた「状態 モデル」と観測した結果である「観測モデル」 からなる。 • 状態空間モデルを利用する最大のメリットは、 モデリングの柔軟性と増減要因の説明力
  15. 15. 状態空間モデル 観測できない隠れた(状態モデル) xt-1 xt xt+1 隠れた状態から観測した結果(観測モデル) yt-1 yt yt+1 ローカルレベルモデル 𝑦𝑡 = 𝑥𝑡 + 𝜀𝑡 𝜀𝑡~𝑁 0, 𝜎 𝜀 2 :観測値撹乱項 𝑥𝑡+1 = 𝑥𝑡 + 𝜂𝑡 𝜂𝑡~𝑁(0, 𝜎 𝜂 2):状態撹乱項 𝑥𝑡:潜在変数
  16. 16. すべてのデータ𝑦1:𝑇が与えられたもとでのす べての潜在変数(真の水準)を知りたい・・ 𝑝 𝑥1:𝑇|𝑦1:𝑇 事後同時分布 計算きびしい・・・ カルマンフィルタを使おう! 線形ガウス状態空間モデルに対する計算アルゴリズム
  17. 17. 予測とフィルタリング 条件付き分布を1時点ずつ更新して求めていく 逐次計算アルゴリズム カルマンフィルタのイメージ 時間 変数 t-1 t t+1 観測値 予測値 予測 フィルタリング
  18. 18. 解析結果
  19. 19. 解析結果
  20. 20. 今後 「予測にいかす統計モデリングの基本」より抜粋

×