R勉強会@東京
     第4回



R言語による時系列分析


   hamadakoichi
     濱田 晃一
    2010/04/24
R言語による時系列分析

         各種時系列分析が容易に行えます
ソースコード




実行結果




                           2
位置づけ
         データマイニングの方法論を用いての
            蓄積データの有効活用
                                              統計解析
                ...
位置づけ

                                時系列分析
                                              統計解析
                  Web API
 ...
AGENDA
 ◆自己紹介
 ◆時系列分析とは
 ◆データ操作
 ◆モデル
   ◆ARモデル
   ◆ARMA/ARIMAモデル
   ◆ARFIMAモデル
   ◆ARCHモデル
 ◆最後に
AGENDA
 ◆自己紹介
 ◆時系列分析とは
 ◆データ操作
 ◆モデル
   ◆ARモデル
   ◆ARMA/ARIMAモデル
   ◆ARFIMAモデル
   ◆ARCHモデル
 ◆最後に
hamadakoichi
        濱田晃一
http://iddy.jp/profile/hamadakoichi




                                      7
自己紹介:hamadakoichi 濱田晃一




                         8
自己紹介:hamadakoichi 濱田晃一
   データマイニング+WEB勉強会@東京 主催者です
           ぜひご参加下さい




  Google Group: http://groups.google.com/group/...
自己紹介:hamadakoichi 濱田晃一
        5/16(日) 第4回 データマイニング+WEB勉強会
                          WEB祭り
                              で...
自己紹介:hamadakoichi 濱田晃一
        5/16(日) 第4回 データマイニング+WEB勉強会
                          WEB祭り
                              で...
自己紹介:hamadakoichi 濱田晃一
        5/16(日) 第4回 データマイニング+WEB勉強会
                          WEB祭り
                              で...
データマイニング+WEB勉強会@東京を

  発表者・参加者にとって
  より有意義な場にしたい


   3つの進行方針
                      13
3つの進行方針
           充分な時間を充て
          理解・議論を優先する
  1.充分な時間:
   各テーマごとにしっかり時間を充てる
   (浅く多くではなく、少ないテーマでも深く)

  2.理解:
   進行を急...
自己紹介:hamadakoichi 濱田晃一

                            理論物理 博士
                           量子統計場の理論
Statistical Field Theory  ...
自己紹介:hamadakoichi 濱田晃一

            文部大臣に褒められた
   元 文部大臣・法務大臣      六法全書著者・元法学政治学研究科長
      森山眞弓さん             菅野和夫さん




 ...
自己紹介:hamadakoichi 濱田晃一

        Los Angelesでプロダンサーに褒められた




 ・HIP HOP/House ダンス歴13年
 ・ダンス開始後 1年半でL.A.でプロダンサーに褒められる

 Yout...
自己紹介:hamadakoichi 濱田晃一

            東京と京都で 物理ダンス部を創設




         駒場物理ダンス部                 京都大学基礎物理学研究所ダンス部
          部長兼コ...
数理解析手法の実ビジネス適用

     数理解析手法を実ビジネス適用する
     方法論・システムを作り上げてきました




                          19
数理解析手法の実ビジネス適用

                 数理解析手法を実ビジネス適用する
                 方法論・システムを作り上げてきました
主な領域
◆活動の数理モデル化・解析手法
◆業務プロセス分析手法・再構築...
数理解析手法の実ビジネス適用:例

                                              一品一様の業務プロセスの
                                            動...
数理解析手法の実ビジネス適用:例

                      一品一様の業務プロセスの
                    動的なプロセス制御数理体系を構築
変動性から生じる動的な課題
     ・リソースの競合 ・滞留 ...
数理解析手法の実ビジネス適用:例

                             活動の統一グラフモデルを構築
                                   K.Hamada, F.Kimura,
Unifi...
数理解析手法の実ビジネス適用:例

                      活動の統一グラフモデルを構築
                                   K.Hamada, F.Kimura,
Unified grap...
5月上旬の
講演/トーク予定




           25
2010年5月上旬の講演・トーク予定

                      ぜひお越しください


日               コミュニティ                      会情報
2010/05/01(土)   パターン...
講演:2010/05/01(土)

       パターン認識と機械学習(PRML) Revenge #1
          多項式曲線フィッティング+確率論




PRML Revenge #1 http://atnd.org/event...
講演:2010/05/07(金)

Linux Business Initiative 2010年度総会・ビジネス講演会
         「業務プロセス改革とデータマイニング」

                               ...
講演:2010/05/09(日)

                    Tsukuba.R #7
               「はじめてでも分かる 回帰分析」
                                       ...
AGENDA
 ◆自己紹介
 ◆時系列分析とは
 ◆データ操作
 ◆モデル
   ◆ARモデル
   ◆ARMA/ARIMAモデル
   ◆ARFIMAモデル
   ◆ARCHモデル
 ◆最後に
                    30
時系列データ

            時間変動する要素を
         時間の順序で測定・観測したデータ
時系列データ
・医療データ:心電図、脳波
・気象データ:気温、気圧
・金融データ:株価、為替レート




            ...
時系列データ

            時間変動する要素を
         時間の順序で測定・観測したデータ
時系列データ            2003年ノーベル経済学賞
・医療データ:心電図、脳波     「時系列分析手法」
・気象データ...
時系列データ

            時間変動する要素を
         時間の順序で測定・観測したデータ
時系列データ             2003年ノーベル経済学賞
・医療データ:心電図、脳波      「時系列分析手法」
・気象デ...
時系列データ

                      UKgas
          イギリスのガス消費量の時系列データ
         1960年から1986年まで四半期ごとに観測




                United...
時系列データの形式と属性


       時刻tをインデクスとしたデータ列




                          35
時系列データの形式と属性


       時刻tをインデクスとしたデータ列




                          36
時系列データの形式と属性


       時刻tをインデクスとしたデータ列




                          37
時系列データの形式と属性


       時刻tをインデクスとしたデータ列




                          38
AGENDA
 ◆自己紹介
 ◆時系列解析とは
 ◆データ操作
 ◆モデル
   ◆ARモデル
   ◆ARMA/ARIMAモデル
   ◆ARFIMAモデル
   ◆GARCHモデル
 ◆最後に
                    39
時系列表示

         関数 ts.plot
        折れ線グラフ表示




                      40
データオブジェクトの作成

              関数 ts
           時系列オブジェクト作成
 非時系列オブジェクトから時系列データオブジェクトを作成する




                              ...
ラグ処理

              関数 lag
            時間をシフトする
       定義




                       42
ラグ処理

              関数 lag
            時間をシフトする
       定義




                       43
差分

               関数 diff
            ytからyt-1を引く
            トレンドを除去できる
     差分定義



        UKgas        diff(UKgas)


...
時系列データの統計量


        時系列データの特性を表す統計量
 時系列             に対して

定義 ◆ 標本平均

   ◆    と   の
       標本自己共分散

   ◆    と   の
       ...
時系列データの統計量


        時系列データの特性を表す統計量
 時系列             に対して

定義 ◆ 標本平均

   ◆    と   の
       標本自己共分散

   ◆    と   の
       ...
時系列データの統計量

              関数 acf
         自己共分散、自己相関を求める
 時系列             に対して

定義 ◆ 標本平均

   ◆    と   の
       標本自己共分散

 ...
時系列データの統計量

                関数 acf
           自己共分散、自己相関を求める
acf(x, type=“correlation”, plot = TRUE,…)
 引数
  x : 時系列データ
  ...
時系列データの統計量

                関数 acf
           自己共分散、自己相関を求める




     correlation    covariance   partial
     (自己相関)     ...
スペクトル分析

                    隠された周期性を解析
                   周期成分の強度分布算出
                         フーリエ変換
                   ...
スペクトル分析

            隠された周期性を解析
           周期成分の強度分布算出




                      スペクトル分析       スペクトル分析
   時系列表示   スペクトル分析
...
AGENDA
 ◆自己紹介
 ◆時系列分析とは
 ◆データ操作
 ◆モデル
   ◆ARモデル
   ◆ARMA/ARIMAモデル
   ◆ARFIMAモデル
   ◆ARCHモデル
 ◆最後に
AGENDA
 ◆自己紹介
 ◆時系列分析とは
 ◆データ操作
 ◆モデル
   ◆ARモデル
   ◆ARMA/ARIMAモデル
   ◆ARFIMAモデル
   ◆ARCHモデル
 ◆最後に
ARモデル


          AutoRegression(自己回帰) Model
        時系列時点 t-p から tまでの各データの関係式



             ai : 自己回帰係数 (i=1,..,p)
    ...
関数arとモデル推定

                   ar
             自己回帰モデルを求める関数
     ar(x, aic=TURE,method=“”, order.max=NULL)

引数    x : 時系列...
関数arとモデル推定




             56
関数arとモデル推定




             57
予測

               Predict
     自己回帰モデルarで求めたモデルを用い予測する
       1986年までのデータから1987以降を予測




                                ...
予測

               Predict
     自己回帰モデルarで求めたモデルを用い予測する
       1986年までのデータから1987以降を予測




                                ...
AGENDA
 ◆自己紹介
 ◆時系列分析とは
 ◆データ操作
 ◆モデル
   ◆ARモデル
   ◆ARMA/ARIMAモデル
   ◆ARFIMAモデル
   ◆ARCHモデル
 ◆最後に
                    60
ARMA/ARIMAモデル

                   ARMAモデル:AR(p,q)
     (AutoRegressive Moving Average:自己回帰移動平均)
        ARモデルに残差の移動平均を加えたモ...
ARMA/ARIMAモデル

                   ARMAモデル:AR(p,q)
     (AutoRegressive Moving Average:自己回帰移動平均)
        ARモデルに残差の移動平均を加えたモ...
ARMA/ARIMAモデル

                   ARMAモデル:AR(p,q)
     (AutoRegressive Moving Average:自己回帰移動平均)
         ARモデルに残差の移動平均を加えた...
関数armaとモデル推定

           関数 arima
  単変量時系列データを当てはめるARMAモデル関数


        arima(x, order =c(0,0,0),..))

引数    x : 時系列データ
   ...
モデルの選択

        引数orderのp,d,qの決定
   情報量規準値が最も小さい組み合わせを用いる




                           65
AGENDA
 ◆自己紹介
 ◆時系列分析とは
 ◆データ操作
 ◆モデル
   ◆ARモデル
   ◆ARMA/ARIMAモデル
   ◆ARFIMAモデル
   ◆ARCHモデル
 ◆最後に
                    66
ARFIMAモデル
                       ARFIMAモデル
    (AutoRegressive Fractionally Integrated Moving Average)
                  自...
AGENDA
 ◆自己紹介
 ◆時系列分析とは
 ◆データ操作
 ◆モデル
   ◆ARモデル
   ◆ARMA/ARIMAモデル
   ◆ARFIMAモデル
   ◆ARCHモデル
 ◆最後に
                    68
ARCHモデル
                         ARCHモデル
          (AutoRegressive Conditional Heteroscedastic)
                 自己回帰条件付き分...
ARCHモデル
                         ARCHモデル
          (AutoRegressive Conditional Heteroscedastic)
                 自己回帰条件付き分...
ARCHモデル
                         ARCHモデル
          (AutoRegressive Conditional Heteroscedastic)
                 自己回帰条件付き分...
AGENDA
 ◆自己紹介
 ◆時系列分析とは
 ◆データ操作
 ◆モデル
   ◆ARモデル
   ◆ARMA/ARIMAモデル
   ◆ARFIMAモデル
   ◆ARCHモデル
 ◆最後に
                    72
最後に

      蓄積されたデータを有効活用してきたい




                           73
最後に

      蓄積されたデータを有効活用してきたい




  Google Group: http://groups.google.com/group/webmining-tokyo

                        ...
最後に

               データマイニング+WEB勉強会
                発表者を募集しています




 連絡
  Google Group: http://groups.google.com/group/web...
最後に
      5/16(日) 第4回 データマイニング+WEB勉強会
                WEB祭り
                  です




                                    76
最後に
        5/16(日) 第4回 データマイニング+WEB勉強会
                          WEB祭り
                              です

 AGENDA      5/1...
推薦文献
推薦文献リンク




          Rによるデータサイエンス
           によるデータサイエンス
           による
          ~データ解析の基礎から最新手法まで ~
           データ解析の基礎...
ご清聴ありがとうございました




                 80
AGENDA
 ◆自己紹介
 ◆時系列分析とは
 ◆データ操作
 ◆モデル
   ◆ARモデル
   ◆ARMA/ARIMAモデル
   ◆ARFIMAモデル
   ◆ARCHモデル
 ◆最後に
                    81
目的: データマイニング+WEB勉強会@東京

        データマイニングの方法論を用い
     蓄積されたデータを有効活用していく方法を学ぶ
                                            統計...
Upcoming SlideShare
Loading in...5
×

[R勉強会][データマイニング] R言語による時系列分析

38,601

Published on

第4回R勉強会@東京(10/4/24)の講師資料です。hamadakoichi
R言語による時系列分析。

Published in: Technology
0 Comments
47 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
38,601
On Slideshare
0
From Embeds
0
Number of Embeds
11
Actions
Shares
0
Downloads
0
Comments
0
Likes
47
Embeds 0
No embeds

No notes for slide

Transcript of "[R勉強会][データマイニング] R言語による時系列分析"

  1. 1. R勉強会@東京 第4回 R言語による時系列分析 hamadakoichi 濱田 晃一 2010/04/24
  2. 2. R言語による時系列分析 各種時系列分析が容易に行えます ソースコード 実行結果 2
  3. 3. 位置づけ データマイニングの方法論を用いての 蓄積データの有効活用 統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析 時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析 はてな Web Service 判別分析 主成分分析 因子分析 (Bookmark/Graph/Keyword,…) Bookmark/Graph/Keyword, カーネル法 Google Data API 樹木モデル FinancePortfolioData,…) (Calendar/Maps/BookSearch/ FinancePortfolioData, ニューラルネットワーク サポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的 熱力学的 シミュレーテドアニーリング 力学モデルによる最適化 タブーサーチ グラフ … 最適解探索 アルゴリズム 3
  4. 4. 位置づけ 時系列分析 統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析 時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析 はてな Web Service 判別分析 主成分分析 因子分析 (Bookmark/Graph/Keyword,…) Bookmark/Graph/Keyword, カーネル法 Google Data API 樹木モデル FinancePortfolioData,…) (Calendar/Maps/BookSearch/ FinancePortfolioData, ニューラルネットワーク サポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的 熱力学的 シミュレーテドアニーリング 力学モデルによる最適化 タブーサーチ グラフ … 最適解探索 アルゴリズム 4
  5. 5. AGENDA ◆自己紹介 ◆時系列分析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆ARCHモデル ◆最後に
  6. 6. AGENDA ◆自己紹介 ◆時系列分析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆ARCHモデル ◆最後に
  7. 7. hamadakoichi 濱田晃一 http://iddy.jp/profile/hamadakoichi 7
  8. 8. 自己紹介:hamadakoichi 濱田晃一 8
  9. 9. 自己紹介:hamadakoichi 濱田晃一 データマイニング+WEB勉強会@東京 主催者です ぜひご参加下さい Google Group: http://groups.google.com/group/webmining-tokyo 9
  10. 10. 自己紹介:hamadakoichi 濱田晃一 5/16(日) 第4回 データマイニング+WEB勉強会 WEB祭り です AGENDA 5/16(日) 13:00 - 19:00 -ソーシャルウェブとレコメンデーション(仮) 講師:@hamadakoichi (60分) -WEB行動マイニング(仮) (講師:@kur) (60分) -Hadoop最前線(仮) (講師:@yanaoki)(60分)※調整中 -大規模WEB行動マイニング(仮) (講師:@karubi) (60分) -WEB APIと画像分類最適化(仮) (講師:@yokkuns) (60分) -※追加募集中 定員:20名 アナウンス Google Group: http://groups.google.com/group/webmining-tokyo Twitter : http://twitter.com/hamadakoichi 10
  11. 11. 自己紹介:hamadakoichi 濱田晃一 5/16(日) 第4回 データマイニング+WEB勉強会 WEB祭り です AGENDA 5/16(日) 13:00 - 19:00 -ソーシャルウェブとレコメンデーション(仮) 講師:@hamadakoichi (60分) -WEB行動マイニング(仮) (講師:@kur) (60分) -Hadoop最前線(仮) (講師:@yanaoki)(60分)※調整中 -大規模WEB行動マイニング(仮) (講師:@karubi) (60分) -WEB APIと画像分類最適化(仮) (講師:@yokkuns) (60分) -※追加募集中 定員:20名 アナウンス Google Group: http://groups.google.com/group/webmining-tokyo Twitter : http://twitter.com/hamadakoichi 11
  12. 12. 自己紹介:hamadakoichi 濱田晃一 5/16(日) 第4回 データマイニング+WEB勉強会 WEB祭り です AGENDA 5/16(日) 13:00 - 19:00 -ソーシャルウェブとレコメンデーション(仮) (講師:@hamadakoichi) (60分) -WEB行動マイニング(仮) (講師:@kur) (60分) -Hadoop最前線(仮) (講師:@yanaoki)(60分) -大規模WEB行動マイニング(仮) (講師:@karubi) (60分) -WEB APIと画像分類最適化(仮) (講師:@yokkuns) (60分) -※追加募集中 定員:20名 アナウンス Google Group: http://groups.google.com/group/webmining-tokyo Twitter : http://twitter.com/hamadakoichi 12
  13. 13. データマイニング+WEB勉強会@東京を 発表者・参加者にとって より有意義な場にしたい 3つの進行方針 13
  14. 14. 3つの進行方針 充分な時間を充て 理解・議論を優先する 1.充分な時間: 各テーマごとにしっかり時間を充てる (浅く多くではなく、少ないテーマでも深く) 2.理解: 進行を急がない。分からないところはすぐ質問。 講師・各メンバーからの返答で、みなで理解を深めることを優先する。 3.議論: 議論時間をしっかりとる。 各分野の意見の共有、皆での発想・創造を優先する。 全員でのフラットな議論。講師にとっても有意義な場となるようにする。 14
  15. 15. 自己紹介:hamadakoichi 濱田晃一 理論物理 博士 量子統計場の理論 Statistical Field Theory Spontaneously Time-Reversal Symmetry Breaking Anisotropic Massless Dirac Fermions 博士論文(2004/03): http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf 15
  16. 16. 自己紹介:hamadakoichi 濱田晃一 文部大臣に褒められた 元 文部大臣・法務大臣 六法全書著者・元法学政治学研究科長 森山眞弓さん 菅野和夫さん 16
  17. 17. 自己紹介:hamadakoichi 濱田晃一 Los Angelesでプロダンサーに褒められた ・HIP HOP/House ダンス歴13年 ・ダンス開始後 1年半でL.A.でプロダンサーに褒められる Youtube Channel: http://www.youtube.com/hamadakoichi 17
  18. 18. 自己紹介:hamadakoichi 濱田晃一 東京と京都で 物理ダンス部を創設 駒場物理ダンス部 京都大学基礎物理学研究所ダンス部 部長兼コーチ 部長兼コーチ 現在: 毎週末 3時間ダンスコーチ Youtube Channel: http://www.youtube.com/hamadakoichi 18
  19. 19. 数理解析手法の実ビジネス適用 数理解析手法を実ビジネス適用する 方法論・システムを作り上げてきました 19
  20. 20. 数理解析手法の実ビジネス適用 数理解析手法を実ビジネス適用する 方法論・システムを作り上げてきました 主な領域 ◆活動の数理モデル化・解析手法 ◆業務プロセス分析手法・再構築手法 ◆業務プロセス実行制御・実績解析システム … K. Hamada, F.Kimura, M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada, "Unified graph representation of processes “Decoupling Executions in Navigating Manufacturing for scheduling with flexible resource Processes for Shortening Lead Time and Its Implementation assignment", to an Unmanned Machine Shop”, to be published in CIRP ICMS (2010). CIRP Annals - Manufacturing Technology Volume 56, Issue 1, Pages 171-174 (2007) 20
  21. 21. 数理解析手法の実ビジネス適用:例 一品一様の業務プロセスの 動的なプロセス制御数理体系を構築 全体生産リードタイム中央値を 1/2.7に短縮 設計開始~頭だし出荷リードタイム 体系適用 500 適用後 設計開始~頭だし 出荷C T 360.4h(15.0日) 400 1/2.7 300 200 100 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 141.6h(5.9日) 00 00 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 0 7 4 1 8 5 1 8 5 2 9 6 3 0 /2 /2 /0 /1 /1 /2 /0 /0 /1 /2 /2 /0 /1 /2 / 09 / 09 / 10 / 10 / 10 / 10 / 11 / 11 / 11 / 11 / 11 / 12 / 12 / 12 04 04 04 04 04 04 04 04 04 04 04 04 04 04 20 20 20 20 20 20 20 20 20 20 20 20 20 20 週集計開始日時 21
  22. 22. 数理解析手法の実ビジネス適用:例 一品一様の業務プロセスの 動的なプロセス制御数理体系を構築 変動性から生じる動的な課題 ・リソースの競合 ・滞留 ・納期遅延 … 一品一様な業務プロセスを含む 統計解析・制御数理モデル ・統計的な有効変数算出 ・統計数理モデル化 -優先順位制御 -実行タイミング制御 -統計フィードバック -適正リソース量算出 ・予測数理体系 論文(体系の一部) M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada, “Decoupling Executions in Navigating Manufacturing Processes for Shortening Lead Time and Its Implementation to an Unmanned Machine Shop”, CIRP Annals - Manufacturing Technology Volume 56, Issue 1, Pages 171-174 (2007) 22
  23. 23. 数理解析手法の実ビジネス適用:例 活動の統一グラフモデルを構築 K.Hamada, F.Kimura, Unified graph representation of processes for scheduling with flexible resource assignment, to be published in CIRP 2010 青字:割付モデル属性 [ ] : Optional Node ・priority(優先度) Edge ・duration(予定時間) [・earliest(再早開始日時) ] Process Edge Process [・deadline(納期) ] [・or(条件集約数) ] 前プロセスの終了後に後プロセスが プロセスを表す 開始できること表す ・attributes(属性) preemptable(中断可否), successive(引継ぎ可否) Uses Edge workload(作業負荷) Processが使用する uses uses uses uses uses uses Assign Region を表す Assign Region Assigns from Edge 同一Resourceを割付け続ける Assign Regionに assigns from assigns from 指定Resourceの子Resource集合の 範囲を表す assigns assigns 中から割付けることを示す 工場01 [process] has has [startDate(開始日時)] [endDate(終了日時)] Assigns Edge 型01 仕上WG StartDateからEndDateまでの間 Resource has Assign RegionにResourceを 割付対象要素を表す has has has has has has 割付けることを表す ・capacity(容量) ・calender(カレンダー) CAVI01 CORE01 … 山田さん 田中さん 鈴木さん ・attributes(属性) Has Edge 東さん Resourceの所有関係を表す 23
  24. 24. 数理解析手法の実ビジネス適用:例 活動の統一グラフモデルを構築 K.Hamada, F.Kimura, Unified graph representation of processes for scheduling with flexible resource assignment, to be published in CIRP 2010 24
  25. 25. 5月上旬の 講演/トーク予定 25
  26. 26. 2010年5月上旬の講演・トーク予定 ぜひお越しください 日 コミュニティ 会情報 2010/05/01(土) パターン認識と機械学習 ・多項式曲線フィッティング (PRML) Revenge #1 ・確率論 2010/05/07(金) Linux Business Initiative 業務プロセス改革とデータマイ 2010年度総会・ビジネス ニング 講演会 2010/05/09(日) Tsukuba.R #7 はじめてでもわかる回帰分析 (線形回帰、非線形回帰ともに) 26
  27. 27. 講演:2010/05/01(土) パターン認識と機械学習(PRML) Revenge #1 多項式曲線フィッティング+確率論 PRML Revenge #1 http://atnd.org/events/4115 27
  28. 28. 講演:2010/05/07(金) Linux Business Initiative 2010年度総会・ビジネス講演会 「業務プロセス改革とデータマイニング」 蓄積データの有効活用 LBIビジネス講演会 http://www.lbi.gr.jp/modules/eguide/event.php?eid=31 28
  29. 29. 講演:2010/05/09(日) Tsukuba.R #7 「はじめてでも分かる 回帰分析」 事象発生の関数形の推測 ・線形回帰(単・重) ・非線形回帰 Tokyo.R #4 http://atnd.org/events/3930 29
  30. 30. AGENDA ◆自己紹介 ◆時系列分析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆ARCHモデル ◆最後に 30
  31. 31. 時系列データ 時間変動する要素を 時間の順序で測定・観測したデータ 時系列データ ・医療データ:心電図、脳波 ・気象データ:気温、気圧 ・金融データ:株価、為替レート 31
  32. 32. 時系列データ 時間変動する要素を 時間の順序で測定・観測したデータ 時系列データ 2003年ノーベル経済学賞 ・医療データ:心電図、脳波 「時系列分析手法」 ・気象データ:気温、気圧 Clive W.J. Granger ・金融データ:株価、為替レート Robert F. Engle 32
  33. 33. 時系列データ 時間変動する要素を 時間の順序で測定・観測したデータ 時系列データ 2003年ノーベル経済学賞 ・医療データ:心電図、脳波 「時系列分析手法」 ・気象データ:気温、気圧 Clive W.J. Granger ・金融データ:株価、為替レート Robert F. Engle 例:UKgas イギリスのガス消費量の時系列データ 年 33
  34. 34. 時系列データ UKgas イギリスのガス消費量の時系列データ 1960年から1986年まで四半期ごとに観測 United Kingdom Gas 年 1Q 2Q 3Q 4Q 34
  35. 35. 時系列データの形式と属性 時刻tをインデクスとしたデータ列 35
  36. 36. 時系列データの形式と属性 時刻tをインデクスとしたデータ列 36
  37. 37. 時系列データの形式と属性 時刻tをインデクスとしたデータ列 37
  38. 38. 時系列データの形式と属性 時刻tをインデクスとしたデータ列 38
  39. 39. AGENDA ◆自己紹介 ◆時系列解析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆GARCHモデル ◆最後に 39
  40. 40. 時系列表示 関数 ts.plot 折れ線グラフ表示 40
  41. 41. データオブジェクトの作成 関数 ts 時系列オブジェクト作成 非時系列オブジェクトから時系列データオブジェクトを作成する 41
  42. 42. ラグ処理 関数 lag 時間をシフトする 定義 42
  43. 43. ラグ処理 関数 lag 時間をシフトする 定義 43
  44. 44. 差分 関数 diff ytからyt-1を引く トレンドを除去できる 差分定義 UKgas diff(UKgas) 44
  45. 45. 時系列データの統計量 時系列データの特性を表す統計量 時系列 に対して 定義 ◆ 標本平均 ◆ と の 標本自己共分散 ◆ と の 標本自己相関関数 45
  46. 46. 時系列データの統計量 時系列データの特性を表す統計量 時系列 に対して 定義 ◆ 標本平均 ◆ と の 標本自己共分散 ◆ と の 標本自己相関関数 平均や自己共分散 時間変化しない ⇒定常時系列 時間変化する ⇒非定常時系列 46
  47. 47. 時系列データの統計量 関数 acf 自己共分散、自己相関を求める 時系列 に対して 定義 ◆ 標本平均 ◆ と の 標本自己共分散 ◆ と の 標本自己相関関数 平均や自己共分散 時間変化しない ⇒定常時系列 時間変化する ⇒非定常時系列 47
  48. 48. 時系列データの統計量 関数 acf 自己共分散、自己相関を求める acf(x, type=“correlation”, plot = TRUE,…) 引数 x : 時系列データ type : “correlation(自己相関)”, “covariance(自己共分散)”, “partial(偏相関)”, (デフォルト:“correlation(自己相関)”) plot :自動図示の指定(デフォルト:TRUE) 48
  49. 49. 時系列データの統計量 関数 acf 自己共分散、自己相関を求める correlation covariance partial (自己相関) (自己共分散) (偏相関) 49
  50. 50. スペクトル分析 隠された周期性を解析 周期成分の強度分布算出 フーリエ変換 時間k成分 ⇒ 振動数f成分 Spectrum (Power Spectral density Function) 時系列の自己共分散のフーリエ変換 Periodgram 標本データの自己共分散のフーリエ変換 50
  51. 51. スペクトル分析 隠された周期性を解析 周期成分の強度分布算出 スペクトル分析 スペクトル分析 時系列表示 スペクトル分析 (Daniell平滑化) (自己回帰) 51
  52. 52. AGENDA ◆自己紹介 ◆時系列分析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆ARCHモデル ◆最後に
  53. 53. AGENDA ◆自己紹介 ◆時系列分析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆ARCHモデル ◆最後に
  54. 54. ARモデル AutoRegression(自己回帰) Model 時系列時点 t-p から tまでの各データの関係式 ai : 自己回帰係数 (i=1,..,p) p : 次数 et: 残差(平均0、分散σ2)の正規分布 モデル推定 Yule-Walker法, 最小2乗法 最尤法, Burg法, … 次数 p と 自己回帰係数 ai (i=1,..,p)を決定する 次数pのARモデル AR(p) 54
  55. 55. 関数arとモデル推定 ar 自己回帰モデルを求める関数 ar(x, aic=TURE,method=“”, order.max=NULL) 引数 x : 時系列データ aic : モデルを評価する情報量基準AICを用いるか method :自己回帰を推定する方法 “yule-walker (ユールウォーカー法)(Default)”, “ols(最小2乗法)”, “mle(最尤法)”, “burg(バーグ法)” order.max : 次数の最大値を指定 55
  56. 56. 関数arとモデル推定 56
  57. 57. 関数arとモデル推定 57
  58. 58. 予測 Predict 自己回帰モデルarで求めたモデルを用い予測する 1986年までのデータから1987以降を予測 58
  59. 59. 予測 Predict 自己回帰モデルarで求めたモデルを用い予測する 1986年までのデータから1987以降を予測 59
  60. 60. AGENDA ◆自己紹介 ◆時系列分析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆ARCHモデル ◆最後に 60
  61. 61. ARMA/ARIMAモデル ARMAモデル:AR(p,q) (AutoRegressive Moving Average:自己回帰移動平均) ARモデルに残差の移動平均を加えたモデル 残差の移動平均 61
  62. 62. ARMA/ARIMAモデル ARMAモデル:AR(p,q) (AutoRegressive Moving Average:自己回帰移動平均) ARモデルに残差の移動平均を加えたモデル 残差の移動平均 ytのd階の差分演算子のモデル 62
  63. 63. ARMA/ARIMAモデル ARMAモデル:AR(p,q) (AutoRegressive Moving Average:自己回帰移動平均) ARモデルに残差の移動平均を加えたモデル 残差の移動平均 ytのd階の差分演算子のモデル ARIMAモデル:AR(p,d,q) (AutoRegressive Integrated Moving Average:自己回帰和分移動平均) 63
  64. 64. 関数armaとモデル推定 関数 arima 単変量時系列データを当てはめるARMAモデル関数 arima(x, order =c(0,0,0),..)) 引数 x : 時系列データ order : (自己回帰の次数 p, 差分の階数 d, 過去の残差の移動平均の次数q) ARIMAモデル:AR(p,d,q) 64
  65. 65. モデルの選択 引数orderのp,d,qの決定 情報量規準値が最も小さい組み合わせを用いる 65
  66. 66. AGENDA ◆自己紹介 ◆時系列分析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆ARCHモデル ◆最後に 66
  67. 67. ARFIMAモデル ARFIMAモデル (AutoRegressive Fractionally Integrated Moving Average) 自己回帰実数和分移動平均 ARMAモデルの過剰差分を克服する 差分の次数dを任意の次数に一般化 fracdiff(x, nar =0,dtol=NULL, nma=0,..)) 引数 x : 時系列データ nar : 自己回帰の次数 p, tdol:差分の階数 d, nma:過去の残差の移動平均の次数q 67
  68. 68. AGENDA ◆自己紹介 ◆時系列分析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆ARCHモデル ◆最後に 68
  69. 69. ARCHモデル ARCHモデル (AutoRegressive Conditional Heteroscedastic) 自己回帰条件付き分散不均一 ARCHモデル 条件付平均 条件付分散 の 正規分布 に従う。 69
  70. 70. ARCHモデル ARCHモデル (AutoRegressive Conditional Heteroscedastic) 自己回帰条件付き分散不均一 ARCHモデル 条件付平均 条件付分散 の 正規分布 に従う。 拡張 GARCH (Generalized ARCH)モデル 70
  71. 71. ARCHモデル ARCHモデル (AutoRegressive Conditional Heteroscedastic) 自己回帰条件付き分散不均一 ARCHモデル 条件付平均 条件付分散 の 正規分布 に従う。 拡張 GARCH (Generalized ARCH)モデル R言語でのGARCHモデル当てはめ関数 ・garch (package : tseries) ・garchfit (package: fSeries) 71
  72. 72. AGENDA ◆自己紹介 ◆時系列分析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆ARCHモデル ◆最後に 72
  73. 73. 最後に 蓄積されたデータを有効活用してきたい 73
  74. 74. 最後に 蓄積されたデータを有効活用してきたい Google Group: http://groups.google.com/group/webmining-tokyo 74
  75. 75. 最後に データマイニング+WEB勉強会 発表者を募集しています 連絡 Google Group: http://groups.google.com/group/webmining-tokyo Twitter : http://twitter.com/hamadakoichi 75
  76. 76. 最後に 5/16(日) 第4回 データマイニング+WEB勉強会 WEB祭り です 76
  77. 77. 最後に 5/16(日) 第4回 データマイニング+WEB勉強会 WEB祭り です AGENDA 5/16(日) 13:00 - 19:00 -ソーシャルウェブとレコメンデーション(仮) (講師:@hamadakoichi) (60分) -WEB行動マイニング(仮) (講師:@kur) (60分) -Hadoop最前線(仮) (講師:@yanaoki)(60分) -大規模WEB行動マイニング(仮) (講師:@karubi) (60分) -WEB APIと画像分類最適化(仮) (講師:@yokkuns) (60分) -※追加募集中 定員:20名 アナウンス Google Group: http://groups.google.com/group/webmining-tokyo Twitter : http://twitter.com/hamadakoichi 77
  78. 78. 推薦文献
  79. 79. 推薦文献リンク Rによるデータサイエンス によるデータサイエンス による ~データ解析の基礎から最新手法まで ~ データ解析の基礎から最新手法まで 解析 から最新手法 Rによる時系列分析入門 による時系列分析入門 による
  80. 80. ご清聴ありがとうございました 80
  81. 81. AGENDA ◆自己紹介 ◆時系列分析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆ARCHモデル ◆最後に 81
  82. 82. 目的: データマイニング+WEB勉強会@東京 データマイニングの方法論を用い 蓄積されたデータを有効活用していく方法を学ぶ 統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析 時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析 はてな Web Service 判別分析 主成分分析 因子分析 (Bookmark/Graph/Keyword,…) Bookmark/Graph/Keyword, カーネル法 Google Data API 樹木モデル (Calendar/Maps/BookSearch/ FinancePortfolioData,…) FinancePortfolioData, ニューラルネットワーク サポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的 熱力学的 シミュレーテドアニーリング 力学モデルによる最適化 タブーサーチ グラフ … 最適解探索 アルゴリズム 82

×