[Ｒ勉強会][データマイニング] R言語による時系列分析

1. R勉強会@東京第4回 R言語による時系列分析 hamadakoichi 濱田晃一 2010/04/24

2. R言語による時系列分析各種時系列分析が容易に行えますソースコード実行結果 2

3. 位置づけデータマイニングの方法論を用いての蓄積データの有効活用統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析はてな Web Service 判別分析主成分分析因子分析 (Bookmark/Graph/Keyword,…) カーネル法 Google Data API 樹木モデル (Calendar/Maps/BookSearch/ FinancePortfolioData,…) ニューラルネットワークサポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的熱力学的シミュレーテドアニーリング力学モデルによる最適化タブーサーチグラフ … 最適解探索アルゴリズム 3

4. 位置づけ時系列分析統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析はてな Web Service 判別分析主成分分析因子分析 (Bookmark/Graph/Keyword,…) カーネル法 Google Data API 樹木モデル (Calendar/Maps/BookSearch/ FinancePortfolioData,…) ニューラルネットワークサポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的熱力学的シミュレーテドアニーリング力学モデルによる最適化タブーサーチグラフ … 最適解探索アルゴリズム 4

5. AGENDA ◆自己紹介 ◆時系列分析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆ARCHモデル ◆最後に

7. hamadakoichi 濱田晃一 http://iddy.jp/profile/hamadakoichi 7

8. 自己紹介：hamadakoichi 濱田晃一 8

9. 自己紹介：hamadakoichi 濱田晃一データマイニング+WEB勉強会＠東京主催者ですぜひご参加下さい Google Group： http://groups.google.com/group/webmining-tokyo 9

10. 自己紹介：hamadakoichi 濱田晃一 5/16(日) 第４回データマイニング+WEB勉強会ＷＥＢ祭りです AGENDA 5/16(日) 13:00 - 19:00 -ソーシャルウェブとレコメンデーション（仮）講師:@hamadakoichi (60分) -WEB行動マイニング（仮） (講師:@kur) (60分) -Hadoop最前線（仮） (講師:@yanaoki)（60分）※調整中 -大規模WEB行動マイニング（仮） (講師:@karubi) (60分) -WEB APIと画像分類最適化（仮） (講師:@yokkuns) (60分) -※追加募集中定員：20名アナウンス Google Group： http://groups.google.com/group/webmining-tokyo Twitter ： http://twitter.com/hamadakoichi 10

11. 自己紹介：hamadakoichi 濱田晃一 5/16(日) 第４回データマイニング+WEB勉強会ＷＥＢ祭りです AGENDA 5/16(日) 13:00 - 19:00 -ソーシャルウェブとレコメンデーション（仮）講師:@hamadakoichi (60分) -WEB行動マイニング（仮） (講師:@kur) (60分) -Hadoop最前線（仮） (講師:@yanaoki)（60分）※調整中 -大規模WEB行動マイニング（仮） (講師:@karubi) (60分) -WEB APIと画像分類最適化（仮） (講師:@yokkuns) (60分) -※追加募集中定員：20名アナウンス Google Group： http://groups.google.com/group/webmining-tokyo Twitter ： http://twitter.com/hamadakoichi 11

12. 自己紹介：hamadakoichi 濱田晃一 5/16(日) 第４回データマイニング+WEB勉強会ＷＥＢ祭りです AGENDA 5/16(日) 13:00 - 19:00 -ソーシャルウェブとレコメンデーション（仮） (講師:@hamadakoichi) (60分) -WEB行動マイニング（仮） (講師:@kur) (60分) -Hadoop最前線（仮） (講師:@yanaoki)(60分) -大規模WEB行動マイニング（仮） (講師:@karubi) (60分) -WEB APIと画像分類最適化（仮） (講師:@yokkuns) (60分) -※追加募集中定員：20名アナウンス Google Group： http://groups.google.com/group/webmining-tokyo Twitter ： http://twitter.com/hamadakoichi 12

13. データマイニング+WEB勉強会＠東京を発表者・参加者にとってより有意義な場にしたい３つの進行方針 13

14. ３つの進行方針充分な時間を充て理解・議論を優先する１．充分な時間：各テーマごとにしっかり時間を充てる（浅く多くではなく、少ないテーマでも深く）２．理解：進行を急がない。分からないところはすぐ質問。講師・各メンバーからの返答で、みなで理解を深めることを優先する。３．議論：議論時間をしっかりとる。各分野の意見の共有、皆での発想・創造を優先する。全員でのフラットな議論。講師にとっても有意義な場となるようにする。 14

15. 自己紹介：hamadakoichi 濱田晃一理論物理博士量子統計場の理論 Statistical Field Theory Spontaneously Time-Reversal Symmetry Breaking Anisotropic Massless Dirac Fermions 博士論文(2004/03)： http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf 15

16. 自己紹介：hamadakoichi 濱田晃一文部大臣に褒められた元文部大臣・法務大臣六法全書著者・元法学政治学研究科長森山眞弓さん菅野和夫さん 16

17. 自己紹介：hamadakoichi 濱田晃一 Los Angelesでプロダンサーに褒められた・HIP HOP/House ダンス歴１３年・ダンス開始後 1年半でL.A.でプロダンサーに褒められる Youtube Channel： http://www.youtube.com/hamadakoichi 17

18. 自己紹介：hamadakoichi 濱田晃一東京と京都で物理ダンス部を創設駒場物理ダンス部京都大学基礎物理学研究所ダンス部部長兼コーチ部長兼コーチ現在：毎週末３時間ダンスコーチ Youtube Channel： http://www.youtube.com/hamadakoichi 18

19. 数理解析手法の実ビジネス適用数理解析手法を実ビジネス適用する方法論・システムを作り上げてきました 19

20. 数理解析手法の実ビジネス適用数理解析手法を実ビジネス適用する方法論・システムを作り上げてきました主な領域 ◆活動の数理モデル化・解析手法 ◆業務プロセス分析手法・再構築手法 ◆業務プロセス実行制御・実績解析システム … K. Hamada, F.Kimura, M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada, "Unified graph representation of processes “Decoupling Executions in Navigating Manufacturing for scheduling with flexible resource Processes for Shortening Lead Time and Its Implementation assignment", to an Unmanned Machine Shop”, to be published in CIRP ICMS (2010). CIRP Annals - Manufacturing Technology Volume 56, Issue 1, Pages 171-174 (2007) 20

21. 数理解析手法の実ビジネス適用：例一品一様の業務プロセスの動的なプロセス制御数理体系を構築全体生産リードタイム中央値を 1/2.7に短縮設計開始～頭だし出荷リードタイム開始日時の箱ひげ図設計開始～頭だし出荷 CT対週集計体系適用 500 適用後設計開始～頭だし出荷CT 400 360.4h(15.0日) 1/2.7 300 200 100 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 141.6h(5.9日) 00 00 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 0 7 4 1 8 5 1 8 5 2 9 6 3 0 /2 /2 /0 /1 /1 /2 /0 /0 /1 /2 /2 /0 /1 /2 / 09 / 09 / 10 / 10 / 10 / 10 / 11 / 11 / 11 / 11 / 11 / 12 / 12 / 12 04 04 04 04 04 04 04 04 04 04 04 04 04 04 20 20 20 20 20 20 20 20 20 20 20 20 20 20 週集計開始日時 21

22. 数理解析手法の実ビジネス適用：例一品一様の業務プロセスの動的なプロセス制御数理体系を構築変動性から生じる動的な課題・リソースの競合・滞留・納期遅延 … 一品一様な業務プロセスを含む統計解析・制御数理モデル・統計的な有効変数算出・統計数理モデル化－優先順位制御－実行タイミング制御－統計フィードバック－適正リソース量算出・予測数理体系論文（体系の一部） M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada, “Decoupling Executions in Navigating Manufacturing Processes for Shortening Lead Time and Its Implementation to an Unmanned Machine Shop”, CIRP Annals - Manufacturing Technology Volume 56, Issue 1, Pages 171-174 (2007) 22

23. 数理解析手法の実ビジネス適用：例活動の統一グラフモデルを構築 K.Hamada, F.Kimura, Unified graph representation of processes for scheduling with flexible resource assignment, to be published in CIRP 2010 青字：割付モデル属性 [ ] : Optional Node ・priority(優先度) Edge ・duration(予定時間) [・earliest(再早開始日時) ] Process Edge Process [・deadline(納期) ] [・or(条件集約数) ] 前プロセスの終了後に後プロセスがプロセスを表す開始できること表す・attributes（属性） preemptable(中断可否), successive(引継ぎ可否) Uses Edge workload(作業負荷) Processが使用する uses uses uses uses uses uses Assign Region を表す Assign Region Assigns from Edge 同一Resourceを割付け続ける Assign Regionに assigns from assigns from 指定Resourceの子Resource集合の範囲を表す assigns assigns 中から割付けることを示す工場01 [process] has has [startDate(開始日時)] [endDate(終了日時)] Assigns Edge 型01 仕上WG StartDateからEndDateまでの間 Resource has Assign RegionにResourceを割付対象要素を表す has has has has has has 割付けることを表す・capacity(容量) ・calender(カレンダー) CAVI01 CORE01 … 山田さん田中さん鈴木さん・attributes(属性) Has Edge 東さん Resourceの所有関係を表す 23

24. 数理解析手法の実ビジネス適用：例活動の統一グラフモデルを構築 K.Hamada, F.Kimura, Unified graph representation of processes for scheduling with flexible resource assignment, to be published in CIRP 2010 24

25. ５月上旬の講演/トーク予定 25

26. 2010年５月上旬の講演・トーク予定ぜひお越しください日コミュニティ会情報 2010/05/01(土) パターン認識と機械学習・多項式曲線フィッティング (PRML) Revenge #1 ・確率論 2010/05/07(金) Linux Business Initiative 業務プロセス改革とデータマイ 2010年度総会・ビジネスニング講演会 2010/05/09(日) Tsukuba.R #7 はじめてでもわかる回帰分析（線形回帰、非線形回帰ともに） 26

27. 講演：2010/05/01(土) パターン認識と機械学習(PRML) Revenge #1 多項式曲線フィッティング＋確率論 PRML Revenge #1 http://atnd.org/events/4115 27

28. 講演：2010/05/07(金) Linux Business Initiative 2010年度総会・ビジネス講演会「業務プロセス改革とデータマイニング」蓄積データの有効活用 LBIビジネス講演会 http://www.lbi.gr.jp/modules/eguide/event.php?eid=31 28

29. 講演：2010/05/09(日) Tsukuba.R #7 「はじめてでも分かる回帰分析」事象発生の関数形の推測・線形回帰(単・重) ・非線形回帰 Tokyo.R #4 http://atnd.org/events/3930 29

30. AGENDA ◆自己紹介 ◆時系列分析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆ARCHモデル ◆最後に 30

31. 時系列データ時間変動する要素を時間の順序で測定・観測したデータ時系列データ・医療データ：心電図、脳波・気象データ：気温、気圧・金融データ：株価、為替レート 31

32. 時系列データ時間変動する要素を時間の順序で測定・観測したデータ時系列データ 2003年ノーベル経済学賞・医療データ：心電図、脳波「時系列分析手法」・気象データ：気温、気圧 Clive W.J. Granger ・金融データ：株価、為替レート Robert F. Engle 32

33. 時系列データ時間変動する要素を時間の順序で測定・観測したデータ時系列データ 2003年ノーベル経済学賞・医療データ：心電図、脳波「時系列分析手法」・気象データ：気温、気圧 Clive W.J. Granger ・金融データ：株価、為替レート Robert F. Engle 例：UKgas イギリスのガス消費量の時系列データ年 33

34. 時系列データ UKgas イギリスのガス消費量の時系列データ 1960年から1986年まで四半期ごとに観測 United Kingdom Gas 年 1Q 2Q 3Q 4Q 34

35. 時系列データの形式と属性時刻tをインデクスとしたデータ列 35

39. AGENDA ◆自己紹介 ◆時系列解析とは ◆データ操作 ◆モデル ◆ARモデル ◆ARMA/ARIMAモデル ◆ARFIMAモデル ◆GARCHモデル ◆最後に 39

40. 時系列表示関数 ts.plot 折れ線グラフ表示 40

41. データオブジェクトの作成関数 ts 時系列オブジェクト作成非時系列オブジェクトから時系列データオブジェクトを作成する 41

42. ラグ処理関数 lag 時間をシフトする定義 42

43. ラグ処理関数 lag 時間をシフトする定義 43

44. 差分関数 diff ytからyt-1を引くトレンドを除去できる差分定義 UKgas diff(UKgas) 44

45. 時系列データの統計量時系列データの特性を表す統計量時系列に対して定義 ◆ 標本平均 ◆ との標本自己共分散 ◆ との標本自己相関関数 45

46. 時系列データの統計量時系列データの特性を表す統計量時系列に対して定義 ◆ 標本平均 ◆ との標本自己共分散 ◆ との標本自己相関関数平均や自己共分散時間変化しない ⇒定常時系列時間変化する ⇒非定常時系列 46

47. 時系列データの統計量関数 acf 自己共分散、自己相関を求める時系列に対して定義 ◆ 標本平均 ◆ との標本自己共分散 ◆ との標本自己相関関数平均や自己共分散時間変化しない ⇒定常時系列時間変化する ⇒非定常時系列 47

48. 時系列データの統計量関数 acf 自己共分散、自己相関を求める acf(x, type=“correlation”, plot = TRUE,…) 引数 x : 時系列データ type : “correlation(自己相関)”, “covariance(自己共分散)”, “partial(偏相関)”, （デフォルト:“correlation(自己相関)”） plot :自動図示の指定（デフォルト：TRUE） 48

49. 時系列データの統計量関数 acf 自己共分散、自己相関を求める correlation covariance partial (自己相関) (自己共分散) (偏相関) 49

50. スペクトル分析隠された周期性を解析周期成分の強度分布算出フーリエ変換時間k成分 ⇒ 振動数f成分 Spectrum (Power Spectral density Function) 時系列の自己共分散のフーリエ変換 Periodgram 標本データの自己共分散のフーリエ変換 50

51. スペクトル分析隠された周期性を解析周期成分の強度分布算出スペクトル分析スペクトル分析時系列表示スペクトル分析（Daniell平滑化）（自己回帰） 51

54. ARモデル AutoRegression(自己回帰) Model 時系列時点 t-p から tまでの各データの関係式 ai : 自己回帰係数 (i=1,..,p) p : 次数 et: 残差（平均0、分散σ2）の正規分布モデル推定 Yule-Walker法, 最小２乗法最尤法, Burg法, … 次数 p と自己回帰係数 ai (i=1,..,p)を決定する次数pのARモデル AR(p) 54

55. 関数arとモデル推定 ar 自己回帰モデルを求める関数 ar(x, aic=TURE,method=“”, order.max=NULL) 引数 x : 時系列データ aic : モデルを評価する情報量基準AICを用いるか method :自己回帰を推定する方法 “yule-walker (ユールウォーカー法)(Default)”, “ols(最小２乗法)”, “mle(最尤法)”, “burg(バーグ法)” order.max : 次数の最大値を指定 55

56. 関数arとモデル推定 56

57. 関数arとモデル推定 57

58. 予測 Predict 自己回帰モデルarで求めたモデルを用い予測する 1986年までのデータから1987以降を予測 58

59. 予測 Predict 自己回帰モデルarで求めたモデルを用い予測する 1986年までのデータから1987以降を予測 59

61. ARMA/ARIMAモデル ARMAモデル：AR(p,q) (AutoRegressive Moving Average：自己回帰移動平均) ARモデルに残差の移動平均を加えたモデル残差の移動平均 61

62. ARMA/ARIMAモデル ARMAモデル：AR(p,q) (AutoRegressive Moving Average：自己回帰移動平均) ARモデルに残差の移動平均を加えたモデル残差の移動平均 ytのd階の差分演算子のモデル 62

63. ARMA/ARIMAモデル ARMAモデル：AR(p,q) (AutoRegressive Moving Average：自己回帰移動平均) ARモデルに残差の移動平均を加えたモデル残差の移動平均 ytのd階の差分演算子のモデル ARIMAモデル：AR(p,d,q) (AutoRegressive Integrated Moving Average：自己回帰和分移動平均) 63

64. 関数armaとモデル推定関数 arima 単変量時系列データを当てはめるARMAモデル関数 arima(x, order =c(0,0,0),..)) 引数 x : 時系列データ order : (自己回帰の次数 p, 差分の階数 d, 過去の残差の移動平均の次数q) ARIMAモデル：AR(p,d,q) 64

65. モデルの選択引数orderのp,d,qの決定情報量規準値が最も小さい組み合わせを用いる 65

67. ARFIMAモデル ARFIMAモデル (AutoRegressive Fractionally Integrated Moving Average）自己回帰実数和分移動平均 ARMAモデルの過剰差分を克服する差分の次数dを任意の次数に一般化 fracdiff(x, nar =0,dtol=NULL, nma=0,..)) 引数 x : 時系列データ nar : 自己回帰の次数 p, tdol:差分の階数 d, nma:過去の残差の移動平均の次数q 67

69. ARCHモデル ARCHモデル (AutoRegressive Conditional Heteroscedastic）自己回帰条件付き分散不均一 ARCHモデル条件付平均条件付分散の正規分布に従う。 69

70. ARCHモデル ARCHモデル (AutoRegressive Conditional Heteroscedastic）自己回帰条件付き分散不均一 ARCHモデル条件付平均条件付分散の正規分布に従う。拡張 GARCH (Generalized ARCH)モデル 70

71. ARCHモデル ARCHモデル (AutoRegressive Conditional Heteroscedastic）自己回帰条件付き分散不均一 ARCHモデル条件付平均条件付分散の正規分布に従う。拡張 GARCH (Generalized ARCH)モデル R言語でのGARCHモデル当てはめ関数・garch (package : tseries) ・garchfit (package: fSeries) 71

73. 最後に蓄積されたデータを有効活用してきたい 73

74. 最後に蓄積されたデータを有効活用してきたい Google Group： http://groups.google.com/group/webmining-tokyo 74

75. 最後にデータマイニング+WEB勉強会発表者を募集しています連絡 Google Group： http://groups.google.com/group/webmining-tokyo Twitter ： http://twitter.com/hamadakoichi 75

76. 最後に 5/16(日) 第４回データマイニング+WEB勉強会ＷＥＢ祭りです 76

77. 最後に 5/16(日) 第４回データマイニング+WEB勉強会ＷＥＢ祭りです AGENDA 5/16(日) 13:00 - 19:00 -ソーシャルウェブとレコメンデーション（仮） (講師:@hamadakoichi) (60分) -WEB行動マイニング（仮） (講師:@kur) (60分) -Hadoop最前線（仮） (講師:@yanaoki)(60分) -大規模WEB行動マイニング（仮） (講師:@karubi) (60分) -WEB APIと画像分類最適化（仮） (講師:@yokkuns) (60分) -※追加募集中定員：20名アナウンス Google Group： http://groups.google.com/group/webmining-tokyo Twitter ： http://twitter.com/hamadakoichi 77

78. 推薦文献

79. 推薦文献リンク Rによるデータサイエンス～データ解析の基礎から最新手法まで～ Rによる時系列分析入門

80. ご清聴ありがとうございました 80

82. 目的：データマイニング+WEB勉強会＠東京データマイニングの方法論を用い蓄積されたデータを有効活用していく方法を学ぶ統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析はてな Web Service 判別分析主成分分析因子分析 (Bookmark/Graph/Keyword,…) カーネル法 Google Data API 樹木モデル (Calendar/Maps/BookSearch/ FinancePortfolioData,…) ニューラルネットワークサポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的熱力学的シミュレーテドアニーリング力学モデルによる最適化タブーサーチグラフ … 最適解探索アルゴリズム 82

[Ｒ勉強会][データマイニング] R言語による時系列分析

You are reading a preview.

Check these out next

[Ｒ勉強会][データマイニング] R言語による時系列分析

More Related Content

Slideshows for you (20)

Viewers also liked (7)

Similar to [Ｒ勉強会][データマイニング] R言語による時系列分析 (20)

More from Koichi Hamada (20)

Recently uploaded (20)