SlideShare a Scribd company logo
1 of 23
Rでレポートメール


                    @yokkuns 里 洋平
                  yohei0511@gmail.com
                2013.01.26 第28回Tokyo.R


2013年1月26日土曜日
自己紹介

  ◆ 里 洋平(@yokkuns)


 ◆ 元Webエンジニアのデータサイエンティスト
      ・今は主にマーケティング周りを見てる



 ◆ 統計解析やデータマイニングをビジネスに適用
      ・時系列解析とか異常検知とか最適化とか

      ・いろんなモデルの構築


2013年1月26日土曜日
活動例: 勉強会の主催・執筆


                   Tokyo.R主催




                パッケージ本執筆しました!




2013年1月26日土曜日
活動例: 動画レコメンド

                閲覧されている動画の情報を用いておすすめ動画を表示する




2013年1月26日土曜日
活動例: 市場予測

                Web上の情報から市場予測




2013年1月26日土曜日
活動例: 異常検知
                              Anomaly detection

                    複数時系列から異常な振る舞いを検知する

                                                                            C
                                                                            A
        時系列のモデリング               複数時系列の異常検知                                  B

      時系列A                             時系列A

                                                                        異常な振る舞い
      時系列B


      時系列C                      時系列B          時系列C

                                 異常な振る舞いの時系列を検出




                例1:トラフィック異常検知                   例2:CM効果のノイズ除去

                    トラフィックA                          ケースA
                                                              CM効果
                    トラフィックB                          ケースB

                    トラフィックC      調査                  ケースC

                     異常な振る舞いをしている                    異常な振る舞いをしているケースを
                     トラフィックの原因を調査する                  除外して、CMの効果を算出する
                                                                                  85
2013年1月26日土曜日
活動例: 時系列解析と影響分析
                        TV Commercial Effects

                時系列的な振る舞いの特徴から各KPIへのCMの影響度を算出
                                                   イベン
                CM時系列                               ト

                                          新規
                                          登録


                              CM                   ARPP
                                                    U




                                          ARPU

            各KPIの時系列
                                                          その他
                                                           外部
                                   継続率
                                                           要因




                                                 ケース




                                                            87

2013年1月26日土曜日
新たな勉強会




          TokyoApache.Pig
          https://groups.google.com/group/tokyo_apache_pig




2013年1月26日土曜日
KPIをチェックしたい




2013年1月26日土曜日
KPIをチェックしたい


      直近のデータでDailyとかHourlyで見たい!




2013年1月26日土曜日
KPIをチェックしたい


      直近のデータでDailyとかHourlyで見たい!



        普段は見ないけど異常があったら見たい!




2013年1月26日土曜日
KPIをチェックしたい


      直近のデータでDailyとかHourlyで見たい!



        普段は見ないけど異常があったら見たい!



            過去分も含めていろんな軸で見たい!


2013年1月26日土曜日
KPIをチェックしたい


      直近のデータでDailyとかHourlyで見たい!

                knitr+sendmailR


        普段は見ないけど異常があったら見たい!



            過去分も含めていろんな軸で見たい!


2013年1月26日土曜日
KPIをチェックしたい


      直近のデータでDailyとかHourlyで見たい!

                   knitr+sendmailR


        普段は見ないけど異常があったら見たい!

         changeAnomalyDetection+knitr+sendmailR


            過去分も含めていろんな軸で見たい!


2013年1月26日土曜日
KPIをチェックしたい


      直近のデータでDailyとかHourlyで見たい!

                   knitr+sendmailR


        普段は見ないけど異常があったら見たい!

         changeAnomalyDetection+knitr+sendmailR


            過去分も含めていろんな軸で見たい!
                         shiny

2013年1月26日土曜日
KPIをチェックしたい


      直近のデータでDailyとかHourlyで見たい!

                   knitr+sendmailR


        普段は見ないけど異常があったら見たい!

         changeAnomalyDetection+knitr+sendmailR


            過去分も含めていろんな軸で見たい!
                         shiny

2013年1月26日土曜日
直近のデータでDailyとかHourlyで見たい!
        DailyとかHoulyでレポートメールを配信しよう
   どうせなら、HTMLメールにして表とかグラフとか付いてると嬉しい




                    knitr
                  markdown


                      生成           送信
        Rmdファイル




                             sendmailR



                  htmlファイル

2013年1月26日土曜日
直近のデータでDailyとかHourlyで見たい!
            現在バージョンのものでは、HTMLメールが送れないので
                   修正版をインストールする


        $ git clone git@github.com:yokkuns/sendmailR.git
        $ cd sendmailR
        $ sudo make install


                        または、make installではなく
                    make packageをしてR上でインストール


         $ make package
         $R


         > install.packages("sendmailR_1.1-2.tar.gz")


2013年1月26日土曜日
直近のデータでDailyとかHourlyで見たい!

     RStudioでRmd形式でレポート内容を出力するスクリプトを書く




2013年1月26日土曜日
直近のデータでDailyとかHourlyで見たい!

                knitrとmarkdownを使ってhtmlファイルを作成する




                デフォルトだと画像がbase64エンコードされてメールで表示されない
                  options引数で、必要なオプションのみを指定するようにする




2013年1月26日土曜日
直近のデータでDailyとかHourlyで見たい!

          画像のリンクを添付画像に置換し、sendmail関数で送信!




2013年1月26日土曜日
普段はみないけど異常があったら見たい!
          changeAnomalyDetectionパッケージを使って異常検知
                  異常があった時だけメール送信する




                                  アラートメール送信




2013年1月26日土曜日
ご清聴ありがとうございました!




2013年1月26日土曜日

More Related Content

What's hot

Rで階層ベイズモデル
Rで階層ベイズモデルRで階層ベイズモデル
Rで階層ベイズモデルYohei Sato
 
Japan r2 lt_yokkuns
Japan r2 lt_yokkunsJapan r2 lt_yokkuns
Japan r2 lt_yokkunsYohei Sato
 
Japan r2 tokyor
Japan r2 tokyorJapan r2 tokyor
Japan r2 tokyorYohei Sato
 
Tokyor26 data fusion
Tokyor26 data fusionTokyor26 data fusion
Tokyor26 data fusionYohei Sato
 
時系列分析による異常検知入門
時系列分析による異常検知入門時系列分析による異常検知入門
時系列分析による異常検知入門Yohei Sato
 
Tokyo r15 異常検知入門
Tokyo r15 異常検知入門Tokyo r15 異常検知入門
Tokyo r15 異常検知入門Yohei Sato
 
異常行動検出入門 – 行動データ時系列のデータマイニング –
異常行動検出入門 – 行動データ時系列のデータマイニング –異常行動検出入門 – 行動データ時系列のデータマイニング –
異常行動検出入門 – 行動データ時系列のデータマイニング –Yohei Sato
 
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」Shohei Hido
 
R実践 機械学習による異常検知 02
R実践 機械学習による異常検知 02R実践 機械学習による異常検知 02
R実践 機械学習による異常検知 02akira_11
 
RでGARCHモデル - TokyoR #21
RでGARCHモデル - TokyoR #21RでGARCHモデル - TokyoR #21
RでGARCHモデル - TokyoR #21horihorio
 
R実践 機械学習による異常検知 01
R実践 機械学習による異常検知 01R実践 機械学習による異常検知 01
R実践 機械学習による異常検知 01akira_11
 
数理的に組み込みソフトを開発する方法入門
数理的に組み込みソフトを開発する方法入門数理的に組み込みソフトを開発する方法入門
数理的に組み込みソフトを開発する方法入門Toshiyuki Fujikura
 

What's hot (13)

Rで階層ベイズモデル
Rで階層ベイズモデルRで階層ベイズモデル
Rで階層ベイズモデル
 
Japan r2 lt_yokkuns
Japan r2 lt_yokkunsJapan r2 lt_yokkuns
Japan r2 lt_yokkuns
 
Japan r2 tokyor
Japan r2 tokyorJapan r2 tokyor
Japan r2 tokyor
 
Tokyor26 data fusion
Tokyor26 data fusionTokyor26 data fusion
Tokyor26 data fusion
 
時系列分析による異常検知入門
時系列分析による異常検知入門時系列分析による異常検知入門
時系列分析による異常検知入門
 
Tokyo r15 異常検知入門
Tokyo r15 異常検知入門Tokyo r15 異常検知入門
Tokyo r15 異常検知入門
 
異常行動検出入門 – 行動データ時系列のデータマイニング –
異常行動検出入門 – 行動データ時系列のデータマイニング –異常行動検出入門 – 行動データ時系列のデータマイニング –
異常行動検出入門 – 行動データ時系列のデータマイニング –
 
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
 
R実践 機械学習による異常検知 02
R実践 機械学習による異常検知 02R実践 機械学習による異常検知 02
R実践 機械学習による異常検知 02
 
Test
TestTest
Test
 
RでGARCHモデル - TokyoR #21
RでGARCHモデル - TokyoR #21RでGARCHモデル - TokyoR #21
RでGARCHモデル - TokyoR #21
 
R実践 機械学習による異常検知 01
R実践 機械学習による異常検知 01R実践 機械学習による異常検知 01
R実践 機械学習による異常検知 01
 
数理的に組み込みソフトを開発する方法入門
数理的に組み込みソフトを開発する方法入門数理的に組み込みソフトを開発する方法入門
数理的に組み込みソフトを開発する方法入門
 

Viewers also liked

EasyHtmlReportの紹介
EasyHtmlReportの紹介EasyHtmlReportの紹介
EasyHtmlReportの紹介Yohei Sato
 
Tokyor35 人工データの発生
Tokyor35 人工データの発生Tokyor35 人工データの発生
Tokyor35 人工データの発生Yohei Sato
 
Tokyor39 yokkuns
Tokyor39 yokkunsTokyor39 yokkuns
Tokyor39 yokkunsYohei Sato
 
Tokyor60 r data_science_part1
Tokyor60 r data_science_part1Tokyor60 r data_science_part1
Tokyor60 r data_science_part1Yohei Sato
 
20131206 japan r
20131206 japan r20131206 japan r
20131206 japan rYohei Sato
 
R言語で学ぶマーケティング分析 競争ポジショニング戦略
R言語で学ぶマーケティング分析 競争ポジショニング戦略R言語で学ぶマーケティング分析 競争ポジショニング戦略
R言語で学ぶマーケティング分析 競争ポジショニング戦略Yohei Sato
 
Tokyor42 ggplot2
Tokyor42 ggplot2Tokyor42 ggplot2
Tokyor42 ggplot2Yohei Sato
 
Tokyor42_r_datamining_18
Tokyor42_r_datamining_18Tokyor42_r_datamining_18
Tokyor42_r_datamining_18Yohei Sato
 
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組みTokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組みYohei Sato
 

Viewers also liked (9)

EasyHtmlReportの紹介
EasyHtmlReportの紹介EasyHtmlReportの紹介
EasyHtmlReportの紹介
 
Tokyor35 人工データの発生
Tokyor35 人工データの発生Tokyor35 人工データの発生
Tokyor35 人工データの発生
 
Tokyor39 yokkuns
Tokyor39 yokkunsTokyor39 yokkuns
Tokyor39 yokkuns
 
Tokyor60 r data_science_part1
Tokyor60 r data_science_part1Tokyor60 r data_science_part1
Tokyor60 r data_science_part1
 
20131206 japan r
20131206 japan r20131206 japan r
20131206 japan r
 
R言語で学ぶマーケティング分析 競争ポジショニング戦略
R言語で学ぶマーケティング分析 競争ポジショニング戦略R言語で学ぶマーケティング分析 競争ポジショニング戦略
R言語で学ぶマーケティング分析 競争ポジショニング戦略
 
Tokyor42 ggplot2
Tokyor42 ggplot2Tokyor42 ggplot2
Tokyor42 ggplot2
 
Tokyor42_r_datamining_18
Tokyor42_r_datamining_18Tokyor42_r_datamining_18
Tokyor42_r_datamining_18
 
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組みTokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
 

More from Yohei Sato

Tokyor60 opening
Tokyor60 openingTokyor60 opening
Tokyor60 openingYohei Sato
 
ドリコムの分析環境とデータサイエンス活用事例
ドリコムの分析環境とデータサイエンス活用事例ドリコムの分析環境とデータサイエンス活用事例
ドリコムの分析環境とデータサイエンス活用事例Yohei Sato
 
第3回Japan rパネルディスカッション
第3回Japan rパネルディスカッション第3回Japan rパネルディスカッション
第3回Japan rパネルディスカッションYohei Sato
 
エンジニアサポート新年会2012 データマイニングcross 第1部
エンジニアサポート新年会2012 データマイニングcross 第1部エンジニアサポート新年会2012 データマイニングcross 第1部
エンジニアサポート新年会2012 データマイニングcross 第1部Yohei Sato
 
Japan r2 opening
Japan r2 openingJapan r2 opening
Japan r2 openingYohei Sato
 
Rで学ぶ 傾向スコア解析入門 - 無作為割り当てが出来ない時の因果効果推定 -
Rで学ぶ 傾向スコア解析入門 - 無作為割り当てが出来ない時の因果効果推定 -Rで学ぶ 傾向スコア解析入門 - 無作為割り当てが出来ない時の因果効果推定 -
Rで学ぶ 傾向スコア解析入門 - 無作為割り当てが出来ない時の因果効果推定 -Yohei Sato
 

More from Yohei Sato (6)

Tokyor60 opening
Tokyor60 openingTokyor60 opening
Tokyor60 opening
 
ドリコムの分析環境とデータサイエンス活用事例
ドリコムの分析環境とデータサイエンス活用事例ドリコムの分析環境とデータサイエンス活用事例
ドリコムの分析環境とデータサイエンス活用事例
 
第3回Japan rパネルディスカッション
第3回Japan rパネルディスカッション第3回Japan rパネルディスカッション
第3回Japan rパネルディスカッション
 
エンジニアサポート新年会2012 データマイニングcross 第1部
エンジニアサポート新年会2012 データマイニングcross 第1部エンジニアサポート新年会2012 データマイニングcross 第1部
エンジニアサポート新年会2012 データマイニングcross 第1部
 
Japan r2 opening
Japan r2 openingJapan r2 opening
Japan r2 opening
 
Rで学ぶ 傾向スコア解析入門 - 無作為割り当てが出来ない時の因果効果推定 -
Rで学ぶ 傾向スコア解析入門 - 無作為割り当てが出来ない時の因果効果推定 -Rで学ぶ 傾向スコア解析入門 - 無作為割り当てが出来ない時の因果効果推定 -
Rで学ぶ 傾向スコア解析入門 - 無作為割り当てが出来ない時の因果効果推定 -
 

Rでレポートメール

  • 1. Rでレポートメール @yokkuns 里 洋平 yohei0511@gmail.com 2013.01.26 第28回Tokyo.R 2013年1月26日土曜日
  • 2. 自己紹介 ◆ 里 洋平(@yokkuns) ◆ 元Webエンジニアのデータサイエンティスト ・今は主にマーケティング周りを見てる ◆ 統計解析やデータマイニングをビジネスに適用 ・時系列解析とか異常検知とか最適化とか ・いろんなモデルの構築 2013年1月26日土曜日
  • 3. 活動例: 勉強会の主催・執筆 Tokyo.R主催 パッケージ本執筆しました! 2013年1月26日土曜日
  • 4. 活動例: 動画レコメンド 閲覧されている動画の情報を用いておすすめ動画を表示する 2013年1月26日土曜日
  • 5. 活動例: 市場予測 Web上の情報から市場予測 2013年1月26日土曜日
  • 6. 活動例: 異常検知 Anomaly detection 複数時系列から異常な振る舞いを検知する C A 時系列のモデリング 複数時系列の異常検知 B 時系列A 時系列A 異常な振る舞い 時系列B 時系列C 時系列B 時系列C 異常な振る舞いの時系列を検出 例1:トラフィック異常検知 例2:CM効果のノイズ除去 トラフィックA ケースA CM効果 トラフィックB ケースB トラフィックC 調査 ケースC 異常な振る舞いをしている 異常な振る舞いをしているケースを トラフィックの原因を調査する 除外して、CMの効果を算出する 85 2013年1月26日土曜日
  • 7. 活動例: 時系列解析と影響分析 TV Commercial Effects 時系列的な振る舞いの特徴から各KPIへのCMの影響度を算出 イベン CM時系列 ト 新規 登録 CM ARPP U ARPU 各KPIの時系列 その他 外部 継続率 要因 ケース 87 2013年1月26日土曜日
  • 8. 新たな勉強会 TokyoApache.Pig https://groups.google.com/group/tokyo_apache_pig 2013年1月26日土曜日
  • 10. KPIをチェックしたい 直近のデータでDailyとかHourlyで見たい! 2013年1月26日土曜日
  • 11. KPIをチェックしたい 直近のデータでDailyとかHourlyで見たい! 普段は見ないけど異常があったら見たい! 2013年1月26日土曜日
  • 12. KPIをチェックしたい 直近のデータでDailyとかHourlyで見たい! 普段は見ないけど異常があったら見たい! 過去分も含めていろんな軸で見たい! 2013年1月26日土曜日
  • 13. KPIをチェックしたい 直近のデータでDailyとかHourlyで見たい! knitr+sendmailR 普段は見ないけど異常があったら見たい! 過去分も含めていろんな軸で見たい! 2013年1月26日土曜日
  • 14. KPIをチェックしたい 直近のデータでDailyとかHourlyで見たい! knitr+sendmailR 普段は見ないけど異常があったら見たい! changeAnomalyDetection+knitr+sendmailR 過去分も含めていろんな軸で見たい! 2013年1月26日土曜日
  • 15. KPIをチェックしたい 直近のデータでDailyとかHourlyで見たい! knitr+sendmailR 普段は見ないけど異常があったら見たい! changeAnomalyDetection+knitr+sendmailR 過去分も含めていろんな軸で見たい! shiny 2013年1月26日土曜日
  • 16. KPIをチェックしたい 直近のデータでDailyとかHourlyで見たい! knitr+sendmailR 普段は見ないけど異常があったら見たい! changeAnomalyDetection+knitr+sendmailR 過去分も含めていろんな軸で見たい! shiny 2013年1月26日土曜日
  • 17. 直近のデータでDailyとかHourlyで見たい! DailyとかHoulyでレポートメールを配信しよう どうせなら、HTMLメールにして表とかグラフとか付いてると嬉しい knitr markdown 生成 送信 Rmdファイル sendmailR htmlファイル 2013年1月26日土曜日
  • 18. 直近のデータでDailyとかHourlyで見たい! 現在バージョンのものでは、HTMLメールが送れないので 修正版をインストールする $ git clone git@github.com:yokkuns/sendmailR.git $ cd sendmailR $ sudo make install または、make installではなく make packageをしてR上でインストール $ make package $R > install.packages("sendmailR_1.1-2.tar.gz") 2013年1月26日土曜日
  • 19. 直近のデータでDailyとかHourlyで見たい! RStudioでRmd形式でレポート内容を出力するスクリプトを書く 2013年1月26日土曜日
  • 20. 直近のデータでDailyとかHourlyで見たい! knitrとmarkdownを使ってhtmlファイルを作成する デフォルトだと画像がbase64エンコードされてメールで表示されない options引数で、必要なオプションのみを指定するようにする 2013年1月26日土曜日
  • 21. 直近のデータでDailyとかHourlyで見たい! 画像のリンクを添付画像に置換し、sendmail関数で送信! 2013年1月26日土曜日
  • 22. 普段はみないけど異常があったら見たい! changeAnomalyDetectionパッケージを使って異常検知 異常があった時だけメール送信する アラートメール送信 2013年1月26日土曜日