Download as PDF, PPTX
![27
host:::1<Tab>ident:MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ<Ta
b>user:1<Tab>time:[08/Apr/2015:10:00:00
+0900]<Tab>Request:GET /sample HTTP/1.1<Tab>status:
200<Tab>size:5039<Tab>referer:foo.com<Tab>agent:Mozilla/5.0
(iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12A365
Safari/600.1.4<Tab>attr:Mjg0ZmUyMzk0Yzg0ZGIzZTIzYTI3N2ExY
zhm
One Line](https://image.slidesharecdn.com/acrovision20150408-150408104003-conversion-gate01/85/Log-27-320.jpg)
![28
host:::1<Tab>ident:MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ<Ta
b>user:1<Tab>time:[08/Apr/2015:10:00:00
+0900]<Tab>Request:GET /sample HTTP/1.1<Tab>status:
200<Tab>size:5039<Tab>referer:foo.com<Tab>agent:Mozilla/5.0
(iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12A365
Safari/600.1.4<Tab>attr:Mjg0ZmUyMzk0Yzg0ZGIzZTIzYTI3N2ExY
zhm
One Line](https://image.slidesharecdn.com/acrovision20150408-150408104003-conversion-gate01/85/Log-28-320.jpg)
![64
Cosine Similarity[0,1]](https://image.slidesharecdn.com/acrovision20150408-150408104003-conversion-gate01/85/Log-64-320.jpg)
![69
Cosine Similarity[0,1]
いちごとめろんは
類似度 0.3](https://image.slidesharecdn.com/acrovision20150408-150408104003-conversion-gate01/85/Log-69-320.jpg)
Log解析の超入門
- 1.
- 2.
- 3.
- 4. 4 B. 化粧 品 引用:http://www.shiseido.co.jp/
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21. 21 Log ＝ Evidence Log＝ Strategy
- 22.
- 23.
- 24. 24 RealTime : fluent-d Batch: rsync Log Forward
- 25.
- 26.
- 27. 27 host:::1<Tab>ident:MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ<Ta b>user:1<Tab>time:[08/Apr/2015:10:00:00 +0900]<Tab>Request:GET /sample HTTP/1.1<Tab>status: 200<Tab>size:5039<Tab>referer:foo.com<Tab>agent:Mozilla/5.0 (iPhone;CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12A365 Safari/600.1.4<Tab>attr:Mjg0ZmUyMzk0Yzg0ZGIzZTIzYTI3N2ExY zhm One Line
- 28. 28 host:::1<Tab>ident:MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ<Ta b>user:1<Tab>time:[08/Apr/2015:10:00:00 +0900]<Tab>Request:GET /sample HTTP/1.1<Tab>status: 200<Tab>size:5039<Tab>referer:foo.com<Tab>agent:Mozilla/5.0 (iPhone;CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12A365 Safari/600.1.4<Tab>attr:Mjg0ZmUyMzk0Yzg0ZGIzZTIzYTI3N2ExY zhm One Line
- 29.
- 30. 30 BrowserID : MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ 遷移先URL http://acrovision.com/sample 遷移元 URL http://foo.com Attribute : 30 代 男性 UserAgent or Device : Safari / iPhone One Line Summary
- 31.
- 32.
- 33. 33 KVS / Nosql 引用:http://bynatures.net
- 34. 34 KVS Key : Identifier SubKey: Map Map : Label, Attr
- 35. 35 Example { MTkyLjE2OC41Ni4xMD... : {Query => ' ガンダム ': 2}, { PageView => '/foo' : 4}, { Gender => 'Male' : 100} }
- 36.
- 37.
- 38.
- 39. 39 条件付き確率 P( 男 |ガンダム ) = 0.8
- 40.
- 41. 41 <?php namespace Algorithms; class NaiveBayes{ public function add_instance(){} public function train(){} public function predict(){} ... }
- 42.
- 43. 43 { 正解 :{KW : 回数 } } { 男性 : { ガンダム : 5 , AC ミラン : 8 } } { 女性 : { 化粧水 : 2 , 日焼け止め : 7 } } ・ ・ ・
- 44. 44 $nb = newNaiveBayes(); // iteration $nb->add_instance( 'label' => ' 正解 ', 'attributes' => 'KW : 回数 ' ); $nb->train();
- 45.
- 46. 46 { 未知 :{KW : 回数 } } { ？ : { ガンダム : 3 , シャア : 2 } } ・ ・ ・
- 47. 47 // iteration $res =$nb->predict( 'attributes' => 'KW : 回数 ' ); foreach($res as $label => $p) { echo $label . "t" . $p . "n"; } // 男性 : 0.878 // 女性 : 0.122
- 48.
- 49.
- 50.
- 51. 51 Balance 精度 拡張量 { 精度 :70%, 拡張量 : 30% 増 }
- 52.
- 53.
- 54. 54 Hadoop Streaming Hive,Pig でModeling Spark でもできそう
- 55.
- 56.
- 57.
- 58.
- 59.
- 60. 60 Collaboration Filterling 引用 :http://theegeek.com/
- 61. 61 商品 A を買った人は 商品B も買うだろう
- 62.
- 63.
- 64.
- 65. 65 User | Itemいちご めろん ぶどう すいか User-A Buy! Buy! User-B Buy! Buy! User-C Buy! Buy! Buy! User-D Buy! Buy! Buy! User Item Matrix
- 66.
- 67. 67 Item | Itemいちご めろん ぶどう すいか いちご - 3 人 1 人 0 人 めろん 3 人 - 2 人 1 人 ぶどう 1 人 2 人 - 1 人 すいか 0 人 1 人 1 人 - Item Item Matrix
- 68. 68 Vector いちご ={ めろん:3, ぶどう :1, すいか :0} めろん ={ いちご :3, ぶどう :2, すいか :1} ぶどう ={ いちご :1, めろん :2, すいか :1} すいか ={ いちご :0, めろん :1, ぶどう :1}
- 69.
- 70.
- 71.
- 72.
- 73.
- 74.
- 75.
- 76.