Your SlideShare is downloading. ×
Jubatus 0.6.0 新機能紹介
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Introducing the official SlideShare app

Stunning, full-screen experience for iPhone and Android

Text the download link to your phone

Standard text messaging rates apply

Jubatus 0.6.0 新機能紹介

9,281
views

Published on

Jubatus Casual Talks#3で発表した

Jubatus Casual Talks#3で発表した

Published in: Technology

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
9,281
On Slideshare
0
From Embeds
0
Number of Embeds
17
Actions
Shares
0
Downloads
11
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Jubatus 0.6.0機能紹介 ⽐比⼾戸  将平 株式会社Preferred  Infrastructure   hido@preferred.jp
  • 2. !  NTT  SIC*とPreferred  Infrastructureによる共同開発 !  2011年年10⽉月よりOSSで公開  http://jubat.us/ Jubatus 2 分散並列列 リアルタイム 深い解析 *  NTT研究所  サイバーコミュニケーション研究所   ソフトウェアイノベーションセンタ
  • 3. 3
  • 4. 0.6.0が2014年年6⽉月23⽇日にリリースされました! !  新機能 !  学習データの忘却機能の追加 !  string_rules の拡張 !  classifier に  delete_class を追加 !  nearest_neighbor_recommender の  clear_row のサポート !  主な変更更点 !  Jubatus のコア部分を  jubatus_core として分離離 !  nearest_neighbor のメソッド名を  *_row_from_data から   *_row_from_datum に変更更 !  anomaly の  add メソッドを  lof と  light_lof の両⽅方で使えるよ うに変更更 !  その他、設定やログ、エラー周りの改善&バグ修正多数 4
  • 5. 注: ⼀一部のインタフェースに 破壊的変更更があります 5
  • 6. 0.6.0が2014年年6⽉月23⽇日にリリースされました! !  新機能 !  学習データの忘却機能の追加 !  string_rules の拡張 !  classifier に  delete_class を追加 !  nearest_neighbor_recommender の  clear_row のサポート !  主な変更更点 !  Jubatus のコア部分を  jubatus_core として分離離 !  nearest_neighbor のメソッド名を  *_row_from_data から   *_row_from_datum に変更更 !  anomaly の  add メソッドを  lof と  light_lof の両⽅方で使えるよ うに変更更 !  その他、設定やログ、エラー周りの改善&バグ修正多数 6
  • 7. jubatus_coreを分離離しました 7
  • 8. jubatusとjubatus_coreのレポジトリ役割分担 !  jubatus_core !  アルゴリズムの実装⾯面 !  以前のjubatus/coreの中⾝身 !  jubatus !  分散基盤としての動作⾯面 !  clientとserver周り 8
  • 9. 公開後の反応 9 ←元・中の⼈人
  • 10. 開発陣からの返答 10 アルゴリズム屋さんの理理想としては、単体アルゴリズムを 実装したらMIXまで含めてJubatusが⾯面倒⾒見見てくれると うれしいが、さすがにそこまでおいしい話はない…
  • 11. 0.6.0が2014年年6⽉月23⽇日にリリースされました! !  新機能 !  学習データの忘却機能の追加 !  string_rules の拡張 !  classifier に  delete_class を追加 !  nearest_neighbor_recommender の  clear_row のサポート !  主な変更更点 !  Jubatus のコア部分を  jubatus_core として分離離 !  nearest_neighbor のメソッド名を  *_row_from_data から   *_row_from_datum に変更更 !  anomaly の  add メソッドを  lof と  light_lof の両⽅方で使えるよ うに変更更 !  その他、設定やログ、エラー周りの改善&バグ修正多数 11
  • 12. 忘却機能 !  対応しているアルゴリズム !  anomaly &recommender (nearest neighborベースのもの) !  古くなったサンプルから削除していく !  classifier !  予測に使われていない古いクラス(カテゴリ)を削除する !  何故必要か? !  オンライン機械学習基盤の特性として、データの分布がドンドン 変化していくことが予想される !  古いモノを残しておくことはメリットがなく、メモリ使⽤用量量の ⾯面でのデメリットだけが残ってしまう !  基盤側で明⽰示的に削除ポリシーを与えられる⽅方が良良い 12
  • 13. 例例:anomalyの忘却機能 13 ← Least-Recently-Usedモード ← 最⼤大4096個まで覚える ※UsedはUpdateのみを意味するので Readされただけではタイムスタンプは 更更新されない
  • 14. 0.6.0が2014年年6⽉月23⽇日にリリースされました! !  新機能 !  学習データの忘却機能の追加 !  string_rules の拡張 !  classifier に  delete_class を追加 !  nearest_neighbor_recommender の  clear_row のサポート !  主な変更更点 !  Jubatus のコア部分を  jubatus_core として分離離 !  nearest_neighbor のメソッド名を  *_row_from_data から   *_row_from_datum に変更更 !  anomaly の  add メソッドを  lof と  light_lof の両⽅方で使えるよ うに変更更 !  その他、設定やログ、エラー周りの改善&バグ修正多数 14
  • 15. string_rulesの拡張 !  0.5.x系まで !  string_rulesにはword_splitterとして単語・⽂文字分割系の処理理し か記述することが出来なかった !  0.6.0系から !  任意のsfv_t(Jubatus内の特徴ベクトル)が⽣生成できるように 15
  • 16. 0.6.0が2014年年6⽉月23⽇日にリリースされました! !  新機能 !  学習データの忘却機能の追加 !  string_rules の拡張 !  classifier に  delete_class を追加 !  nearest_neighbor_recommender の  clear_row のサポート !  主な変更更点 !  Jubatus のコア部分を  jubatus_core として分離離 !  nearest_neighbor のメソッド名を  *_row_from_data から   *_row_from_datum に変更更 !  anomaly の  add メソッドを  lof と  light_lof の両⽅方で使えるよ うに変更更 !  その他、設定やログ、エラー周りの改善&バグ修正多数 16
  • 17. classifierのdelete_class !  0.5.x系まで !  オンライン分類として、事前にクラスの種類を固定することはな かった !  新しいクラスはいつでも加える事ができた !  ⼀一⽅方で、削除することはできなかった !  もう不不要なクラスであってもメモリ上に保持し続ける必要があった !  0.6.0系から !  明⽰示的に指定したクラスを削除できるメソッドを作った !  忘却機能と組み合せることにより、trainingサンプルが新規に来 ていないクラスを削除できるようになった 17
  • 18. delete_classじゃなくてdelete_labelでした… 18
  • 19. 0.6.0が2014年年6⽉月23⽇日にリリースされました! !  新機能 !  学習データの忘却機能の追加 !  string_rules の拡張 !  classifier に  delete_class を追加 !  nearest_neighbor_recommender の  clear_row のサポート !  主な変更更点 !  Jubatus のコア部分を  jubatus_core として分離離 !  nearest_neighbor のメソッド名を  *_row_from_data から   *_row_from_datum に変更更 !  anomaly の  add メソッドを  lof と  light_lof の両⽅方で使えるよ うに変更更 !  その他、設定やログ、エラー周りの改善&バグ修正多数 19
  • 20. それではJubatus 0.6.0をお楽しみ下さい! 20