Downloaded 10 times
Uploaded byKai Sasaki
HyperLogLogを用いた、異なり数に基づく 省リソースなk-meansの k決定アルゴリズムの提案
HyperLogLogを用いた、異なり数に基づく 省リソースなk-meansの k決定アルゴリズムの提案
HyperLogLogを用いた、異なり数に基づく 省リソースなk-meansの k決定アルゴリズムの提案
- 1. HyperLogLogを用いた、異なり数に基づく 省リソースなk-meansの k決定アルゴリズムの提案 佐々木 海、鈴木 周一、山田寛 HackID 56: のびのびのびた
- 2. 背景と目的 • 近年、使いやすい教師なしクラスタリング手法で あるk-meansのビジネス活用が盛んである • しかしながらk-meansにおけるkの決定問題は 実用上大きな課題を抱えている •k推定のための計算リソースの消費 • kの評価をk-means自体で行ってしまう
- 3. 先行研究 • x-means • kの推定とk-meansによる評価を繰り返す •計算リソースや計算時間に課題が残る • DPM • パラメタの調整が難しい • 学習精度がデータ量に大きく依存
- 4.
- 5. x-means 提案手法 kの推定 k-means kの評価 HLL Gaussian weight k-means HLLHLL kの推定値を評価・決定した後、一度だけk-meansを行う
- 6.
- 7.
- 8.
- 9. まとめと今後の課題 • 分散・並行処理が可能な手法のため より一層の高速化が図れる • pipパッケージとして利用可能 $pip install kHLL • HyperLogLogのBucket数と異なり数の 関連性を利用したアルゴリズムの改良
- 10. 参考文献一覧 • “HyperLogLog inPractice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm”, S. Heule, M. Nunkesser, A. Hall • Sketch of the Day: HyperLogLog — Cornerstone of a Big Data Infrastructure http://research.neustar.biz/2012/10/25/sketch-of-the-day-hyperloglog-cornerstone-of-a-big-data-infrastructure/ • HyperLogLogを使ったクラスタリングのための効率的なk推定手法の提案 http://nbviewer.ipython.org/github/PhysicsEngine/kHLL/blob/master/notebooks/hyperkestimator_performance.ipynb • ”All-Distances Sketches, Revisited: HIP Estimators for Massive Graphs Analysis”, E. Cohen • “Some Methods for classification and Analysis of Multivariate Observations”, MacQueen, J. B. • IPython Notebook http://ipython.org/notebook.html • “X-means: Extending K-means with Efficient Estimation of the Number of Clusters”, D. Pelleg • “The Infinite Gaussian Mixture Model”, C. E. Rasmusse • PhysicsEngine/kHLL https://github.com/PhysicsEngine/kHLL