Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
近似近傍点探索手法 Locality Sensitive Hashing
( 最 ) 近傍点探索 ( Nearest Neighbor  Search) とは <ul><li>いわゆる、特徴空間内での類似データ探索 </li></ul><ul><li>二種類の問題が考えられる </li></ul><ul><li>定義...
近傍点探索問題 <ul><li>近傍点探索アルゴリズムは、以下のようなタスクにおいて利用される </li></ul><ul><ul><li>インスタンスベース学習(k-近傍法) </li></ul></ul><ul><ul><li>クラスタリン...
近傍点探索アルゴリズム <ul><li>最も単純なものは、クエリ点 q と、 p∈P の点全ての距離を求め、最も近い点を探す ( 線形探索法 ) </li></ul><ul><li>計算量は O(NlogN) </li></ul><ul><ul...
近傍点探索アルゴリズムの高速化 <ul><li>R d 空間においての近傍点探索では、 d≦2 の場合においては、高速な最近傍点探索アルゴリズムが知られている。 </li></ul><ul><li>d=2 の場合には、例えばボロ </li></...
近傍点探索アルゴリズムの高速化 <ul><li>d>2 の空間においては、最近傍点を高速に探索するアルゴリズムは知られていない。 </li></ul><ul><ul><li>次元の呪い ( 球面集中現象 等 ) の影響 </li></ul></...
近似近傍点探索問題 <ul><li>高次元ベクトル空間において、純粋な最近傍点探索を高速化する手法は存在しない ( まだ知られていない ) </li></ul><ul><li>そこで、純粋な近傍点探索ではなく、確率的に近似的な近傍点探索を行う手...
近似近傍点探索問題の定義 <ul><li>近似近傍点探索問題に関して、 Indyk らは、 c- 近似 R- 最近傍点探索という問題を定式化した。 </li></ul><ul><ul><li>以下、  (r,c)- 近似最近傍点探索 </li>...
Locality-Sensitive Hashing <ul><li>Locality-Sensitive Hashing( 以下 LSH) は、 Hash 関数に基づいた (r,c)- 近似最近傍点探索アルゴリズム </li></ul><ul...
LS-Hash 関数の定義 <ul><li>対象とするもとの空間を ℜ d   、生成される空間を U とする関数 h が以下の条件を満たす場合、局所鋭敏な ( Locality-Sensitive な ) 関数と定義される </li></ul...
LSH アルゴリズム <ul><li>以下のようなハッシュ関数 g(p) を用いる </li></ul><ul><ul><li>g(p)=<h 1 (p), h 2 (p)…h k (p)> </li></ul></ul><ul><li>構築 ...
LSH Hash Family <ul><li>LSH スキームでは、用いる距離尺度に応じて、関数 h を構築する必要がある </li></ul><ul><li>以下の距離尺度において LSH 関数が提案されている </li></ul><ul>...
LSH Hash Family <ul><li>Hamming 距離におけるハッシュ関数 G の定義 </li></ul><ul><ul><li>点 p[1,2,3]  から 桁数を正規化した unary code 化をし、 そこからランダムに...
LSH Hash Family for l p  norm <ul><li>L p 空間におけるノルムの場合 </li></ul><ul><li>アイディア </li></ul><ul><ul><li>L p 空間上において、 p 度の安定分布...
LSH Hash Family for l p  norm <ul><li>l p norm  における関数の定義 </li></ul><ul><li>a は、 p 度の安定分布により生成される乱数によって構成されたベクトル </li></ul...
参考 <ul><li>Piotr Indyk </li></ul><ul><ul><li>Near-Optimal Hashing Algorithms for Approximate Near(est) Neighbor Problem </...
Upcoming SlideShare
Loading in …5
×

lsh

31,078 views

Published on

  • Follow the link, new dating source: ❶❶❶ http://bit.ly/36cXjBY ❶❶❶
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Dating direct: ❤❤❤ http://bit.ly/36cXjBY ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • ..............ACCESS that WEBSITE Over for All Ebooks ................ ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

lsh

  1. 1. 近似近傍点探索手法 Locality Sensitive Hashing
  2. 2. ( 最 ) 近傍点探索 ( Nearest Neighbor Search) とは <ul><li>いわゆる、特徴空間内での類似データ探索 </li></ul><ul><li>二種類の問題が考えられる </li></ul><ul><li>定義 </li></ul><ul><ul><li>ℜ d 空間上の点集合 P が与えられた場合 </li></ul></ul><ul><ul><li>最近傍点探索 </li></ul></ul><ul><ul><ul><li>クエリ点 q に対し、 p∈P で、 ||p-q|| を最小とする点 p を求める問題 </li></ul></ul></ul><ul><ul><li>r- 近傍点探索 </li></ul></ul><ul><ul><ul><li>クエリ点 q に対し、 p∈P で、 ||p-q||<r となる点 p を ( 存在するのならば ) 列挙する問題 </li></ul></ul></ul>
  3. 3. 近傍点探索問題 <ul><li>近傍点探索アルゴリズムは、以下のようなタスクにおいて利用される </li></ul><ul><ul><li>インスタンスベース学習(k-近傍法) </li></ul></ul><ul><ul><li>クラスタリング </li></ul></ul><ul><ul><li>データセグメンテーション </li></ul></ul><ul><ul><li>データベース検索 </li></ul></ul><ul><ul><li>最短経路木探索(Minimum Spanning Tree) </li></ul></ul><ul><ul><li>データ圧縮 </li></ul></ul><ul><ul><li>類似データ検索 </li></ul></ul>
  4. 4. 近傍点探索アルゴリズム <ul><li>最も単純なものは、クエリ点 q と、 p∈P の点全ての距離を求め、最も近い点を探す ( 線形探索法 ) </li></ul><ul><li>計算量は O(NlogN) </li></ul><ul><ul><li>単純に考えて、 P のインスタンス数に比例する </li></ul></ul><ul><li>N-1 回の距離計算が必要 </li></ul><ul><li>インスタンス数が大きくなればなるほど、計算量も必要空間量も大きくなる </li></ul>
  5. 5. 近傍点探索アルゴリズムの高速化 <ul><li>R d 空間においての近傍点探索では、 d≦2 の場合においては、高速な最近傍点探索アルゴリズムが知られている。 </li></ul><ul><li>d=2 の場合には、例えばボロ </li></ul><ul><li>ノイ図をたどることによって可能 </li></ul><ul><li>(Kanda et al, 2002) </li></ul><ul><li>空間計算量 O(n) </li></ul><ul><li>計算量 O(log N) </li></ul>Voronoi diagram From wikipedia http://ja.wikipedia.org/wiki/%E7%94%BB%E5%83%8F:Coloured_Voronoi_2D.png
  6. 6. 近傍点探索アルゴリズムの高速化 <ul><li>d>2 の空間においては、最近傍点を高速に探索するアルゴリズムは知られていない。 </li></ul><ul><ul><li>次元の呪い ( 球面集中現象 等 ) の影響 </li></ul></ul><ul><li>ボロノイ構造の空間計算量は n O(d) なので次元数が大きくなれば非現実的 </li></ul><ul><li>kd-tree( 軸並行な空間分割を行う二分探索木 ) という高速化手法も存在するが、低 - 中次元でのみ有効で、高次元空間では線形探索と同程度のパフォーマンスとなる。 </li></ul>
  7. 7. 近似近傍点探索問題 <ul><li>高次元ベクトル空間において、純粋な最近傍点探索を高速化する手法は存在しない ( まだ知られていない ) </li></ul><ul><li>そこで、純粋な近傍点探索ではなく、確率的に近似的な近傍点探索を行う手法の研究が進められている。 </li></ul><ul><ul><li>Approximate Nearest Neighbor (Araya et al 1998) </li></ul></ul><ul><ul><li>Locality-Sensitive Hashing (Indyk et al 1998) </li></ul></ul><ul><ul><li>Metric trees (Moore et al 2003) </li></ul></ul>
  8. 8. 近似近傍点探索問題の定義 <ul><li>近似近傍点探索問題に関して、 Indyk らは、 c- 近似 R- 最近傍点探索という問題を定式化した。 </li></ul><ul><ul><li>以下、 (r,c)- 近似最近傍点探索 </li></ul></ul><ul><li>定義 </li></ul><ul><li>R d 空間上の点集合 p∈P が与えられたとする </li></ul><ul><ul><li>If : クエリ点 q に対して、 p∈P で ||p-q||<r となる点が存在するならば </li></ul></ul><ul><ul><li>then : p’∈P で、 </li></ul></ul><ul><ul><li>||p’-q||< c r となる点集合を返す (c≧1) </li></ul></ul>本当は r 以内のものだけが欲しい! crの中に含まれている ものを列挙できれば 最近傍も含む ||p-q||<rの点は得られる q r cr
  9. 9. Locality-Sensitive Hashing <ul><li>Locality-Sensitive Hashing( 以下 LSH) は、 Hash 関数に基づいた (r,c)- 近似最近傍点探索アルゴリズム </li></ul><ul><li>ハッシュ関数とは元のデータから、一定の範囲内の数値を生成する関数 </li></ul><ul><ul><li>一般的には、生成される値に偏りが無く、衝突が起きづらく、似たデータから近い値が生成されないものが用いられる </li></ul></ul><ul><li>LSH では、 p∈P において、近接する点は同じ値となり、離れた点は違う値になるような ( Locality-Sensitive な )hash 関数を用いる </li></ul>p q p∈P G = {g i : ℜd -> U} …… g1 …… g2 …… g3 …… g4 ….
  10. 10. LS-Hash 関数の定義 <ul><li>対象とするもとの空間を ℜ d 、生成される空間を U とする関数 h が以下の条件を満たす場合、局所鋭敏な ( Locality-Sensitive な ) 関数と定義される </li></ul><ul><ul><ul><li>||p-q||<r の時、 Pr[h(p)=h(q)] が p 1 以上 </li></ul></ul></ul><ul><ul><ul><li>||p-q||≧cr の時、 Pr[h(q)=h(q)] が p 2 以下 (p 2 <p 1 ) </li></ul></ul></ul><ul><li>上記条件を満たす L 個のハッシュ関数 G{h 1 ,h 2 …h k } が与えられたとき、一定確率以上 (≧1/2) で L 個のバケット探索によって (r,c)- 近似最近傍点探索を達成する ( 最近傍を見つける ) 方法が存在する </li></ul><ul><ul><li>ただし、 </li></ul></ul><ul><ul><ul><li>L=N ρ(c) </li></ul></ul></ul><ul><ul><ul><li>ρ(c)=log(1/p 1 )/log(1/p 2 ) </li></ul></ul></ul><ul><ul><ul><li>K=log(n)/log(1/p 2 )) </li></ul></ul></ul>
  11. 11. LSH アルゴリズム <ul><li>以下のようなハッシュ関数 g(p) を用いる </li></ul><ul><ul><li>g(p)=<h 1 (p), h 2 (p)…h k (p)> </li></ul></ul><ul><li>構築 </li></ul><ul><ul><li>L 個のハッシュ関数群 g(p){g 1 ,g 2 …g L } を作成する </li></ul></ul><ul><ul><li>全ての点 p∈P に対し、ハッシュ関数 gi ごとにハッシュ値を計算し格納 </li></ul></ul><ul><li>クエリ </li></ul><ul><ul><li>クエリ点 q からハッシュ値を計算し、順次バケット g 1 (q),g 2 (q)… を探索 </li></ul></ul><ul><ul><ul><li>L 個全てのバケットを探索するか、 2L 個以上の点を見つけた時点で探索を打ち切る </li></ul></ul></ul><ul><li>これよって、一定以上の確率で最近傍点を見つけることが出来る </li></ul><ul><ul><li>時間計算量は O(dL) </li></ul></ul>
  12. 12. LSH Hash Family <ul><li>LSH スキームでは、用いる距離尺度に応じて、関数 h を構築する必要がある </li></ul><ul><li>以下の距離尺度において LSH 関数が提案されている </li></ul><ul><ul><li>L 1 ノルム (Hamming 距離 ) (Gionis et al, 1999) </li></ul></ul><ul><ul><li>Cosine 尺度 ,Earth Mover’s Distance (Charikar et al 2002) </li></ul></ul><ul><ul><li>Jaccard 係数 (Broder et al, 1998) </li></ul></ul><ul><ul><li>Lp ノルム (l 2 の Euclidean 距離 ) (Data et al,2004,Andoni et al, 2006) </li></ul></ul>
  13. 13. LSH Hash Family <ul><li>Hamming 距離におけるハッシュ関数 G の定義 </li></ul><ul><ul><li>点 p[1,2,3] から 桁数を正規化した unary code 化をし、 そこからランダムに選んだ bit を k 個をサンプリングする </li></ul></ul><ul><ul><ul><li>Unary(p)=011100110001 </li></ul></ul></ul><ul><ul><ul><li>K=5 で G{h1_1,h2_3,h3_5,h4_8,h5_11} とすると </li></ul></ul></ul><ul><ul><ul><li>G(p)= 0 1 1 1 0 01 1 00 0 1=01010 </li></ul></ul></ul><ul><li>Cosine 尺度における関数 h の定義 </li></ul>ベクトル u は、正規乱数により 生成された d 次元のベクトル
  14. 14. LSH Hash Family for l p norm <ul><li>L p 空間におけるノルムの場合 </li></ul><ul><li>アイディア </li></ul><ul><ul><li>L p 空間上において、 p 度の安定分布により生成されたベクトルとの内積は、正規分布によってばらけはするが、元の座標を反映した値になる </li></ul></ul><ul><ul><li>k 個の内積を用いた k 次元空間へのマッピングにおいては、 l2 空間においては任意の二点間の距離を定数倍の誤差で維持することが出来る [Johnson et al, 1984] </li></ul></ul><ul><ul><li>L p (p>2) 空間においては、確率的にもとの空間における近傍点が、次元削減された空間において確率的に近傍点となるマッピングは存在する [Indyk et al, 2002] </li></ul></ul>
  15. 15. LSH Hash Family for l p norm <ul><li>l p norm における関数の定義 </li></ul><ul><li>a は、 p 度の安定分布により生成される乱数によって構成されたベクトル </li></ul><ul><ul><li>p=2 においては、平均 0, 分散 1 の正規乱数 </li></ul></ul><ul><ul><li>Box-Muler 法などで生成 </li></ul></ul><ul><li>b は、 0 ~ w の値を持つ一様乱数から生成された値 </li></ul><ul><li>scalar 値 b と randMax 値 w によって割って床関数を掛けることにより、 (r,c) のパラメータを調整している </li></ul>
  16. 16. 参考 <ul><li>Piotr Indyk </li></ul><ul><ul><li>Near-Optimal Hashing Algorithms for Approximate Near(est) Neighbor Problem </li></ul></ul><ul><ul><li>http://people.csail.mit.edu/indyk/mmds.pdf </li></ul></ul>

×