2017년 8월 27일 스팍스 서울 티파티

1. 확률론적 자료구조들
Probabilistic data structures
스팍스 서울 티파티 2017-08

2. 서상현
2017-08-27

3. 웹 스팸 문제
 앞에서 꿋꿋이 걸어가던 엑셀핸드가
 난데없이 말한다 (드래곤 라자 7, 이영도)
 앞에서 꿋꿋이 걸어가던 엑셀핸드가
 강원랜드 난데없이 말한다 (어떤 스패머)

4. n-gram, k-mer, w-shingle
 SPARCS 3-gram
 SPA, PAR, ARC, RCS
 GAATTC 3-mer
 GAA, AAT, ATT, TTC
 2-shingle
 엑셀핸드가 난데없이 / 엑셀핸드가 강원랜드
 강원랜드 난데없이 / 난데없이 말한다

5. ngram
 def ngram(n, string):
 result = []
 for i in range(0, len(string) - n + 1):
 substring = string[i:i+n]
 result.append(substring)
 return result

6. IoU
 Intersection over Union
 | A ⋂ B | / | A ⋃ B |
 n(3, SPARCS) = SPA, PAR, ARC, RCS
 n(3, SUPARCS) = SUP, UPA, PAR, ARC, RCS
 ⋂ = ARC, PAR, RCS
 ⋃ = ARC, PAR, RCS, SPA, SUP, UPA
 IoU = 3 / 6 = 50%

7. iou
 def iou(n1, n2):
 s1 = set(n1)
 s2 = set(n2)
 intersection = s1 & s2
 union = s1 | s2
 return len(intersection) / len(union)

8. 해시 함수
 h: X → [0, 2^32)
 x = y 이면 h(x) = h(y)
 x ≠ y 이면 h(x) ≠ h(y) (확률: 1 – 1/2^32)

9. hash
 def hash(string):
 result = 0
 for character in string:
 number = ord(character)
 result = result * 33 + number
 return result % 256

10. MinHash
 A와 B의 IoU를 구하는 대신
 s(X) = X의 모든 원소의 hash 중 가장 작은 k개
 s(X)는 X의 랜덤 샘플
 C = s(s(A) ⋃ s(B))는 A ⋃ B의 랜덤 샘플
 D = (A ⋂ B) ⋂ C = (s(A) ⋂ s(B)) ⋂ C
 IoU ~ |D| / |C|

11. minhash
 def minhash(k, seq):
 hashed = (hash(item) for item in seq)
 return nsmallest(k, hashed)

12. minhash_iou
 def minhash_iou(k, n1, n2):
 s1 = set(minhash(k, n1))
 s2 = set(minhash(k, n2))
 union = set(nsmallest(k, s1 | s2))
 intersection = s1 & s2 & union
 return len(intersection) / k

13. 해 봅시다!
 n1 = ngram(3, SPARCS)
 SPA, PAR, ARC, RCS
 n2 = ngram(3, SUPARCS)
 SUP, UPA, PAR, ARC, RCS
 iou(n1, n2)
 3 / 6 = 0.5

14. 해 봅시다!
 [hash(item) for item in n1]
 164, 3, 86, 200
 [hash(item) for item in n2]
 88, 38, 3, 86, 200
 minhash(2, n1) = 3, 86
 minhash(2, n2) = 3, 38
 minhash_iou(2, n1, n2) = 1 / 2 = 0.5

15. 주작이 아닙니다!

16. KMV
 K-Minimum Values
 |A|를 구하는 대신
 s(A) = MinHash(k, A)를 구하면
 |A| ~ 2^32 / Max(s(A)) * k
 |A ⋃ B| ≠ |A| + |B|
 그러나 s(A ⋃ B) = s(s(A) ⋃ s(B))!

17. kmv
 def kmv(k, seq):
 s = minhash(k, seq)
 return 256 / max(s) * k

18. 해 봅시다!
 s = sven, sanxiyn, daybreaker, nobell
 [hash(item) for item in s]
 252, 74, 122, 60
 kmv(1, s) = 256 / 60 * 1 = 4.27 ~ 4
 nobell을 빼면
 kmv(1, s) = 256 / 74 * 1 = 3.46 ~ 3

19. 주작입니다!