Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Groongaでのタグ検索と表記揺れとの戦い

2,288 views

Published on

  • Be the first to comment

  • Be the first to like this

Groongaでのタグ検索と表記揺れとの戦い

  1. 1. ���������������������� ����������������������� Groongaでのタグ検索と 表記揺れとの戦い ����� ������������������� ����������
  2. 2. ���������������������� ����������������������� 自⼰紹介 ��������������������✓ ����������������������������� �������������������������� ✓ ����������������������������������� ��������������������������✓ �����������������✓ ������������������������� ���������������� �������������������������������� ✓ ✓
  3. 3. ���������������������� �����������������������   ����������������������������� ����������������������� ✓ ������������������������✓ �������������������������� ����������������� ������������������������������������ ���������� ✓ �����������������������✓ ������������������� ��������������������������������������� ������������������������ ✓ ✓
  4. 4. ���������������������� ����������������������� Groongaのタグ検索を使っているとろ ������������������� �����������������������������✓ ✓ ����������������������� ������������������������✓ ✓ ������������������� ��������������������� �������������� ✓ ✓
  5. 5. ���������������������� ����������������������� Groongaのタグ検索のいいところ ���������✓ ������������������������ ��������������������������������� ����������� ✓ ✓ ������ ����������� � ������ � ������ ���� ��������� � ��� � ���
  6. 6. ���������������������� ����������������������� Groongaのタグ検索のいいところ ���������� �������������✓ �����������������✓ �����������������✓ ✓ ������ ����������� � ���������������� � ��������
  7. 7. ���������������������� ����������������������� Groongaのタグ検索のいいところ ����������������������� �������� ���������������������� ��������������������� ✓ ������������������✓ ✓ ���� ��������� ��� ��������� ����� ����������� � ��� ������ ��� � ��� ��������� ��
  8. 8. ���������������������� ����������������������� タグ検索で困ったこと ����������� ������������������������� ��� ✓ ����������������� �����������������������✓ ✓
  9. 9. ���������������������� ����������������������� KABUSHIKI KAISHA
  10. 10. ���������������������� ����������������������� KABUSHIKI KAISYA
  11. 11. ���������������������� ����������������������� KABUSHIKI GAISHA
  12. 12. ���������������������� ����������������������� KABUSHIKI KAAISHA
  13. 13. ���������������������� ����������������������� KABSHIKI KAISHA
  14. 14. ���������������������� ����������������������� KABUHSIKI KAISHA
  15. 15. ���������������������� ����������������������� KABUSHIKI DAISHA
  16. 16. ���������������������� ����������������������� KABUSHIKI KISHA
  17. 17. ���������������������� ����������������������� KABUSHIKI KEISHA
  18. 18. ���������������������� ����������������������� KABUSHIKI HAISHA
  19. 19. ���������������������� ����������������������� 負けては いけませ ん
  20. 20. ���������������������� ����������������������� タグの表記揺れで問題になること ����������� ����������������������������� ����������������������������� ��������������� ✓ ��������������������������� ����������������������������� ✓ ✓ �������������� ��������������������������������� ������� ✓ ✓
  21. 21. ���������������������� ����������������������� 表記揺れの主な種類 ������������� �������������✓ ✓ ��������� ������������������✓ ✓ ����������������� ����������������✓ ✓ ����������✓ 誤字/脱字(Typo)✓
  22. 22. ���������������������� ����������������������� 表記揺れ(Typo)の単語を抽出するプラグイ ン gronoga-term-similar ����������������������� �������������������������������������������� ✓ �������������������� ������������� ✓ ����������������������� ����� ✓
  23. 23. ���������������������� ����������������������� 表記揺れ(Typo)の検出⽅法 ���������������������� ���������������������� � ��������������✓ ����������������������������������������������✓ ✓ ���������������������� ���������� ��������������������✓ ���������✓ ✓
  24. 24. ���������������������� ����������������������� Patricia Trieによる前⽅⼀致検索 ���������������������� ���������������������� ������������������������ �������� ✓ ✓ Da����������Da��������Da����������������������✓ ���������� ������������������������� ✓
  25. 25. ���������������������� ����������������������� 編集距離(Levenshtein distance) ����������������������✓ ����������������������� ������������ ✓ ��������������t��������✓ ��������������a�������✓ ��������������_�������✓ ���������������������a���_�������✓
  26. 26. ���������������������� ����������������������� KABUSHIKI KAISHA
  27. 27. ���������������������� ����������������������� KABUHSIKI KAISHA
  28. 28. ���������������������� ����������������������� KABUSHIKI DAISHA
  29. 29. ���������������������� ����������������������� Damerau-Levenshtein distance ����������������������� ������������������������� � ✓ ✓ ���������������������� �������������������� ✓ ��������������✓ ���������������������na���������✓
  30. 30. ���������������������� ����������������������� qwerty配置のキーボード距離 �����������������������✓ ���������������������� ��������������������� ✓ ���������������������� �������������� ✓ ����������������������������we�������✓ �����������������������������e�����o�✓ �������������������������� ������ ✓
  31. 31. ���������������������� ����������������������� 多くの⽂書に出現しているタグを選択 (optional) ���������������������� ���������������� ✓ ������������������������ ������������������� ���������������������������������� ����������������� ✓ ����������� Database = DF:200/Distance:11 ��������������������������� ��������������������������� ✓
  32. 32. ���������������������� ����������������������� 表記揺れ(Typo)の検出⽅法 �������������������������✓ ������������������������������✓ ������������������������������������✓ �����������������������✓ ��������������������✓ ���������������������� ���������������������� Typoの修正候補ぽいのが抽出される✓ ✓
  33. 33. ���������������������� ����������������������� 抽出例(DFオプションなし1) ���������������������������������������� � ����� ��������������������� �������������������� ��������������������� ���������������������� ��������������������� ��������������������� ����� � �������������������������✓
  34. 34. ���������������������� ����������������������� 抽出例(DFオプションなし2) ���������������������������������������� � ����� ������������������� ������������������� ������������������ �������������������� ����� � ������������������� ��������������� ✓
  35. 35. ���������������������� ����������������������� 抽出例(DFオプションあり) ��������������������������������������������������������� � ����� ���������������������� ����������������� ������������������� ������������������ ����� � ��������������������������� �������������������������� ✓
  36. 36. ���������������������� ����������������������� タグの表記揺れで問題になること まとめてグループ集計できない ��������������������������������� ������� ✓ ✓ ������������✓ ���������������� �����������������������������✓ �������������������✓ ✓
  37. 37. ���������������������� ����������������������� 投⼊タグを書き換えるプラグイン gronoga-tag-synonym ��������������������� ������������������������������������������� ✓ ������������������������� ���������������������������������✓ ✓ ������������������� ���������������������������✓ ������������������������✓ ✓ Typoのあるタグが集約される✓
  38. 38. ���������������������� ����������������������� 投⼊タグを書き換えるプラグイン gronoga-tag-synonym ������������������������������������������� ����������������� ��������������������������������������������� ������������������ ������������������������������������������������������ ����������������������������������������������������� �������������������������������������������������������������������� � ����� ������� ������������������ ������������������������������ �������� ������� ������������������ ������������������������������ ������� ����� ��� �
  39. 39. ���������������������� ����������������������� 投⼊タグを書き換えるプラグイン gronoga-tag-synonym ��������������������� ����������������������������� ����������������������������� ���������� ✓ ��������������������������������� ������� ✓ ✓ ���������������������� ���������������� ������������������������� ����������������������������� ✓ ✓
  40. 40. ���������������������� ����������������������� 投⼊タグを書き換えるプラグイン gronoga-tag-synonym ����������������� ���������������� �����������������������✓ ✓ ����������������� ���������������� ����������� ✓ �������������✓
  41. 41. ���������������������� ����������������������� TokenFilterTypoトークンフィルター gronoga-term-similar ������������������������� �������������������������� ���� ✓ ����������������������������� ��� ������������������� ��������� ✓ ������������������������� ������������������� ✓
  42. 42. ���������������������� ����������������������� TokenFilterTypoトークンフィルター gronoga-term-similar ������������������ �������������������������������������������� ������������������������������������������������������� ��� ������������������������������������� ���
  43. 43. ���������������������� ����������������������� Groongaのいいところ ����������������✓ ���������������������✓
  44. 44. ���������������������� ����������������������� タグの表記揺れでもうひとつ解決したいこと あいまい検索 ������������������� �������������������������自動� ������������ ������✓ ✓ ���������������������� ���������������������� �������� ✓ ���������������������� ������������� ✓
  45. 45. ���������������������� ����������������������� Thank you for your attension
  46. 46. ���������������������� ����������������������� Thank you for your attention

×