Sit tokyo2021 solr_japanese_tokenizer_basics

2021年3月17日
Hongsub Shin
SAP
Apache Solr検索エンジンにおける日本語Indexing
処理の理解
SAP Inside Track 2021
TOKYO

2
名前： Hongsub Shin
会社： SAP
部門： SAP Customer Experience
役割： Senior Technology Consultant
参加目的：ハンズオン講師、ネットワーキング
Hongsub Shin
SAP Community
のプロファイルを画
像コピー

3
参加者にセッション前質問
1. SAP Commerce Cloud導入プロジェクトにおいてApache Solr検索エンジンの検索品質改善（ヒット率ア
ップなど）のための対策を実施した経験はありますか？
1. 経験が豊富にある
2. 経験したことはあるが、多くはない
3. 経験・機会なし
2. 言語類型論による言語の分類には「膠着語（こうちゃくご）」と呼ばれる分類があります。次のうち、膠
着語に分類される言語はどの言語でしょうか？
1. ドイツ語
2. 日本語
3. 英語
4. 韓国語

4
1. SAP Commerce Cloudの商品検索
2. Apache SolrのIndexing処理における日本語解析
3. SAP Commerce CloudのApache Solr日本語検索改善
4. Wrap Up
Apache Solr検索エンジンにおける日本語Indexing処理の理解

5
SAP Commerce Cloudの商品検索
SAP Commerce Cloudではストアフロント及びBackofficeの商品検索にApache Solr検索エンジインが利用
されています。商品検索のカスタマイズ及び検索品質向上にはApache Solr検索エンジンに対する知識が必要
です。
Product
SAP Commerce Type System Apache Solr Index
Extract Transform Load
Backofficeの商品検索
ストアフロントの商品検索

6
本セッションの内容
 お客様の悩み
 日本語フリーワード検索で商品がヒットしない
 日本語フリーワード検索結果に意図しない商品が表示される
本セッションでは以下の内容を皆様にお伝えします。
• Apache Solr検索における日本語Indexing処理の内容
• 日本語検索の品質向上のための第１ステップ
※ 本日の説明はSAP Commerce 2005バージョン及びApache Solr 8.4バージョンをベースに行います。

7
4. Wrap Up

8
Apache SolrのIndexing処理における日本語解析
検索エンジンにおける日本語文章のIndexingは日本語の言語学的特性により「形態素分析」による解析が必
要です。Apache Solrでは辞書ベースの形態素分析ライブラリの「Kuromoji」を利用して日本語文書を解析
・Tokenizingを行います。
 日本語の言語学的特性
• 膠着語（こうちゃくご、英： agglutinative language）の特性を持つ
• 単語に「接頭辞」「接尾辞」などの形態素が付着することで、文章の中での文法関係を示す
• 文章の中で単語の区切りが難しい
• 文章の中で意味のある単語を抽出するためには「形態素分析」が必要
• Apache Solrでは「Kuromoji」日本語解析ライブラリが使われる

9
Apache Solrの日本語解析モジュール
Apache Solrに含まれている「Kuromoji」日本語解析ライブラリは「辞書」を利用して単語を抽出する
TokenzerとTokenizing後のフィルターリング・加工を実施するための複数のFilterで構成されます。
 JapaneseTokenizer
• 辞書（単語とその品詞のリスト）を利用して文章の中から単語の一覧を抽出
• 辞書の種類
• 標準辞書：Kuromojiに標準で内蔵している辞書
• ユーザー辞書：ユーザーのカスタム辞書（設定でカスタム辞書ファイルを指定可能）
 Filter
• Tokenizerが抽出した単語一覧の各単語を対象に後処理を実施

10
Apache Solrの日本語解析モジュール（フィルター）
Apache SolrのKuromoji形態素分析ライブラリは以下のフィルターを提供します。
Filter 機能フィルター適用例 SAP Commerce
標準利用
JapaneseIterationMarkCharFilter 「踊り字」で略された単語を元の状態に変換時々 → 時時 ×
JapaneseBaseFormFilter 活用によって語尾変化された単語を元の形に
変換
描き → 描く ○
JapanesePartOfSpeechStopFilter 単語の品詞で「使わない品詞設定」された単
語を除外
・助動詞は除外する設定の場合
描きます：描く（動詞）＋ます（助動詞）
→ 「ます」はIndexing対処から除外
○
JapaneseKatakanaStemFilter カタカナ単語が長音記号（ー）で終わる、か
つ単語の長さが指定された長さ以上の場合、
最後の長音記号を削除
・長さ指定が「４」の場合
コヒー → コヒー
サーバー → サーバ
○
JapaneseReadingFormFilter 単語の表現を読み方（カタカナ・ローマ字）
に変換
寿司 → スシ
寿司 → sushi
×
JapaneseNumberFilter 日本語の数字表現（漢数字）をアラビア数字
表現に変更
ー○○○ → 1000 ×

11
SAP Commerce CloudのApache Solr Index Schema定義
SAP Commerceの場合、各フィルドタイプに対する言語解析設定は「schema.xml」ファイルで定義されて
います。他言語対応が必要なテキスト文章がIndexingされるデータタイプについては対応する各言語別に解
析で使われるTokenizerやFilterが設定されています。
<fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100">
<analyzer type="index">
<tokenizer class="solr.JapaneseTokenizerFactory" mode="search" />
<filter class="solr.JapaneseBaseFormFilterFactory" />
…
</analyzer>
<analyzer type="query">
<tokenizer class="solr.JapaneseTokenizerFactory" mode="search" />
…
</analyzer>
</fieldType>
日本語テキストフィールド（text_ja型）の設定例
 使用されるオーぺレーション（Indexing, Query文）毎に定義されています
• 「analyzer type=“index”」：Indexing処理に利用される解析ルール設定
• 「analyzer type=“query”」：Query処理に（検索語処理）利用される解析ルール設定

12
SAP Commerce Cloudの日本語Solr Indexフィールド型定義
SAP CommerceのApache Solr Schema定義における日本語解析ルール定義は以下となります。
処理順 Tokenizer / Filter 日本語専用
区分
機能
1 JapaneseTokenizer 日本語専用「踊り字」で略された単語を元の状態に変換
2 JapaneseBaseFormFilter 日本語専用活用によって語尾変化された単語を元の形に変換
3 JapanesePartOfSpeechStopFilter 日本語専用単語の品詞で「使わない品詞設定」された単語を除外
4 CJKWidthFilter 汎用全角ASCII文字を該当する半角ASCII文字に変換
半角カタカナ文字を全角カタカナに変換
5 ManagedStopFilter 汎用登録されている禁止語リストをベースに禁止語を除外
6 LowerCaseFilter 汎用アルファベット大文字を小文字に変換
7 KeywordMarkerFilter 汎用登録されているキーワード一覧に記載されている単語の場合、Stemフィルターによる
変換から保護するためにマーキング
8 JapaneseKatakanaStemFilter 日本語専用カタカナ単語が長音記号（ー）で終わる、かつ単語の長さが指定された長さ以上の場合
、最後の長音記号を削除
9 RemoveDuplicatesTokenFilter 汎用解析による抽出された単語一覧から重複を取り除く
 「analyzer type=“index”」：Indexing処理に利用される解析ルール設定

13
SAP Commerce Cloudの日本語Solr Indexフィールド型定義
SAP CommerceのApache Solr Schema定義における日本語解析ルール定義は以下となります。
処理順 Tokenizer / Filter 日本語専用
区分
機能
1 JapaneseTokenizer 日本語専用「踊り字」で略された単語を元の状態に変換
2 JapaneseBaseFormFilter 日本語専用活用によって語尾変化された単語を元の形に変換
3 JapanesePartOfSpeechStopFilter 日本語専用単語の品詞で「使わない品詞設定」された単語を除外
4 CJKWidthFilter 汎用全角ASCII文字を該当する半角ASCII文字に変換
半角カタカナ文字を全角カタカナに変換
5 ManagedSynonymGraphFilter 汎用登録されている類義語リストをベースに単語を登録された類義語（複数可）に置換
6 ManagedStopFilter 汎用登録されている禁止語リストをベースに禁止語を除外
7 LowerCaseFilter 汎用アルファベット大文字を小文字に変換
8 KeywordMarkerFilter 汎用登録されているキーワード一覧に記載されている単語の場合、次のStemフィルターに
よる変換から保護するためにマーキング
9 JapaneseKatakanaStemFilter 日本語専用カタカナ単語が長音記号（ー）で終わる、かつ単語の長さが指定された長さ以上の場合
、最後の長音記号を削除
10 RemoveDuplicatesTokenFilter 汎用解析による抽出された単語一覧から重複を取り除く
 「analyzer type=“query”」： Query処理に（検索語処理）利用される解析ルール設定

14
Apache Solr Admin画面を利用したIndex値分析
Apache Solrの日本語解析ルール設定はApache Solrの管理画面でシミュレーションできます。
① Core選択
② Analysis
メニュー選択
③ 日本語テキストの場合、
「text_ja」を選択
analyzer type=“index”の
設定が適用される
analyzer type=“query”の
設定が適用される

15
Apache Solrによる日本語文章解析の例
SAP CommerceのApache Solr Schema定義を利用して日本語文章を解析すると次のステップで単語が抽出
され、Indexingされます。
処理順 Tokenizer / Filter
1 JapaneseTokenizer
2 JapaneseBaseFormFilter
3 JapanesePartOfSpeechStopFilter
4 CJKWidthFilter
5 ManagedStopFilter
6 LowerCaseFilter
7 KeywordMarkerFilter
8 JapaneseKatakanaStemFilter
9 RemoveDuplicatesTokenFilter
 例文：サーバーが起動しました

16
1 JapaneseTokenizer
4 CJKWidthFilter
5 ManagedStopFilter
6 LowerCaseFilter

17
文章「サーバーが起動しました」は最終的に「サーバ、起動、する」の３単語に分解されます。
1 JapaneseTokenizer
4 CJKWidthFilter
5 ManagedStopFilter
6 LowerCaseFilter

18
1. SAP Commerce Cloudの商品検索とApache Solr
4. Wrap Up

19
Apache Solr日本語検索の品質改善の第１ステップ
SAP Commerce CloudのApache Solr設定はIndexing処理における日本語解析のためにApache Solrに含ま
れている「Kuromoji」を利用しています。Kuromojiは辞書基盤の形態素分析アルゴリズムを採用しているた
め、辞書の品質が検索結果に影響を及ぼします。
 辞書基盤の形態素分析のメリットとデメリット
• メリット
• 検索結果にノイズが少ない
• デメリット
• 定義された辞書を利用するため、辞書にない単語は検出できない
 SAP Commerce CloudにおけるApache Solr日本語検索の品質改善の第１ステップ
 ユーザー辞書の運用
 類義語（Synonym）の運用

20
ユーザー辞書の運用
辞書ベースの形態素分析アルゴリズムは辞書にない単語の検出ができません。そのため、検索品質を向上さ
せるためには「ユーザー辞書」の運用が必要となります。
 「JapaneseTokenizer」にユーザー辞書を設定
• schema.xmlの修正が必要
• JapaneseTokenizerの「userDictionary」設定
• ユーザー辞書ファイルの作成
<fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100">
<analyzer type="index">
<tokenizer class="solr.JapaneseTokenizerFactory" mode="search"
userDictionary=“lang/userdict_ja.txt”/>
…
</analyzer>
</fieldType>
schema.xmlの設定例 Apache Solr設定変更のためのFolder構造

21
ユーザー辞書の運用
修正した「schema.xml」及び作成した「ユーザー辞書」をSAP Commerce CloudのApache Solrに適用す
うるためには以下の作業が必要です。
 Code Repository上のApache Solrカスタマイズ用の資材管理
 Build Manifest (manifest.json)の設定追加
"useConfig": {
"properties": [
...
],
"solr": {
"location": "/solr-customize"
}
}
Build Manifestの設定例

22
類義語（Synonym）の運用
SAP Commerce Backofficeでは類義語一覧を登録する機能を提供します。類義語を適切に管理することによ
って検索品質の改善効果が図れます。
SAP Commerce Backoffice画面での類義語登録 Apache Solrの検索後分析での利用

23
4. Wrap Up

24
テーマ：チャレンジしよう！ - 行動をおこすキッカケに
 Apache Solrにおける日本語検索のIndexing処理は辞書基盤の「形態素分析」が利用されています。
• 辞書を利用する形態素分析は辞書にない単語に弱いデメリットがあります。
 日本語検索の品質を向上させる第１ステップとして次の運用が効果的です。
• ユーザー辞書の運用
• 類義語（Synonym）の運用

Sit tokyo2021 solr_japanese_tokenizer_basics

Recommended

Recommended

More Related Content

Similar to Sit tokyo2021 solr_japanese_tokenizer_basics

Similar to Sit tokyo2021 solr_japanese_tokenizer_basics (20)

Recently uploaded

Recently uploaded (12)

Sit tokyo2021 solr_japanese_tokenizer_basics