![スマホゲームのチート手法とその対策 [DeNA TechCon 2019]](https://cdn.slidesharecdn.com/ss_thumbnails/techcon2019funakubo-190218065153-thumbnail.jpg?width=640&height=640&fit=bounds)
Elasticsearch for Hackadoll
- 1. Elasticsearch for Hackadoll 2015/08/31@mosa_siru 1
- 2.
- 3. @mosa_siru • 「もさ」って呼んでください • 「ボンバーマンの人」って認 識いただければ大丈夫です • もし興味があれば動画をご覧くださ い http://www.nicovideo.jp/watch/ sm13612359 • 最近はSplatoonもやってます 3
- 4. @mosa_siru at DeNA •1年目: 新卒。プラットフォームでAPIとか運用 • 2年目: ハッカドール 立ち上げからジョイン • サーバーサイドを担当 • 3年目: Web版ハッカドールを作ったり、メ ジャーアップデートしたり 4
- 5. ハッカドール サーバーサイド • なんかたくさん作ったwith @xaicron , kommy • API (100個) • ニュース配信APIからゲームの賞品付与APIま で、機能ありすぎて笑える • Worker (70個) • Crawler, Remote Notification, etc.. • 非同期処理やバッチ処理する君 5
- 6. ハッカドール サーバーサイド • Web •Web版でAngular実戦投入したけど良さげでした • リコメンドシステム • 分析基板部と連携 • OPE(管理ツール) • ImageProxy(画像変換サーバー) • Nginx Module, etc… 6
- 7.
- 8. アジェンダ 1. ハッカドールって？ 2. Elasticsearch活用法 A.検索 B. 関連記事 C. リコメンド 8
- 9.
- 10.
- 11. ハッカドールって？ • ゲーミフィケーション • というかゲームできる •オタクユーザーに刺さる機能 が満載！ 11
- 12.
- 13.
- 14. Apple 2014 BestApp！ 14
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25. 最高のオタク辞書を作る • Wikipedia, ニコニコ大百科からオタク系キー ワード一覧を取得 •手動で最新キーワードを管理ツールから登録 • 詳細は去年つくったスライド「 るリコメ ンドシステムの裏事情」をご覧ください 25
- 26.
- 27. シノニムと正規化 • 表記揺れや同義語を吸収したい • まず分かち書きされたものに対して各種正規化 •Unicode正規化 (NFC) • 伸ばし棒 − ∼ ∼ ─ ━ ╌ ╍ ╴ ╶ ╸ ╺ ー - - – — ― − ｰ => ー • 連続するものを1つに • single quote ‘ ’ => ＇ • 全角英数字 Ａ => A • 英数字大文字 A => a • 半角カタカナ ｱｱ => アア 27
- 28.
- 29. 最高のフィルター • あまりにも関係なさそうなタグはフィルタする (ブ ラックリスト) •例：「こんにちは」「名無しさん」 • 正規表現でまとめて弾く • 例：d+時d+分 • ブラックリストも管理ツール上で管理 29
- 30.
- 31. ちなみに • これらのマスターデータの運用は辛い • A→ Bへのシノニムが登録されたら、全てのタグAを 持つ記事のタグを再計算してESに再登録させる仕組み • シノニムが削除された場合は？ • 辞書やシノニムをESに担当させることもできるが、辞書 やシノニム更新のたびにreindexingが必要だったり辛そ うなのでやってない 31
- 32.
- 33. 検索クエリ (ようやくESの話) 1. クエリ「まどマギ」で検索したとする 2.クエリをシノニム変換:「まどマギ」=> 「魔法少女まどか☆マギカ」 3. まずは完全一致でタグに当てる (terms query) 4. あるいは部分一致で全文に当てる (query_string query) 5. 最後に除外フィルタを通して最新順で返す • 例：ベイジアンフィルタにより「えっちな記事」判定されたものを外す • 例：各種ユーザーフィルタ(まとめサイトOFFなど） • なお最新順で返す検索仕様は簡単（スコアリングを考えなくて良い） 33
- 34. 検索クエリ 4. 「あるいは部分一致で全文に当てる」とは • 目的：クエリ「魔法少女」でも「魔法少女まどか☆マギカ」に当たるよ うにしたい •analyzerのあるフィールドに query_string query • ただし一方「魔法少女」で 「少女」に当たらない よう”” で囲んでいる => クエリは分かち書きされない 34
- 35. 検索クエリ (ページング) • やっぱりlimitoffsetは使いたくない • n+1件取得して、n+1件目の記事のtimestamp, idを pageTokenとしてレスポンスに含める • n+1件目は結果から除外する • クライアントはページング時のリクエストに pageTokenを入れる • サーバーはpageToken以降の記事をn+1件取得する （以下繰り返し） 35
- 36.
- 37. 検索補完 • 補完により、入力補助はもちろん表記揺れリ スクも解消できる • 実装はまさかのMySQL！likeで前方一致！ｗ •あらかじめbatchで全キーワードの登場数を 管理するテーブルを作っている (TDIDFのDF) • nginx proxy cacheでフロントキャッシュして 負荷軽減 • カジュアルに使えるのでおすすめ 37
- 38.
- 39.
- 40. まだまだできるはず • 心地よく、違和感なく使えるレベルであるのは間違いない • が、まだGoogleにはなれてない •Fussy検索 • 「もしかして」 • And検索の補完 • “AND” “OR” “NOT” 文への対応 • シノニムやらもろもろと帳尻あわせつつ入れるの大変。やっぱり自然言 語まわりはむずかしい（こなみかん 40
- 41.
- 42. ウォッチリスト 42 • 好きなタイトル名などを登録しておくと、 そのキーワードを含んだニュースが出る たびに教えてくれる(RSS like) •オタクであるほど、好きな作品のニュー スは逃したくない • OR検索でElasticsearchから取得 • 検索を作りこんだおかげで可能となっ た
- 43.
- 44. 関連記事 • その記事に関連する記事を教 えてくれる機能 44 ニュース記事 商品記事イベント記事 ニュース記事 商品記事 イベント記事
- 45. 関連記事 • 基本は先ほど紹介したタグ情報をもとに、ESのmlt (more likethis) クエリで近い記事を出しています • mlt:「似た」ドキュメントを探してくれるイケメン機能 です • 一致するタグを沢山もっている記事ほどスコアが高く なる • 全部”タグ”で完結するので、ニュース/商品/イベント記事 をまたいだマッチングが可能 45
- 46. 関連記事(クエリ) 1. その記事のタグ情報を取得 2. mltスコアを計算 3.新しい記事を重視するために、decayを掛け あわせて最終スコアとする (function_score query) 4. 除外フィルタを通し、スコアが高い順に表示 46
- 47.
- 48. 参考：mltのカスタマイズ箇所 name description default percent_terms_to_match このパーセント以上タグが マッチしないと似ていると みなされない 0.30 min_term_freq 最低この個数はタグがマッチしない といけない 2 min_doc_req全ドキュメント内でこの個数以上登 場するタグのみ用いる 5 ニュース、商品、イベント記事のタグの特性をもとに、 微妙に値をカスタマイズしている
- 49.
- 50.
- 51.
- 52. キャリブレーションの流れ 1. ユーザーの好きなカテゴリから、好きそ うなキーワード群とそれぞれの重みを算 出 2. 一部をユーザーがオプトアウトし、最終 的な”taste”とする 3.tasteをESに投げ、初回記事を生成 4. 類似記事の排除をして記事確定 （詳細は略） 52
- 53. キャリブレーション(クエリ) 53 1. tasteをbool query化 •boost値はキーワード ごとのスコア(重み) • boost値が高いタグが たくさんマッチする記 事はスコアが高い
- 54. キャリブレーション(クエリ) 54 2. 最新度, 記事のPV数など で最終スコア調整 3.各種フィルタを通し、ス コアが高い順に返す
- 55.
- 56.
- 57.
- 58.
- 59. ES便利、だけど • 検索、関連記事、ちょっとしたリコメンド …いろいろできる！ • でも少し込み入ったことをするには沢山考 えることがあって辛い時もある •やっぱりサービス作りは、ユーザーのた めに泥臭く畑を耕すこと 59
- 60. その他ESへの雑感 • 速度面や安定性は流石の一言 • GCによるCPUがあれですが •機能が豊富すぎてびびる • 細かいパラメーターチューニングができる分、凝りだすと逆に 辛い • 公式ドキュメントのクエリ解説は正直わかりにくい • レスポンスが書いてなかったりなど • SQLに慣れすぎた人類には早かった 60
- 61.