Recommended
More Related Content
Recently uploaded
Recently uploaded (10)
Featured
Featured (20)
エウレカの投稿監視システム
- 2. 自己紹介：James （エウレカ） • イギリスのケンブリッジ大学 でコンピューターサイエンス を専攻 • 鳥取県で中学校で教えながら 日本語を勉強 • ２０１５年から東京でエンジ ニアとして働いています • 得意：Scala開発、アーキテ クチャ、CS理論
- 3. Pairsとは
- 4. プロフィール
- 5. サンプル会話
- 6. 発表コンテンツ • テキスト監視 • Pairsでユーザーが入力するテキスト（メッセー ジ、紹介文、つぶやきなど）を自動に監視 • 画像監視 • Pairsでユーザーがアップロードする画像（だい たいプロフィール画像）を自動に監視
- 7. テキスト監視要件 • 目標：業者ユーザー、ストーカー、他のサービスの 招待を自動に見つける • ルールのフィルターを使って、NGメッセージの 35%ぐらいキャッチする • メールのスパムフィルターは普通に99.5%以上 • 95%以上、全てのテキスト種類で使えるフィルター 作りたい
- 8. フィルター仕様 Text Bad Words Bayesian Bad Regexes Result
- 9. Bayesianフィルター • P(S|W): 言葉Wがあれば、メッセージSがスパムの率 • P(W|S): 言葉Wがスパムメッセージに出る率 • P(W|H): 言葉Wがハムメッセージに出る率
- 10. Bayesianフィルター（例） • 「アリクイはありを食べる」 • 「あり」は６スパムメッセージ、４ハム メッセージに出る • 「食べる」は２スパムメッセージ、８ハ ムメッセージ • 「アリクイ」は初めてみた (0.6 * 0.2) / (0.6 * 0.2 + 0.4 * 0.8) = 0.273 スパム確率：27.3%
- 11. 結果 • ２０万メッセージで学習させてみた。その結果、、、 • 〜８０％ヒット率 • 三日間調整して、色々いじってみた。その結果、、、 • 〜８１％ヒット率 • たらなかった
- 12. なぜ80%だけ？ • メッセージは普通にメールより短い • 件名がない • 日本語をトークンにするのは難しい問題 • Pairsは細かいルールがある
- 13. パラメーター調整 • 文字数 • 英語文字数 • 名指数 • 形容指数 • 動詞数 • 組織数 • 名前数 • フッルネームが入っているかどうか • セックスに関係ある言葉数 • 学校に関係ある言葉数 • 怪しい言葉数（Facebook, LINEとか） • Line IDにみえるのが入っているかどうか • メールアドレスが入っているかどうか • URLが入っているかどうか • 数字数 • シンボル数 • 副詞数 • 助詞数 • ワイトスペース数 • 生数 • 苗字数 • 挨拶数 • 場所数 • 誘っている言葉数 • 恋愛に関係ある言葉数 • フレンドリーじゃない言葉数 • トークン • テキスト
- 15. 画像監視 • 目標：ユーザーのプロフィール画像を自動に監視 • 暴力や裸など • 半分以上は友達も写ってる写真
- 16. 顔認識の背景 • SNS、ゲーム、セキュリティ、写真整理 • 写真ならいろんな方法 例えばEigenfaces (1987) • 「平均の顔」と比べてどれぐらい違う？ • Viola-Jones (2001): 初めてのリアルタイムアルゴリ ズム
- 17. Viola-Jones顔認識 • 顔の明るい・暗いところを見る • Haar Featuresを見て、顔かど うか決める • フィーチャーはどれぐらい大事 か、学習で決める
- 18. Viola-Jones顔認識 • 白いところ - 黒いところ > K • Kは学習で決める（普通に AdaBoost） • 偽陰性率が低いので「顔がない ところ」を削減しながら進む
- 19. OpenCVひどいね
- 21. OpenCV: 顔認識の実装
- 27. Google Visionの問題点 • 有料（1000/$1.50） • 遅い（１−２秒かかる） • １００％ではない
- 28. 結論 • カメラを見てて、質度が高い写真ならViola-Jonesが いい • 写真がよくない、あるいはミス許せないアプリなら Google Vision • 他のディープラーニングソルーションも試した方が いい (Microsoft、Amazon)
- 29. Thank you!