金数据是如何鉴黄的
•
0 likes•442 views
这是在RubyConfChina2017上的演讲，如何使用机器学习的方法来识别色情表单。 1. 三个阶段分别是：人工识别 -> 关键字匹配 -> 机器学习 2. 介绍了使用机器学习的三个方面：特征提取 -> 算法选择 -> 结果评估。 3. 金数据在实战中的一些数据
Recommended
Recommended
More Related Content
Featured
Featured (20)
金数据是如何鉴黄的
- 1. ⾦金金数据是如何鉴 的 姜 鹏⻩黄
- 4. 此处省略略558个字……
- 19. 如何能减少⼈人⼯工⼲干预 - 不不需要⼈人⼯工设置权重 - 不不需要⼈人⼯工选择关键词 - 能越来越准确 Machine Learning
- 23. 算法选择 结果评估特征提取
- 25. ⽂文本 -> 数学：计数 Ruby 喜欢 ⼩小姨⼦子 ⾦金金数据 标记 我 喜欢 ⾦金金数据 正常 我 喜欢 Ruby 正常 我 喜欢 ⼩小姨⼦子 ⾊色情 ⼩小姨⼦子 到 我家 玩 特征 样本 0 1 0 1 11 0 0 10 1 0 00 1 0 0 0 1 ?
- 26. ⽂文本 -> 数学：权重 TF-IDF：term frequency–inverse document frequency 衡量量词语对⽂文档的重要程度： • ⼀一个词在⽂文档中的出现次数成正⽐比 • 与该词在整个语⾔言中的出现次数成反⽐比 0 1 0 1 1 1 0 0 0 1 1 0 0 0.5085 0 0.861 0.861 0.5085 0 0 0 0.5085 0.861 0 ['ruby', '喜欢', '⼩小姨⼦子', ‘⾦金金数据'] ['ruby', '喜欢', '⼩小姨⼦子', '⾦金金数据']
- 27. ⽂文本 -> 数学：分词
- 28. ⽂文本 -> 数学：计数
- 29. ⽂文本 -> 数学：权重
- 30. 「⼀一切问题都是数学问题」
- 32. 0 0.5085 0 0.861 0.861 0.5085 0 0 0 0.5085 0.861 0 分类问题（数学） 0 0 1 0 0 0.861 0 ? 训练集 标记 预测
- 33. 算法选择 结果评估特征提取
- 34. ⽀支持向量量机（SVM）
- 36. 训练
- 37. 预测：⾊色情
- 38. 预测：正常
- 39. 算法选择 结果评估特征提取
- 41. Predict ⾊色情 正常 Actual ⾊色情 6（TP） 4（FN） 正常 0（FP） 90（TN） 精确率（Precision） 召回率（Recall） 评估：混淆矩阵（Confusion Matrix） 预测是⾊色情的结果中，确实是⾊色情的⽐比例例 所有⾊色情表单中，预测是⾊色情的⽐比例例
- 43. 系统集成 Goldendata Server (Ruby on Rails) DB ML Server (Python Flask) 训练学习 内容预测 存储分类器器 Content Check Server (Ruby on Rails) 表单封停 ⽤用户通知 训练集管理理 3. 获取训练集 4. 获取分类结果 1. 表单存储 2. 表单提取 Matrix
- 45. Predict ⾊色情 政治 欺诈 正常 Actual ⾊色情 92 0 0 2 政治 0 56 0 9 欺诈 0 0 70 7 正常 1 2 5 2254 评估 Precision Recall F-score ⾊色情 0.989247 0.978723 0.983957 政治 0.965517 0.861538 0.910569 欺诈 0.933333 0.909090 0.921052 正常 0.989247 0.978723 0.983957
- 46. 训练集 机器器学习算法 分类器器新数据 预测 标 记 What’s Next? 扩充样本 提升质量量 SVM Decision Tree Naive Bayes K-Neighbors … Ensemble Learning • Voting Classifier • Random Forest …
- 47. 总结 ⼈人⼯工识别 -> 关键字匹配 -> 机器器学习 特征选择 -> 算法选择 -> 结果评估 ⾦金金数据实现
- 48. 数据来源：公开发布的表单
- 49. Thanks