SlideShare a Scribd company logo
姨搜简介
侯松
2016年06月
姨搜是什么?
大数据技术+风控思维
姨搜是怎么做的?
数据来源
数据整理
数据使用
外网数据 内部数据整合 三方数据合作
搜索引擎
(非结构化数据服务)
网查、问答系统
知识图谱
(结构化数据服务)
归户、查重、反欺诈图谱搜索、黑名单
数据库
决策引擎 风险分析
姨搜产品线
1. 自动化网查
2. 知识图谱系统
3. 基础数据服务系统
4. 图谱搜索
5. 黑名单系统
6. 三方数据整合服务
7. 决策执行引擎
8. 决策分析平台
自动化网查
Crawlers
Search Engine
Hbase/HDFS
MR/Yarn
ElasticSearch
webpage
processor
知识图谱系统(数据整合)
Query
Engine
crawler
controller
REST
Client
DB
HDFS
File
KG
web front
REST
Client
realtime
source
realtime/batch
extractionrealtime
inserts
commands web
trace
batch
processing
Web
crawlers
logging
.
.
.
.
.
.
.
.
.
.
.
.
Kafka
spark
streaming
web extraction
config
online knowledge
processing
offline complex
reasoning
entity retrieve
graph traverse
full text search
KG
repository
batch logging
3rd partner
Query
Engine
基础数据服务
1. 包括归户、查重等数据服务。
2. 难点在于:数据形态差异巨大,如何将它们统一到相同
的框架下并对外提供相同的接口。
图谱搜索
黑名单系统
1. 整个宜信共享的风险名单系统。
2. 信息来源:
(1) 内部逾期、欺诈等客户信息。
(2) 爬虫抓到的老赖信息。
(3) 同业和贷款中介信息。
(4) 机器学习得到的其他风险信息。
三方数据整合服务
1. 公司买了很多三方数据源,比如银联数据、学历学籍信
息、驾驶证查询、人法执行记录等,十多种数据源50余
个不同接口。
2. 我们的三方数据整合服务,屏蔽了外部数据源的巨大差
异,对内提供统一的使用接口,并使用缓存来支持离线
分析。
3. 集中的费用记录和对账,方便用户进行管理。
决策执行引擎
Complex Filter
Plugin
RichData
Rule Engine
Rule3
Rule2
进件
RawData
知识图谱 日志
Complex Filter
Plugin
评分模型+不同维
度+多个特征变量
特征适配抽取,不同
维度+外部数据源
多条规则+批贷拒
贷码
业务规则
数据库
业务模型
数据库
规则编写和部署
统计报表
Rule1
评估特征
发现规则
决策
通知告警
决策分析平台-模块
数据接口
特征库
分析引擎
多数据源接入 数据预处理
特征管理 特征标准化 衍生特征关系
特征选取 模型训练 结果分析与验证
风险数据
中心
数据寻源 数据血缘图
特征版本
可视化展示 项目共享
业务主题域
特征共享
决策分析平台-流程
数据源1 数据源n
风险数据中心
样本集
特征集 标准化特征1
标准化特征n
衍生特征
项目(自助)
项目(自助)
业务分析A
业务分析B 经验共享
可视化展现
模型集
数据获取 特征选取
特征工程发布上线
规则1
决策引擎
规则2 规则n
感谢您的聆听!
2016年06月

More Related Content

What's hot

2006/10/16 Proposal
2006/10/16 Proposal2006/10/16 Proposal
2006/10/16 Proposalfeiwin
 
YiYing's Proposal(950925)
YiYing's Proposal(950925)YiYing's Proposal(950925)
YiYing's Proposal(950925)
antying
 
電影期末簡報
電影期末簡報電影期末簡報
電影期末簡報
Mike Chao
 
构建高可用数据库监控系统
构建高可用数据库监控系统构建高可用数据库监控系统
构建高可用数据库监控系统
haiyuan ning
 
2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture
Jazz Yao-Tsung Wang
 
2006/11/20 Proposal
2006/11/20 Proposal2006/11/20 Proposal
2006/11/20 Proposalfeiwin
 
Pyconf2014 lightening
Pyconf2014 lighteningPyconf2014 lightening
Pyconf2014 lighteningShih-En Chou
 

What's hot (7)

2006/10/16 Proposal
2006/10/16 Proposal2006/10/16 Proposal
2006/10/16 Proposal
 
YiYing's Proposal(950925)
YiYing's Proposal(950925)YiYing's Proposal(950925)
YiYing's Proposal(950925)
 
電影期末簡報
電影期末簡報電影期末簡報
電影期末簡報
 
构建高可用数据库监控系统
构建高可用数据库监控系统构建高可用数据库监控系统
构建高可用数据库监控系统
 
2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture
 
2006/11/20 Proposal
2006/11/20 Proposal2006/11/20 Proposal
2006/11/20 Proposal
 
Pyconf2014 lightening
Pyconf2014 lighteningPyconf2014 lightening
Pyconf2014 lightening
 

Viewers also liked

How to Build Successful Social Slots for the Asian Market | Guy Hasson
How to Build Successful Social Slots for the Asian Market | Guy HassonHow to Build Successful Social Slots for the Asian Market | Guy Hasson
How to Build Successful Social Slots for the Asian Market | Guy Hasson
Jessica Tams
 
Coach jae
Coach jaeCoach jae
Coach jae
Tim Eburne
 
G:\CITERS2015\29May2015\2 Invited-Talk-2-Sidorko-Fred
G:\CITERS2015\29May2015\2 Invited-Talk-2-Sidorko-FredG:\CITERS2015\29May2015\2 Invited-Talk-2-Sidorko-Fred
G:\CITERS2015\29May2015\2 Invited-Talk-2-Sidorko-Fred
CITE
 
Wassen_Commencement May_09_PLU
Wassen_Commencement May_09_PLUWassen_Commencement May_09_PLU
Wassen_Commencement May_09_PLUWassen Wassene
 
Wayside school udl project - jennifer taylor-burton
Wayside school   udl project - jennifer taylor-burtonWayside school   udl project - jennifer taylor-burton
Wayside school udl project - jennifer taylor-burton
jtburton
 
GVMA
GVMAGVMA
Cloud Native Data Pipelines (in Eng & Japanese) - QCon Tokyo
Cloud Native Data Pipelines (in Eng & Japanese)  - QCon TokyoCloud Native Data Pipelines (in Eng & Japanese)  - QCon Tokyo
Cloud Native Data Pipelines (in Eng & Japanese) - QCon Tokyo
Sid Anand
 
Creating a compliance assessment program on a tight budget
Creating a compliance assessment program on a tight budgetCreating a compliance assessment program on a tight budget
Creating a compliance assessment program on a tight budget
Ashley Deuble
 
Toys on tour
Toys on tourToys on tour
Toys on tour
Eirini Karagiorgaki
 
Tentacool e1
Tentacool e1Tentacool e1
Tentacool e1
eleniyfan68
 
ΚΠΑ Γ' ΓΥΜΝΑΣΙΟΥ - 9.3 ΕΚΛΟΓΙΚΑ ΣΥΣΤΗΜΑΤΑ
ΚΠΑ Γ' ΓΥΜΝΑΣΙΟΥ - 9.3 ΕΚΛΟΓΙΚΑ ΣΥΣΤΗΜΑΤΑΚΠΑ Γ' ΓΥΜΝΑΣΙΟΥ - 9.3 ΕΚΛΟΓΙΚΑ ΣΥΣΤΗΜΑΤΑ
ΚΠΑ Γ' ΓΥΜΝΑΣΙΟΥ - 9.3 ΕΚΛΟΓΙΚΑ ΣΥΣΤΗΜΑΤΑ
Νίκος Θεοτοκάτος
 
外贸企业网站的定位和呈现(外贸企业定位)
外贸企业网站的定位和呈现(外贸企业定位)外贸企业网站的定位和呈现(外贸企业定位)
外贸企业网站的定位和呈现(外贸企业定位)
Lawrence Sun
 
[YOUKU-API]Training_For_BJ_Sales_Team
[YOUKU-API]Training_For_BJ_Sales_Team[YOUKU-API]Training_For_BJ_Sales_Team
[YOUKU-API]Training_For_BJ_Sales_Team
SITONG SHEN
 
美团数据库运维平台介绍
美团数据库运维平台介绍美团数据库运维平台介绍
美团数据库运维平台介绍
Leo Zhou
 
姬望的故事
姬望的故事姬望的故事
姬望的故事
ChenChang Shih
 
開源人生指南 - 如何不慎豐富人脈與經驗
開源人生指南 - 如何不慎豐富人脈與經驗開源人生指南 - 如何不慎豐富人脈與經驗
開源人生指南 - 如何不慎豐富人脈與經驗
Bob Chao
 

Viewers also liked (18)

How to Build Successful Social Slots for the Asian Market | Guy Hasson
How to Build Successful Social Slots for the Asian Market | Guy HassonHow to Build Successful Social Slots for the Asian Market | Guy Hasson
How to Build Successful Social Slots for the Asian Market | Guy Hasson
 
Coach jae
Coach jaeCoach jae
Coach jae
 
G:\CITERS2015\29May2015\2 Invited-Talk-2-Sidorko-Fred
G:\CITERS2015\29May2015\2 Invited-Talk-2-Sidorko-FredG:\CITERS2015\29May2015\2 Invited-Talk-2-Sidorko-Fred
G:\CITERS2015\29May2015\2 Invited-Talk-2-Sidorko-Fred
 
Wassen_Commencement May_09_PLU
Wassen_Commencement May_09_PLUWassen_Commencement May_09_PLU
Wassen_Commencement May_09_PLU
 
Wayside school udl project - jennifer taylor-burton
Wayside school   udl project - jennifer taylor-burtonWayside school   udl project - jennifer taylor-burton
Wayside school udl project - jennifer taylor-burton
 
GVMA
GVMAGVMA
GVMA
 
Cloud Native Data Pipelines (in Eng & Japanese) - QCon Tokyo
Cloud Native Data Pipelines (in Eng & Japanese)  - QCon TokyoCloud Native Data Pipelines (in Eng & Japanese)  - QCon Tokyo
Cloud Native Data Pipelines (in Eng & Japanese) - QCon Tokyo
 
Creating a compliance assessment program on a tight budget
Creating a compliance assessment program on a tight budgetCreating a compliance assessment program on a tight budget
Creating a compliance assessment program on a tight budget
 
Toys on tour
Toys on tourToys on tour
Toys on tour
 
KARTELA_G
KARTELA_GKARTELA_G
KARTELA_G
 
KARTELA_M
KARTELA_MKARTELA_M
KARTELA_M
 
Tentacool e1
Tentacool e1Tentacool e1
Tentacool e1
 
ΚΠΑ Γ' ΓΥΜΝΑΣΙΟΥ - 9.3 ΕΚΛΟΓΙΚΑ ΣΥΣΤΗΜΑΤΑ
ΚΠΑ Γ' ΓΥΜΝΑΣΙΟΥ - 9.3 ΕΚΛΟΓΙΚΑ ΣΥΣΤΗΜΑΤΑΚΠΑ Γ' ΓΥΜΝΑΣΙΟΥ - 9.3 ΕΚΛΟΓΙΚΑ ΣΥΣΤΗΜΑΤΑ
ΚΠΑ Γ' ΓΥΜΝΑΣΙΟΥ - 9.3 ΕΚΛΟΓΙΚΑ ΣΥΣΤΗΜΑΤΑ
 
外贸企业网站的定位和呈现(外贸企业定位)
外贸企业网站的定位和呈现(外贸企业定位)外贸企业网站的定位和呈现(外贸企业定位)
外贸企业网站的定位和呈现(外贸企业定位)
 
[YOUKU-API]Training_For_BJ_Sales_Team
[YOUKU-API]Training_For_BJ_Sales_Team[YOUKU-API]Training_For_BJ_Sales_Team
[YOUKU-API]Training_For_BJ_Sales_Team
 
美团数据库运维平台介绍
美团数据库运维平台介绍美团数据库运维平台介绍
美团数据库运维平台介绍
 
姬望的故事
姬望的故事姬望的故事
姬望的故事
 
開源人生指南 - 如何不慎豐富人脈與經驗
開源人生指南 - 如何不慎豐富人脈與經驗開源人生指南 - 如何不慎豐富人脈與經驗
開源人生指南 - 如何不慎豐富人脈與經驗
 

Similar to Yisou intro

機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools
機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools
機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools
Will Kuan 官大鈞
 
腾讯大讲堂25 企业级搜索托管平台介绍
腾讯大讲堂25 企业级搜索托管平台介绍腾讯大讲堂25 企业级搜索托管平台介绍
腾讯大讲堂25 企业级搜索托管平台介绍George Ang
 
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf
markmind
 
香港六合彩
香港六合彩香港六合彩
香港六合彩
zhanghe
 
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享
Etu Solution
 
搜索引擎技术介绍
搜索引擎技术介绍搜索引擎技术介绍
搜索引擎技术介绍
bigqiang zou
 
Java@taobao
Java@taobaoJava@taobao
Java@taobao
vanadies10
 
数据挖掘技术概述及前景展望
数据挖掘技术概述及前景展望数据挖掘技术概述及前景展望
数据挖掘技术概述及前景展望
mysqlops
 
選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲
Herman Wu
 
智慧化的IT架構管理
智慧化的IT架構管理智慧化的IT架構管理
智慧化的IT架構管理
Galaxy Software Services
 
Greenplum技术
Greenplum技术Greenplum技术
Greenplum技术锐 张
 
数据分析架构实例与安全的云挖掘
数据分析架构实例与安全的云挖掘数据分析架构实例与安全的云挖掘
数据分析架构实例与安全的云挖掘
mysqlops
 
阿里云 张旭 集群运维管理平台
阿里云 张旭 集群运维管理平台阿里云 张旭 集群运维管理平台
阿里云 张旭 集群运维管理平台
guiyingshenxia
 
集群运维管理平台
集群运维管理平台集群运维管理平台
集群运维管理平台
mysqlops
 
Dtcc ibm big data platform 2012-final_cn
Dtcc ibm big data platform 2012-final_cnDtcc ibm big data platform 2012-final_cn
Dtcc ibm big data platform 2012-final_cnyp_fangdong
 
实时用户体验收集
实时用户体验收集实时用户体验收集
实时用户体验收集
Yan Wang
 
特卖场景下的大数据平台和机器学习实践
特卖场景下的大数据平台和机器学习实践特卖场景下的大数据平台和机器学习实践
特卖场景下的大数据平台和机器学习实践
Leo Zhou
 
Azure HDInsight 介紹
Azure HDInsight 介紹Azure HDInsight 介紹
Azure HDInsight 介紹
Herman Wu
 

Similar to Yisou intro (20)

Dmresearch
DmresearchDmresearch
Dmresearch
 
機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools
機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools
機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools
 
腾讯大讲堂25 企业级搜索托管平台介绍
腾讯大讲堂25 企业级搜索托管平台介绍腾讯大讲堂25 企业级搜索托管平台介绍
腾讯大讲堂25 企业级搜索托管平台介绍
 
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf
 
香港六合彩
香港六合彩香港六合彩
香港六合彩
 
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享
 
搜索引擎技术介绍
搜索引擎技术介绍搜索引擎技术介绍
搜索引擎技术介绍
 
Java@taobao
Java@taobaoJava@taobao
Java@taobao
 
数据挖掘技术概述及前景展望
数据挖掘技术概述及前景展望数据挖掘技术概述及前景展望
数据挖掘技术概述及前景展望
 
選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲
 
智慧化的IT架構管理
智慧化的IT架構管理智慧化的IT架構管理
智慧化的IT架構管理
 
Greenplum技术
Greenplum技术Greenplum技术
Greenplum技术
 
Emc keynote 1130 1200
Emc keynote 1130 1200Emc keynote 1130 1200
Emc keynote 1130 1200
 
数据分析架构实例与安全的云挖掘
数据分析架构实例与安全的云挖掘数据分析架构实例与安全的云挖掘
数据分析架构实例与安全的云挖掘
 
阿里云 张旭 集群运维管理平台
阿里云 张旭 集群运维管理平台阿里云 张旭 集群运维管理平台
阿里云 张旭 集群运维管理平台
 
集群运维管理平台
集群运维管理平台集群运维管理平台
集群运维管理平台
 
Dtcc ibm big data platform 2012-final_cn
Dtcc ibm big data platform 2012-final_cnDtcc ibm big data platform 2012-final_cn
Dtcc ibm big data platform 2012-final_cn
 
实时用户体验收集
实时用户体验收集实时用户体验收集
实时用户体验收集
 
特卖场景下的大数据平台和机器学习实践
特卖场景下的大数据平台和机器学习实践特卖场景下的大数据平台和机器学习实践
特卖场景下的大数据平台和机器学习实践
 
Azure HDInsight 介紹
Azure HDInsight 介紹Azure HDInsight 介紹
Azure HDInsight 介紹
 

Yisou intro