自下而上的数据仓库构建方法

[object Object],[object Object],—— 思考数据统计系统的需求 / 本源 —— 寻找一种简易统计分析思路 —— 尝试一种简单简简易统计的简单实现和应用

童小军（ XiaoJun Tong ） ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

[ 暴风搜索 ] 数据平台发展几个阶段 ,[object Object],[object Object],[object Object],[object Object]

[ 思考 ] 数据统计需求和本源 ? 需求 / 本源 ? [ 思考 ] 数据统计 , 分析的需求 / 本源 ? 使用列举类推法思考

[ 思考 ] 需求 / 本源 [ 举例 : 组织结构 ]

[ 思考 ] 需求 / 本源 [ 举例 : 质量优化 ]

[ 思考 ] 需求 / 本源 [ 举例 : 工业控制 ]

[ 思考 ] 组织项目管理成熟度模型 ,[object Object],[object Object],[object Object],[object Object],[object Object]

[ 思考 ] 需求 / 本源 [ 简易的智能结构 ] 需求 / 本源 => 智能 / 结构商业智能 [BI] 性能指标 : 反馈周期 ? 决策有效性 ? 反馈成本 ? 数据统计 / 分析是自动控制系统和自学习 , 自调整系统的核心组成部分。

[ 数据构建方法 ] 什么是自下而上 ? ,[object Object],[object Object],[object Object]

[ 数据构建思路 ] ,[object Object],[object Object]

[构建策略] 自下而上,以不变应万变 == 自下而上构建 ==

[Log 构建方法 ] 四个构建策略 ,[object Object],[object Object],[object Object],[object Object],[object Object]

1. Log 数据公式 :[4w+r = 2h] ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

2. 实时汇总 :[js+nginx+syslog-ng+perl] ,[object Object],[object Object],[object Object],[object Object],[object Object]

3. 存储格式 :[ 一日一表 ] ,[object Object],[object Object],[object Object],[object Object],[object Object]

4. 统计方法 :[2sql 方法 ] ,[object Object],[object Object],[object Object],DEMO: #desc: 搜索行为次数 , 实际无结果 , 实际无结果率 [ 相对 , 绝对 ] 搜索无结果次数 / 搜索行为次数 #source:127.0.0.1:3306:user_action #market:127.0.0.1:3306:user_analysis #{search_result}{mode:varchar(255),count:int(11),qj_rate:float,rate:float,day:int(8),update_time:bigint(20)} select result_type as mode, count(search_log_id) as count, count(search_log_id)*100/(select count(search_log_id) from log_search_#day where 1 and result_count='0' ) as rate, count(search_log_id)*100/(select count(search_log_id) from log_search_#day where 1 and search_begin=1) as qj_rate, '#day' as day, UNIX_TIMESTAMP(now())*1000 as update_time from log_search_#day where 1 and result_count='0' and search_begin=1 group by mode order by count desc;";

4. 图表展现 :[ 模板引擎 ] 1. 定义数据源 2. 定义查询语句和变化字段 3. 定义展现配置 DEMO: #desc: 搜索行为次数 , 实际无结果 , 实际无结果率 [ 相对 , 绝对 ] 搜索无结果次数 / 搜索行为次数 #source:127.0.0.1:3306:user_action #input:#start_day #end_day #X:day Y:count Type:line #{ 搜索行为 }{mode: 类型 ,count: 搜索 ,qj_rate: 绝对无结果 ,rate: 比例 ,day: 天 ,update_time: 更新时间 } select mode,count,qj_rate,rate,day,update_time from search_result where 1 and day>=#start_day day<=#end_day order by day desc;";

[ 发展经历 ] 暴风搜索数据两个阶段第一阶段 : js --> php --> log [n] --> rsync --> log.tar.gz -> 分析程序 [ 分析逻辑 ] --> 数据库 --> 数据展现 [java] 第二阶段 : [ 业务知识和行业同步 ] js --> [nginx + perl] --> syslog-ng --> search_log 入库程序 --> 数据仓库 -->[sql] sql_task 程序 --> 数据集市 -->[sql] 展现 [python[ 邮件 ]/.net[ 桌面 ]]

[object Object],[object Object],python 报表邮件实现

[object Object],分析桌面平台的基本构思

[object Object],[object Object],[object Object],[object Object],数据系统和快速决策 [ 小版本放量数据平台 ]

[object Object],[object Object],[object Object],[object Object],[object Object],什么是成功的数据系统？

总结 , 我们可以以什么应对变化 ? == 以不变应万变 == == 以闭环反馈应万变 == == 以 4w+r=3h 应万变 ==

题外话 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

[object Object],[object Object],[object Object]

招聘广告 - 暴风 : 让享受电影更简单 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

自下而上的数据仓库构建方法

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (20)

Similar to 自下而上的数据仓库构建方法

Similar to 自下而上的数据仓库构建方法 (20)

自下而上的数据仓库构建方法