More Related Content
Similar to 在线社交媒体分析型查询基准评测初探
Similar to 在线社交媒体分析型查询基准评测初探 (16)
在线社交媒体分析型查询基准评测初探
- 11. BSMA
Benchmark for Social Media Analytical query processing
BSMA性能测试工具 (基于YCSB)
查询/负载 (可扩展)
真实数据集
(从新浪微博爬取)
2013-12-6
BDTC 2013, Beijing
数据生成器
11
- 14. 真实数据获取
Haixin Ma, Weining Qian, Fan Xia, Xiaofeng He, Jun Xu, Aoying Zhou:
Towards modeling popularity of microblogs.
Frontiers of Computer Science 7(2): 171-184 (2013)
2013-12-6
BDTC 2013, Beijing
14
- 21. BSMA
Benchmark for Social Media Analytical query processing
BSMA性能测试工具 (基于YCSB)
查询/负载 (可扩展)
真实数据集
(从新浪微博爬取)
2013-12-6
BDTC 2013, Beijing
数据生成器
21
- 23. 查询示例(Q12)
"Rank the tweets appearing in A's followees’
timelines according to the number of retweets."
⨝
⨝
⨝
2013-12-6
BDTC 2013, Beijing
23
- 24. BSMA
Benchmark for Social Media Analytical query processing
BSMA性能测试工具 (基于YCSB)
查询/负载 (可扩展)
真实数据集
(从新浪微博爬取)
2013-12-6
BDTC 2013, Beijing
数据生成器
24
- 25. BSMA性能测试工具(基于YCSB)
• YCSB: Yahoo Cloud Service Benchmark
– http://wiki.github.com/brianfrankcooper/YCSB/
• BSMA的修改
– 查询参数(随机)生成
• 用户ID、top-k、时间窗口等
– 查询wrappers
• 面向不同实现
– https://github.com/c3bd/BSMA
2013-12-6
BDTC 2013, Beijing
25
- 28. WISE 2012 Challenge Performance Track
• BSMA的早期版本作为WISE 2012 Challenge
Performance Track公开
– http://www.wise2012.cs.ucy.ac.cy/challenge.html
– https://wnqian.wordpress.com/research/wise2012challenge/
• 四组参赛者
– 专用内存系统
– 采用二级索引的HBase系统
– 经过优化的基于SQLLite的系统
– 基于B+-树,针对不同查询分别优化的系统
2013-12-6
BDTC 2013, Beijing
28
- 34. 小结
• BSMA:社交媒体上分析型查询性能评测的初步尝试
– 数据:
• https://wnqian.wordpress.com/research/wise2012challenge/
– 数据生成器与性能测试工具:
• https://github.com/c3bd/BSMA
• 后续工作
– 更真实与有代表性的场景模拟
– 更细致的性能测试与分析
2013-12-6
BDTC 2013, Beijing
34