11. 11
性能 – 多源优化
• 这种方法为 DV 层提供了很大的灵活性,可以利用源处的处理,进而减少
数据传输
• 优化器会根据源的功能自动选择正确的执行计划,并根据数量和所涉及的操作进行
成本估算
Candidate #1:
Naïve Strategy
Sales Customer
300 M 2M
JOIN
GROUP BY
country
Candidate #2:
On-the-fly Data Movement
Sales Customer
Temp_Customer
2 M
50
JOIN
CREATE
TEMP
GROUP BY
country
Candidate #3:
Partial Aggregation Pushdown
Sales Customer
2 M
2 M
为了最大化下推聚合
分为两个步骤:
• 第一按客户ID
• 第二按国家
这显着减少了 Denodo
中的网络流量和处理
JOIN
GROUP BY
country
GROUP BY
customer_id
System Time (s)
Denodo #1 7.96 s
Denodo #2 2.23 s
Denodo #3 0.9 s
Others 14.76 s