An architecture for data quality

371 views

Published on

Published in: Technology, Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
371
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

An architecture for data quality

  1. 1. ! """"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""# """""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""# $ % $ """""""""""""""""""""""""""""""""""""""""& ' ! + $ ( """""""""""""""""""""""""""""""& % ) % """""""""* $ )) % ) """"""""""""""""""""""""""""""""""""""""""""""""""""""* ( """""""""""""""""""""""""""""", - % """"""""""""""""""""""""""""""""""""""""""""""""""""""""", . % $ 0 ) ! 1 2 ) ! ! + ! ! """""""""""""""""""""""""/ """""""""""""""""""""""""""""""""""""/ """"""""""""""""""""""""""""3 """""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""4 % """"""""""""""""""""""""""""""""""""""""""""""""""""5 6 ) """""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""5 # ) """""""""""""""""""""""""""""""""""""""""""""""""""""""5 * ) ! ) ! % ) % - """""""""""""""""""""""""""""""""""""""""""""""""""""""""""5 * """"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""5 4 % """""""""""""""""""""""""""""""""""""""""""5 4 """"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""6 7
  2. 2. ! : ) $ $ 9$ $ 9 $ % ) % " ) ) ) % ) $ % "; ! ) $ 9 % ! % : % % $ < % ) 1 % 1 @ ) B ) ? % % $ % % ) % )) % ) "! ) 5 437 9 < -> ) ? % 5 7 97 7 7 1 ! 9 A = >" " = ) % ) ! ) ; ) $ " ! " " " ) ) ) ) $ $ ) : )9 1 ) : % ) )) ) "C D 677/ A % $ $ $ "1 " % < - 1 % 1 " )" 9 ) " % % ) 9 ) ) $ 9 )A " 8#
  3. 3. $ % $ $ % $ 9 % % ) ) : "0 9 % ) % 1 $ )% $ 1 H "! )9 )9 ) $ ) : )" E ) ) 6 7 7 /9 ) : ) % % ) ) ) ) ) ) 1 ) % 9 % ) % : % " % ) ) : 1 ) )9 ) ) )9 ) % ) % % % 2) ) % $ 1 $ $ 1 ) $ 9 1 ) $ % % "! 444A44A4444 9 ) 4? " )( ) ) % ? 9 ) 9 5 44&>9 % ( ) 9 ) IIJ % ) 1 $ ) " : " % 9 $ % ) $ $ ) 1 $ )K $ " ) % ) ) : $ ) ) 9 $ ) ) ? $ K % 19 1 ) $ ) : "G . ) : " % ) 1 : : ) $ ) ) % 1 $ ) - "- : % ) ) + - " ) ) 1 $ %A % " H : E ) $ ) : % 2 F! % % : % + % 1 % "- @ =+ ) ) 9 $ E $ % ) ) : ' ) $ E ) " - " $ ) % % " ) F )" $ 0 ) G % ) : $ % " 9 ) % 9 ) % 9 $ $ " 8&
  4. 4. ) )) ) % : $ : % L % % : E M: ) $ % ) " ) % 1 ) H % ) ) ) ) 9$ % ) H )% ) $ $ ) ) % ) : % ) ) % % ) % 9 ) % : ) ) ) % )A A ) " % $ $ $ ) " 1" " " ) : ) " : ) " ) ) ) ) ) ? " ) $ ) $ ) ) ) ! $ ) ? % $ ) )" % E % $ "+ % H " % )A A % " ) ) ) ) % ) $ : ) ) $ ) ) ) ) ) 1 1 ) 9 % ) ( " ) 9 $ : E " % ) ) 9 % ? ) % 2 5" 6" #" ! &" ! *" ! ," /" 3" 4" ) ) ) ) "+ $ ) 9 )) 9 % % + "' ) "0 % 9 ) ) " ) ) " " " ) ' ) $ 1 " ) ) ) E H " ) " 9 % 9 $ 9$ ) E ) ) ) 9 ) $ ) ) E 9 9 9 "+ $ ) $ 9 " ) 9 9 % ) $ 1 % % % "! $ ) $ A ) 9 ) 8*
  5. 5. ) )" : % ! $ ) ) 9 $ $ ) ) ) ) ) ) ) ) % E : = ) $ = -> ' ) $ $ ) ) %% ) ) % " 9 ) ) ) 9 I 9 " ) $ ) I $ ) 1 ) ) ) % " 9 " ) + $ % % % ) ! • % ! 9 " ) ) $ E " "' : ) ) % ) % % $ 1 ) 9 ) % ) $ ) 2 % : " ) ) " ( ) ) % ) ) • • $ )) ' I> E : : ) ) % 1 % $ ) = ) 9) 1 " % 9 ) % $ ) - )) ) 9 " " % % > ) % " ) ) ) ) I" • • • 0 0 $ $ 1 1 % ) : " % ) ) ) - : " ) " % % ) ) ": % ! ) ) A ) ) ) % $ % $ : ) H % % ) ) ) ) % H ) "J % $ " ) 9 9 %"- $ ) % 9 -! -. %" ) I % ) ) % ) ) ) $ $ 9 ) ) ) 9 " ) % ) ) G% < % )9 : ) 1 ) % G) 8,
  6. 6. ) % $ $ ) ) H " -) % % ) ) ) ) K $ ) ) : $ ) 9 $ " ) E H " . % $ % )9 $ ) ! A% )) ) ! % ) ) " ) ) "+ $ ) ) $ ) ) 1 % % % " $ % $ ) $ 1 $ %9 % ) ) A$ ) % 9 % " ) : $ : ) ) : ) " ) $ % ) A % 9 ) ) % % % " -) ) ) < - ) < - 9 ) 9 % ) ) ) ) ) % " 0 ) $ % 1 : $ H ) " $ ) $ ) ) % =@ @ > 9 ) 9 ) ) " @ =! ' $ @ @ 9 % % 9 ) %9 ) "- ) % ) ) ) ) % ? 9 : % ) ) ) E ) )9 K $ $ $ % I ) ) % ) $ "%9) A 1 = ) 6 7 7 &>9 $ ) % ) 1 ) % ) )9 ) $ 1 ) ! )G ) ) % ) @ ) ) $ @ 1 @ ) " 1 )" 9 % F% ) ) : $ ! - ) > ) ) ) @ @ ) % ) % % ) ) ) 1 ) " 8/
  7. 7. ! 2 ) ) + $ : : 1 % 9 I ) ) 9 % " 2 9 9 ) ) ) E ) % ) ) ) =@ % : 2 • • • % ) 9 9 ) ) " : 9 "+ 1 ' L ) $ ) $ 9 6 7 7 6 >2 19 ! ) "L $ 1 ) + $ 1 ' % " 9 % 9$ 9 ) $ ) 2 C C C C C C C • • • • • • • " $ $ 1 ) ) $ ) % " ) % " " N 4444" * " " 1 ! " ) " $ ) >" ! $ ) ) $ 9 ) 1 ' "- ) % % : ) $ • • L " % ) 9 % $ ) I % ) ) ? )) = "% "9 % 1 ) " < ) A A 1 % $ 1 ) 2 • ) ) % 1 " • " • • • " " ) " 83
  8. 8. ) ) % ) ) "0 9 9 : : $ * : ) ) @ % ) " : - % 1 % ) $ "- %% ) 1 9 I 9 ) ) % 1 $ ) ) @ - )" L 1 ' ) % ) ) ) 9 ! ) ) • • % 9 " 2 : ) : - ) " ) E • ) E 9 : ) ) " ) ) ) ) $ " ) " ) • ) 9 ) 2 $ " • ) C ) " ) % ) 1 ) 2 • ) ) ) $ 9 A ) % ) % ) % %" • C ) A A ) H % 57O " ! ) $ $ $ E ) ) : I ) " % % $ ) 0 % $ ) $ $ % % ) % $ ) ) $ % %9 = -> 9 " 5" 84
  9. 9. ) ) = 1 = > ) =0 > 1 =0 > 1 =0 > ) > ! ) = 1 > ! ) ! ! 1 I = > ) ! % ) ! % P ) 1 0 % 0 % P 5" $ =0 > =0 > ! = " ) )> =0 > =0 > ) ) ) ) ) ) " "$ : % 2 I ) ) % ) ) 9 " : ) $ )9 ) ) ) ) 9 $ ) ) ) ) ) $ ) 1) )" $ ) % ) H E ) )9 I • • • • • • • $ ) )" A % ) $ ) ) )" $ 1 ) )" % $ ) 9 ) ) ) 2 A % ) ) % ) ) A ) ) 9 9 9 ) ) ) 1 ) % %9 1 @ ) H % A A) " % % ) ) " $ $ ) ) ) 9 ) $ % 9 ) E A ) " ) $ % 1 ) ) ) ) $ ) ) H ) % 1 % ) %"- ) H 9 " 857
  10. 10. ) ) ) ) "! $ "- ) $ ) • ) $ ) $ $ ) 2 ! 2 ) $ % - 9 ) 9 • I % %% ) 9 " ) % 9- 9 - " % ) 9 ) I 9 ) % : ) I • ! $ $ ) ) ) % ) " % ) ) " % $ )) )" I $ % 2 ) 9 ) $ 2 ) ) 9 ) % $ ) ) % $ ) % ) "- 9 ) ) ) " • 2 % " 9 ) 9 ) " % $ E ) $ % " ) )M$ $ ) ) ) ' ) ) )M • ) $ ) $ % ) ) $ % 7 "7 % 2 5 "7 > "! $ ) % 9 )" % 1 9 " ) % ) 1 ) 1 9 1 1 $ ? ) ) % ) 9 % % ) $ ) ) 9 : ) ) 1 % $ ) ) ) 1 " ) . % $ " $ 1 ) % $ ) ) )) ) ) ! % ) )) $ % 9 % " + 1 ) % )) ) ) " ) = %% ) % ) % ) " #"& ) ! % ! % % " : % % ! " % ! ! % $ "% F % E )G 855
  11. 11. ) 5 "7 9 : $ 9 ) % % $ % "! )) ) "J " ) ) ! % $ ) ) 1 ) 9 ) ) 9$ 5A A ) 9 ) " % ) $ 1 )9 ) 9 "- " ) 9 ) ) " ) % ) ) ) )9 ) $ $ ) A ) ! K % ) % 1 $ % % )9 ) %% % )9 " % ) 7 "7 ) ) % $ % $ % ) ) $ ) ) %% % ) ) % % 9 ) A ) ) ) A $ ) ) ) 9 ) ) ) % ) " $ : % " ) ) H "- % ) ) ) $ 9 " % ) ) % ) $ ) % % 9 % ) ) ) $ ) "' % I $ ) 1 I % 9 ) ?) ) K % % ) ) I " 9 9 9 ) I ) 9 E ) $ ) )) % ) ) $ % ) " ) % ) $ ) ) ) % ) " : ) 9 ) %"' I $ 9 $ 1 : $ $ % - I % ) )= > % 9$ 1 ) $ " : ) 25> % %M % " "+ ) $ M6> ) #> ) ) % %% % % 856
  12. 12. : ) "! ) % % 9 ) ) ) ) % ) @ ) $ ) " 1 $ " % ) " ) ) ) ) % % ) ) % " ) )"@ ) ) ) ? 1 ) : % . ; II9 $ ) $ % ) % 9E ) $ ) % ) ) $ ) ) : $ ) ) $ ) ) $ ) ) $ % % ) " ) ) ) % % : ) ) % ) %% % %% ) $ ) ) ) ) ) $ 9 %" ) ) ) ) %% ) %% ) $ $ ) : $ 9 ) $ "; H "%"; 1 % ) 2 " % 9 % ) " ) ) ) I ) ) " 0 % $ ! ) ) ) 6" 0 ) ' ) Q) ! Q) ) Q1 ! ! ) A A ! ' ! I % ) =0 > =0 > Q) =0 > Q =0 > Q =0 > ) =0 > =0 > =0 > =0 > ) Q 1 =0 > ) Q = > Q = > Q = > Q Q) Q) Q) Q) Q) 5 0 % 6" ! = > : ) ) ) ) ) I % ) ) 1 ) 5 ) ) =0 > ) ) ! ) 0 " 85#
  13. 13. - 0 % % ) 69 % 1 ) $ )) ) ) 0 9 ) % ) $ " ) 0 % 6 ) ) K ) )"' ) ) $ ) ) ) ) %% )") ) ) $ ) ) )"+ ) $ ) %? ) $ ) % $ ) ) ) ) ) 9 ) ) ) ) ) % "- $ 9 ) ) ) ) ) " ) )" ) ) ) ) "- $ " ) $ H " )) @ : ) ) " A A ) 9@ ) ) % ) ) N $ ) ) : 9 ) ) % : ) % ) $ ) ) % %% ) ) $ ) ) " ) ) 1 % . $ $ ) : )9 "! $ $ ) $ ) ) ) $ % ) ) ) ) ) ) % 9 ) 1 " ) $ E ) $ 1 ) ) ) ) 9 : ) 5 ) )" " 9 $ ) 9 ) )" ) ) ) ) 1 ) % ) ) ) $ C ) $ = $ ) ) ) ) %% >" ) ) ) ) ) ) ) : " ) )" ) ) ) ) " ) ) ) ) )" ) )" ) ) ) ) ) % 9$ $ ) ) ) $ " % )"- ) ) % $ ) ) ) $ ) ) ) % ) % 9 5 85&
  14. 14. $ "- 9 $ ) ) $ ) % ) =! 1 9 ) ) ) ) % ) ) ) > ) $ : ) ) " " ) % ) )" % ) 1 0 $ ) $ ) ) ) ) 9 ) ) % % $ ) $ ) $ ) % "! )" 1 % % ) % $ % ) ) ) $ $ ) $ $ ) ) $ % % ) ) ) " ) ) ) $ $ $ $ "! ) " ) $ ) ) ) $ 0 % $ ) #" Normal Report Product Ship From Qty Shipped Revenue Axon East 1438 $235,000 Axon West 2249 $480,000 Instrumented Report (add Out of Bounds Indicator to SELECT) Out of Bounds Product Ship From Indicator Qty Shipped Revenue Axon East Abnormal 14 $ 2,350 Axon East OK 1424 $ 232,650 Axon West Abnormal 675 $ 144,000 Axon West OK 1574 $ 336,000 0 % #" . ) - ) ; $ % % % )) ) ) " " ) $ $ : ) ) % $ ) % ) $ A A ) $ % 9 ) )" $ " ) ) ) % 9$ ) - ) % ) ) " 85*
  15. 15. ; % 0 % % 6 "0 % " $ % 1 ) ) % & % =0 > 0 . % 0 % &" ) $ % "- $ )9$ ) ) 0 % ) % ) $ $ % $ ) % ) ) 1 Rating Normal Normal Normal Normal Normal Normal Fact Name number_units gross_dollars discount_dollars terms_dollars revenue_dollars return_dollars Rating Normal Normal Out of Bounds Normal Normal Normal ) - ) ) ) $ $ $ ) : $ % 1 ) " $ %9 #*/* ) ) Q) ) % ) % . #" $ *" $ 0 0 % ) ) 0 % %"! 6 4/#" : Fact Name number_units gross_dollars discount_dollars terms_dollars revenue_dollars return_dollars *" ) ) ) " . % Key 3575 3575 3575 3575 3575 3575 %% $ : ) Key 2973 2973 2973 2973 2973 2973 0 % 6" ) ) ) % " % : ) ) ) $ ) 0 % *$ 9$ % ) ) $ % ) 1 $ $ ) 9 : % 1 % " 85,
  16. 16. % ) % % 1 % I $ 9 % 1 1 ) A H ) $ =@ F ) ) ) 1 % % ! ) 9 @ > A " ) A) " $ G1 1 % 0 % % " 9 ) ) ) % % ) 1 9 ) 9 1 ) 9 9 $ ," ) = =. > > . ! ! ) ) )) 0 =0 > - =0 > @ @ % - =0 > - =0 > - =0 > % ) 0 % ) A $ ) ) )% ," ! $ % 1 ' % . " - 0 % ) ) ,9 ) 1 % 1 % % "- $ ) $ 1 ) @ " ) C + $ 1 ) 9 " : $ ) 1 19 % 1 9 9 ) A) #7 ) ) : % % % ) $ ! ) A " 9 $ % ) % % ) $ % ) $ 1 H )% ) ) ,7 7 5 397 7 7 ) 5 397 7 7 9 % ) ) % ) ) ) $ " % ) : " " 85/
  17. 17. : % ) ) $ ? ) ) : % 9 ) : ) 1 )" ) ) % ) 1 : " ) ) ) ) 1 ) 9 "; $ ) ) 9) ) 1 9$ 9 % 9 % I " $ ) !; @ ! ; ! I ! 9$ $ ! I ! A =5 <. >R ! ; @ ! I ! R ! ; @ ! I ! >" . A5 9 $ : A !; @ ! I ! =! ; @ ! ; ! $ $ # 1 ) C . 1 1 % 1 =5 <=. A5 >>R % K 1 9 ) ) ) ) 1 ) 1 2 SELECT s.storename, p.departmentname, sum(f.sales) FROM fact f, store s, product p, time t, accumulatingdept a WHERE (first, joins between tables... ) f.storekey = s.storekey and f.productkey = p.productkey and f.timekey = t.timekey and s.storename = a.storename and p.departmentname = a.departmentname and = 9 ) % $ ) ) ) """> t.full_date = #October 13, 2007# and = 9 1 ) ) ) """> HAVING ABS(sum(f.sales) - (1/a.N)*a.SUM_SALES) > 3*SQRT(a.VAR) ! % I ! ) C ) !; @ ! % ) $ ) ; ! % $ $ ) F @ ' ) ) ) ) ) $ I ) ? 1 ) = ) ! ) ) >9 ) ) ) ) ) ? ) % ) ) ) I ! " "G ) % $ : ) $ "@ " $ ) % ) + C -. "9@ ) ) ) ) )) J ' 0 ) ") ) ) " 1 % % !; @ ! ? : " ) 1 C ) ! . 9! ; @ ) ) : ) ) " ) ) ) 9$ I !" $ ) !; @ ! 9 ) ) ; 2 I !! ) ! % $ $ 9 ) % ! I ! I ! H % ? )) 9 % 9 $ ? ) " 853
  18. 18. % - ) ) @ ) 9 ) "+ $ ) " 1 ) ) I ) 9$ ) ) % H I 9 ) ) ) ) " ) "0 $ ) ) : 9 H ) 9 ) ) % : % % : ) ) ) % ) ) ) 9 1 ) $ ) $ 9$ : $ 69$ $ $ : : ) I $ ) 9 0 % ) ) ) " % ) ) ) $ ) % " ! ! % ) $ $ % % $ ) ! % )9 ! $ #"& ) ) " 1 % ) ) ? $ ) ) ) % ) E ) ) : % ) "' $ ) : ) % ! ! % ) ) 1 " H ) $ $ ) ) )) ) ) % ) $ " %% % )9 ) ) ) 2 H % ) $ % % 9 ) % )) ) I ) ) % ) 9 )) ) I ) ) 9 I " % $ $ 9 ) ) : : ) % ) " ) ") $ % ) : : " ) : % $ " % $ $ 9$ I ) "! ) ) " ' : 9 ) 9 : % ) " % ) ) 854
  19. 19. $ ) ) % ) $ $ ) 1 ) ) 9 $ " % ) ) = : " 9 9 ) 91 ->9 ) : ) " 9 $ )9 ) ) ) % 9 ) % ) % ) : A : ) 867

×