架构大数据 挑战、现状与展望

1,023 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,023
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
14
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

架构大数据 挑战、现状与展望

  1. 1. 架构大数据:挑战、现状与展望 王珊1,) )2 王会 举1 , ) )2 覃雄派1 , ) )2 周烜1,) )2 1数 据 工程 与知 识 工程 教 育部 重 点实 验室 ( ) 中国 人民大学)北京 107   082    2 中国人民大学信息学院     ) 北京10 7 08 2大 数据 分析 相 比于 传统 的 数据 仓库 应 用, 具有 数 据量 大、 查 询分 析复 杂 等特 点. 了设 计 适合 大数 据 分析 为的数据仓 库架构,文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、Mpeu e a R d c 及基于两 者的混合架构进行 了分析归纳,指出了 各自的优势及不足 ,同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍,对未来研究做了展望. 大数据;大规模可扩展; aR dc ;并行数据库; M p eu e 深度分析 T 31 P 1 1 . 3 2 / P J   0 62 1 .0 7 1 0   7 4 S . . 1 1. 0 1  1 4 Acietn i aa hlegs tde n oeat rhtcigBgDt:Calne,SuisadFrcss W N  h n A GS a WN u-u AGHiJ QNXogPi I in-a ZO  un HUXa 2 1-81 01 0-2 2 1- 91 本课题得到国家重大科技专项核高基项目(2 1 Z0 0 20 1 02 0 10 -5 0 0X 1 4- 0 -0 )、国家自然科学基金( 1 7 0 4 6 1 0 1 ) 6 0 0 5 , 1 7 0 3 、中国人民大学科学研究基金(中央高校基本科研业务费专项资金,1X I 1) 0N 0 8、中国人民大学研究生基金( 1N1 0资助.王珊,女,9 4 1 XH2 ) 1 4 年生,教授,博士生导师,中国计算机学会( C ) C F 高级会员,主要研究领域为高性能数据库、知识工程、数据仓库. - al sa g r ce u c. E m i: wn @ u. d .n 王会举, 1 7年生, 男, 99 博士研究生,主要研究方向为大规模集群数据库、内存数据库. -a l E mi :w n hi u rc   d. n 覃雄派, 1 7年生, a gu j @u . e uc . 男, 9 1 博士,讲师,中国计算机学会(C ) C F 会员,主要研究方向为数据库查询优化、内存数据库、并行数据库. 周烜,男,1 7 年生,博士,副教授,主要研究方向为信息检索、高性能数据库. 99
  2. 2. 21年01
  3. 3.   1期  0
  4. 4. 21 年 01
  5. 5. 1期 0
  6. 6. 21年 01
  7. 7. 1期 0
  8. 8. 21 年 01
  9. 9. 1期0
  10. 10. 21 年 01
  11. 11.         s a e d t   n l s s / r c e i g   f t e A M S GO   n e         c l   a a a a y i / P o e d n s o   h   C   I M D It r      n toa o frneo  aaee to aa (IMD  9.      ain lCnee c nMn gmn f Dt SG O'0)       P o ie c ,R o eI ln , UA   09 1 51 8        rv d ne   hd  s a d  S ,2 0 :6 - 7 @ [2 J agD o   ,Si L uS  h efr ac fM pe @1 ] in  ,OiBC  h ,W  .Tep romne o aR        dc : A  n dp h su y  V D ,2 1 ,3 1 : 42 4 3       u e  n i -e t   td . PL B  0 0  ( )  7 - 8 @ [ 3   S o e r k r M   b d     , D W t     , M d e   ,P u s n @ 1 ]   t n b a e   , A a i D J   e i t D J   a d n S   a lo           E  a l  , Rs n A  M pe u ea d pr l e  B S :        , P vo A  a i  .   a Rd c  n   aa l lD M s         F i n s o   o s   o m n c t o so   h  C , 21 , 5 () :         r e d   r f e ? C m u i a i n   ft e A M  0 0  3 1         6 - 1        47 @ [4   Da   ,G eaa  .Mpe ue  l xbedt  rcs @1 ]  e n J  h mwtS  aRdc: Afeil  aapo es      i gto.C muiai n fte AM 00  31:7 -7      n o l omn ctoso  h C, 21,5( ) 27 @ [5   ht : /w w  s e dt . cm p ou t mp e u e  h @1 ]  t p  / w .a t r aa   o/ r dc / ar d c. p p @ [6   ht : /w w  r e pu . cm t cn l g/ a r dc / @1 ]  t p  / w .g e n lm   o/ e ho o ym p eu e @[ 7  h t :/ h v. a ah .o g @ 1]   tp   /i e  p ce   r/ @ [ 8   Os o  , R e  , Si a tv   ,K m rR   ok n   n @ 1 ]  l t nC   ed B  r v s aa U  u a  , T mi s A         d e .P g lt n    o - of r i nl n u g  o  a a p oe s         r w   i  a i :A n ts - o eg   ag a e fr d t  r c s      i g/rce ig ft eAMSG O nen toa o fr      n/P oedns o h C  IMDI train lCne         ec   nM n gm n  f D t  S GO ' 0)   ac u e ,        n e o  a ae e to   a a( I MD   8. V no v r       B , Cn d ,2 0 :1 9- 1 0        C  a aa   08  0 9 11 @ [9 A z bue d ai  ad-al kwk,D ne  b d, @1 ] zaA ozi,K mlBja Pwios i ail JAai         A e a d r R s n   v   i b r c a z   a o p B   na c i e         l x n e   a i , A i S l e s h t . H d o D : A   r ht c      t rlhbi  fMpe ueadD M eho oisfr aa      ua  yrdo  aRdc  n BSt cnlge  o n        lt c l wr l as / r ce i g  f t e3 t   ne n to a  o        y i a  o ko d / Po e dn s o  h   5h I t ra i n lCn         fr n eo   ey L re D t  a e  V D' 0 )  L o ,        e e c  n Vr   ag   a aB s s( L B  9 .  y n  @ 1   W n e C r :   0 5T p e  r ga   um r .  t p / @ [ ]   i t r o p   2 0  o T nP o rm S ma y  h t :/       F a c, 2 0: 7 37 3        rn e  0 9  3 -4       w w  i t ro p  o / ht P pr / CT p eW . p f        w .w n ec r .c m W ie a es W _o T nP   d  @[ 0  H d p  n .h t :/ ww   aa t  o @ 2]   aa t Ic   tp  / w .h d p. c m  @ 2 TW  hcls  eot  i aaA ayis  tp/tw . @ []  DICe kitRp r:BgD t nlt c.ht: /di @ [ 1   h t :   / w . v r i a   o / h - n l t c - l t om n t v @ 2 ]   t p   / w w   e t c . c m t e a a y i s p a f r / ai e     ogr sac/00 0/i-aa Aayis s x     r/ eerh21/ 8BgDt- nltc.a p       b - t- n -a o pm pe u ei t ga i n        ie l ad h do -a r dc - ne r to /  @ 3   C a d u i S   a a   .A   vr i w o  a aw r h ui g a d @ [ ]   h u h r   , D y l U   no e v e  f dt   a eo s n  n   @ [ 2   X   , K s a a   . I t g a i g h d o   n   a a ll D M / @ 2 ]   u Y   o t m a P   n e r t n   a o p a d p r l e   Bs /     OA  ehooy  IMDRc  972() 5 7     LP tcnlg.S GO e,1 9,61:6 -4      P oedns o h C  IMDI train lCnee c       rce ig ft eAMSG O nen toa o frne  @ 4  M d e  , DWt   ,Soe rkrM  aaaep rle @ [ ]  a dn S  e itDJ  tnbae  .Dtb s aal l        o  a ae eto  aa(I MD 0. Idaao i,Id       n M ng m n fDt  SGO' 1) ni npls  ni       i m c oc s ge t y ip c  c l b lt . Dt b s Cl m   lg        s  h i e  r al   m at s a ai i y  a a ae o un B o.       a a  S , 21 : 99 94        n, U A  0 0  6- 7       h t :/ w .dtb sclm. cm20/ 0dtbs -aa        t p/ w w  aaaeo un o/ 071/a aaepr l @ [ 3   Ua h aa P  w n YC   aa i sa M    a ec   n   @ 2 ]  p d yy   ,K o    , B lz n k  . Al t ny a d       l ls - hi e .h m       e i mc o cs  t l        fu t t lr n eo t m zr f r oln a allq eypa s/r        a l -o e ac   p ii e  o   niep rle  ur l n/Po  @ 5  D a  , G eaa  .Mpeu e ipi iddt  rcs @ [ ]  e nJ   hm wtS a Rdc:S mlfe  aapoe s      c eig f teAMS GO ne ntoa  ofrne o       edn so h  C IMD Itrai nlCne ec n        i g o   a g  l se s / rc e i g  f te 6 h Sm o im o           n   n lr e cu t r /P o ed n s o  h  t   y ps u   n        Mn g mn   fD t (I M Dl )  t e s  re e 01       a a ee t o  a a SG O 'l . Ah n ,G ec,2 1:        O e a i g S s e   e i n a d I p e e t t o     SI ' 0 )         p r t n   y t m D s g   n   m l m n a i n ( O D    4 .       2 1 22        4- 5     SnF acso a iona S ,20:171 0     a  rnic,Cl fri,UA  04 3- 5 @ [4   Yn   ,Y n C  a  , M de  .Ope: Ipeet n  @2 ]  a g C  e  , T n C  a dnS s ry ml mnig  @ 6  D W t    ,G r e    ,G af  ,Hyes ML ua   @ [ ]  e it D J  e br R H  r eeG e tn  , Kmr        Mp e u es y ef u t tl r n ei    h r d nt i gd s rb        a R dc - tl   a l  o ea c   na s ae - o hn   i tiu        K B   u a i r s n  . GM A Ah g  e f r ac   a           , M r l k i h aM   AM -  i h pr o mn e dt         t d d t b s / P o e dn s o  h   4h I t ra i nl C n e         e   a a a e / r ce i g  f t e2 t   ne n to a   of r      al wdtbs  ahn/ Poedn so h  2hItr a       fo a aaemc ie/rc eig f te1t  nen        ec   n Dt   ni e r n  I D '1 )  o g B ah   ai o na        n e o  a aE g n ei g (C E   0. L n  e c ,C l f ri,       t o a  o frne o eyL reDt  ae VD '8)        i nl C ne ec nV r ag  aaBss (LB 6 .       U A  0 0  5 - 6        S, 2 1: 6 76 8       K oo   aa , 18 .  2 -3       y t ,J p n  96 . 28 2 7 @ [5   H  o gi n,L eRbo  uiYn  hoZeg  anN @2 ]  e Y nq a g e u a,Ha  i,Sa  hn,Ji  a  @ 7 Fs iiS i srgw  ,Tnk  .A vr iwo h   @ []  uhm  ,Ktue aaM a aaH n oeve  fte         m t   h n   i o o g   u Z i e . R F l : A f s  n   p c         i , Z a g X a d n , X   h w i   C i e     a t a d sa e        s s e   o ta e o    a al l r lt o a  a a ae m ci e /         y t m sf w r  f a pr l e  e a in l dt b s  a h n /         e f c e t d t   l c mn   t ut r  n M p eu e bs d w r         f i i n   a a p ae e ts r c ue i   aR d c- a e  a e        P o e d n s o   h   2 h I t r a i n lC n e ec   nV r           r c e i g   f t e 1 t   n e n t oa   of r n eo   e y         h u es s es / r ce i g  f t e2 t   ne n to a   of r         o s   yt m / Po e dn s o  h   4h I t ra i nl C n e       L r eD t  a e (L B 8)  yt ,Jpn  96292 9        a g  a aB s sV D ' 6. Koo a a,18: 0-1         e c   n D t   n i e rn     CE   1)   H no e ,G r a y         n e o   a a E g ne i g( I D '1   .  a n vr   e mn ,  @ 8 Be e  .T wrsrb s iti ue yt m/Poe d @ []  rwrE A oad  outd srbtd sses/ rce       2 1    1 91 0        01 : 19 - 28      ig  fte1 t nul AMSmo imo r nilso         nso  h 9hA na C  ypsu  nPicp e f @ [ 6   F o a o   , P t l J M   h k t     , T t   a d e. C l m @ 2 ]   l r t u A   a e     , S e i a E J   a a S n e p   ou n       D s rb t dC m ui g (O C  0 .  o t ad  rgn        i ti u e  o pt n   PD ' 0)   Pr l n,Oeo ,      o ine t rg eh iusfr Mpeue  VD,2 1,      ret dsoae tcnqe  o aR dc.PL B 01       U A  0 07       S , 20 :       4 7    1 -2        () : 49 4 9  @ 9  h t :/ w w  b s. c m2 0/8 2/nw- plcto s @ [ ]  t p  / w. d m2   o /0 80/6k onapi ain @ [ 7   J n   i t i h   o g - r u f   u a é- u z   l k  i d l @ 2 ]   e s D t r c , J r e A n l o Q i n R i , A e h J na ,       o -a r dc /       f m pe u e        Yg z Kr i,V nySty  ()gS hd ao p+ a       a i  a g n ia  et,Jo r ca. Hdo+: Mk@ [ 0  h t: / hd o .a ah . og @1 ]  t p  / a op  p c e  r        ig a y lo   lp a t rn l k   hea  wto ti v nnt        n    e l we e h n  u  i e acet h(ih u te e oi@ [ 1   P v o A   a l o  , R sn , Aa i J  e i tJ   a @ 1 ]   a l   , P u s n E  a iA   bd D ,D W tD , Md       c n )  V D, 2 1, 31 : 58 5 9        ig . PL B  0 0  ( )  1 -2        d n S   t n b a e   . A c m a i o   fa p o ce   ol r e         e   , S o e r k r M     o p r s no   pr a h st   a g @ [ 8   C n i   , C n a   , A v r   , Hl e s en J M  l e eg   @ 2 ]   o d e T   o w y N   l a o P   e lr t i    , Em l e y
  12. 12.           K  c r . a Rdc n ie/rc eig f te7h           , SasR  Mpeu eoln/ Poedn so h  t       /Poednso h C IMDItrainlCne      /rceig fteAMSGO nentoa ofr      U EI yp su nN tokdS sesDs g n m       SNX Smoim o ewr e ytm  eina dI      neo aaeeto aa(IMD 1) Ahn,     ec nMngmn fDt SGO'1 . tes        pe et to    SI '1  .S nJ s, Cl fr i, 21 :3 3        lm na in (N D   0 )  a  oe  a io na  00  1 -         G e c, 2 1: 9 99 0         re e  0 1  4 -6         38         2 @[7 Wn uj,Wn hn i inpi iFrn,Zo  @3] agHiu agSa,QnXoga,L uog hu@ [9 L  ou,Mz rEwr, Da al i crg rAde, @2]  iBdo  au d ad io Yne,M Geo n rw       Xa ,QnZo a,ZuQ n.Efc etsa  ur rc s        un i  uyn  h ig  fiin  trqey poes        Se o  rs at J   l tom fr sa al  n -a sa ay is        hn yP ah n  .A pa fr  o  c lb eo ep s n lt c        n  nHdo  Aheac yecdn  ae p rah(e h      igo a op  i rrh n oigbs dapoc  Tc       u igMpe ue/rc eig f teAMS GO ne         sn  aRdc/ Poedn so h  C IMD Itr         i a  e o t       n cl r pr )        ai nl Cn ee c  nM ngm n  fD t   I MD  1 )       nto a  of rn eo  a ae et o  aa (S GO '1  . @[ 8 Bja Pwios iKml  bd ai lJ ib rcazv , @3]  ad-al kwk a i,Aai Dne , Slesh tAi         Ah n, G ec , 21 : 8- 9         t es  r e e  0 19 5 96       Pu snEi. Efcet poesn  fdt  aeosn  u        alo  rk fi in rc sigo  aawrh uigqe@ [0 Nk e ,Pt ma ,M sr ,K lisG  odsN @3]  yilT  oais M iha C olo  ,Kua  .       re  nasl teeui nevrn et/rc eig f te       isi   pi x cto n iomn/ Poedn so h       M Sae h rn co smlil  ure  nMpeu e       Rhr :Saig ars u tpeqe isi a Rdc.       AM SGO n entoa  ofrn eo aa eeto        C IM DItra inlCn eec n Mngmn  f         VD ,2 1 ,3 1 :4 4 55       P L B  00   ()   9  0      Dt SGO'1. tes Gec, 01 9596      aa(IMD1) Ahn, ree 21: 8-9.@ [1 Ba a ,Pt lJgeh  reoa  ,RoJ  hkt   , @3]  lnsS  ae i ns,Ec gvcV  a ,Se iaEJ         0 1 16 - 16       2 1: 1 51 7        in Y   o pr sn o  ona gr tm  o  o  r cs ig i        Ta  .A cm ai o  fj i  lo ih sf rl gp oes n  n @[9 Wn uji i inpi hn asn,Wn hn @3] agHiu,QnXoga,ZagYnog agSa,      M Peue/ rceig  fteA MSGO  nento a        ard c/Poe dnso  h C I MDItr ainl       Wn  hne.  ierB   eai nlapo c omk         agZa wi Ln aD:Ar ltoa  praht  ae      o frneo  aaee to aa (IMD  0.Ida      Cnee c nMn gmn f Dt SG O'1)  nin       aa wrhue saelk  aRdc /Poed nso h        dt ae os cl  ieMp eue/r ceig  fte         pl s  n in , UA   00 9 59 6       a o i, Id a a  S ,2 1 :7 -8       Dt bs yt m o d acdAp iain- 6hItr a       aaae Ssesf rAvne  plct os1t  nen@ [2 Yn  -,Ds a ,Hi oRL a krDS  a-eue @3]  agHC  adnA  sa - ,Pre   .Mpr dc      inlCneec DSA'1. og og Cia     toa ofrne(AFA1) Hn Kn, hn,        mr e  ip ii dr lt oa  aa po es n  nl re cu          eg :S ml fe  e ai nl dt  r cs ig o  ag  ls         0 1 36 3 0       2 1: 0 -2      e s/rce ig ft eAMSG O nen toa o      tr/P oedns o h C  IMDI train lCn @[ 0 Kry nii , TosA  elsTK  irne  ,Mrl @4]  aaand sN si  ,Sli   ,Pe igrR  ak       e ec nM ngmn  fDt S GO'7.  ejn,      frne o aae eto a a(IMD 0) Bi ig       ,R ma ,F n ,Eh rtK a e .Po esn t r      V ask F ekR  lad  ,ByrR  rcsi gsa          hn ,2 0 :0 9 14       C i a  07 1 2  0 0         ur e  nhe ac ia l- ls ee  a tt be /P oe dn so        q ei so  i rr hc ly cu tr dfc  a ls /r ce ig  f@ [ 3 Ar t  ,U la  . Otmzn  on n amprd c  @ 3]  faiF N lmn JD pi iigji si  a -eue       h  8hItr ainlC neec  nVr a g aaB ss      te2t  nento a ofr neo e yLreD t ae         ni om n/ Po ed ns o h  3 hI tr ai nl Cn e       evr ne t/ rc ei g  ft e1 t  ne nt oa  of r         ( L B0 )  o g Kn ,C i a  0 2  3 -4         VD ' 2. H n  og   hn , 20 : 70 7 1        ne o  xe dn  a aa eTc nl g. Lu an ,S iz r       ec  nE tn ig Dt bs  e ho oy  a sn e  wte   @[1 QnXoga,Wn uj,D ioog agSa.Pr @4] i inpi agHiu uXayn,Wn hn a         ad  0 0  9 1 0       l n ,2 1: 9 -1         le  g rgt o  ur e  vr sa  c ea    ir rh cl ec       a ll ag ea in qe is oe  t rsh m: Ah ea ci a  no@ [4 Ja gD ug AKH h nG a- onrdc :Twrs @3]  in , Tn    ,Ce . Mpji- eue o ad        ig shm n  fiin  ecni ecmui ga  a e/      dn ce eadef cetpr etl o ptn s acs/        cl be ad ef ce td t n ls so  a g  ls es  K E       saa l  n  fi in  a aa ay i  nl re cu tr. TD ,       rc eig f te9hI E nen toa y psu n Pr      Poedn so h  t EEI train lSmoi mo a         00  3 9 :1 9 -3 1       2 1 ,2 ()   29 1 1         le  n  it iu e  rc si gw t  pl ct os (I P   1)       a ll ad Ds rb td Po es n  ihA pi ai n   S A' 1  .@ [5 Ln Y gaa  ,Ce  ,OiBC  uS l m  ee @3]  i ,A rwlD  hnC o   ,W  .Laa: Lvr         u a ,K r a  0 1  2- 3       B sn   oe , 21 :3 9 34        gn  o un rs oa ef rsa al  o np oe sn  n te       aig cl ma  t rg  o  c lb ej i  rc si gi  h  @[2 DsS imnsY ee  ,GmlaR asPJ @4] a ,Ssai ,ByrKS eul ,Ha  ,      M peuef aeok/ rceig  fteA MSGO  n       aRd c rmw r/Poe dnso  h C I MDI       ch ro .R cro n ertn   n ao p/rce      MPesn J iad :Itga igRad Hdo/P oed      e ntoa  ofrne o aae eto a aSGO' 1.      trai nlCne ec nM ngmn  fDt(I MD1)      nso h C IMDItrainlCneec n     ig fteAMSGO nentoa ofrneo          Ah n, G ec , 21 : 6- 7         t es  r e e  0 19 1 92      aaeeto aaSGO'0.Ahn,Gec,Id     Mngmn fDt(IMD1) tes ree ni@ [6  O cn A  id wl  . Po esn  h t- on  s n  aR dc   @3 ]  ka  .R ee ad M  rc si gt ea ji su ig Mpe ue         n p ls   ni n ,U A  0 0  8 -9       a ao i ,I d aa  S , 21 : 97 9 8
  13. 13. 架构大数据:挑战、现状与展望作者: 王珊, 王会举, 覃雄派, 周烜, WANG Shan, WANG Hui-Ju, QIN Xiong-Pai, ZHOU Xuan作者单位: 数据工程与知识工程教育部重点实验室(中国人民大学)北京100872;中国人民大学信息学院 北京100872刊名: 计算机学报英文刊名: Chinese Journal of Computers年,卷(期): 2011,34(10)本文链接:http://d.g.wanfangdata.com.cn/Periodical_jsjxb201110002.aspx

×