Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

data, ..., profit (@pavlobaron)

1,516 views

Published on

Slides of the talk I did 2014 at CodeMesh and data2today.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

data, ..., profit (@pavlobaron)

  1. 1. ~/ big_data _ ~/ big_data A ~/ big_data W ~/ big_data M ~/ big_data % ~/ big_data % ~/ big_data W ~/ big_data _ ~/ big_data -* CLEFÊ _HÊÉrQIJ ; lwzrgl
  2. 2. less big_fat_nda_txt I] AÍ . EL. 1._ . L L L L _ . . . Ç . ñ eu_ L_ _ l_ _ 4 . . e- _Em_ 1._ u_ . . , PC L. . . , L L . . Q w q 2. 2.. ._ u. , f. E. .. a. .., 2M. AÍ E. g: .. .L . ..f. ; , _ . É , .d. a __ _u_ A . a . .Z Ala_ , li r. . A¡ f Í A. É 4( . l . I . ..IL . l l_ . l__ . l . l_ l_ . IL . là.
  3. 3. ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data . . qua' à' " "ü à' ai* ! Í "~ 7* 'Jr' Lglr' «_4 T3' 2' 2* . Í.Í. LÁ. _~ 3' ~_»'*_ 'J . l -I -u. _›
  4. 4. ~/ big_data e ~/ big_data i ~/ big_data 1 ~/ big_data _ ~/ big_data A ~/ big_data _ ~/ big_data A ~/ big_data q ~/ big_data À (Lari Ênlgl -› 16kg¡ : J: p¡ Mr¡ _-_-: g¡^¡ rj ” gr# *'^^*”g'r” É: :r 1g _i l í: 1;¡ _. g1:: _n «f-j'_il1a'í1
  5. 5. . ¡ , .Í | l l/ v . xl . » a ›. . . . I f u . l¡ . . A ny. . . . u y 0,. a . . . r . . q r . a v . w. . . Í x
  6. 6. L cp bigtlogrgzrenc . GL A. .., .Em. .Eu. L. .. . L L. .. . _ L . _ L . ._ Em. . . ..L EW. , , Et É. .. . L, "'“ É _'l_1 . . L . _ L. ,_ . _ em. . e, ... e. .. É L. _ L. _ m_ m_ m_ L. _ L. : L. , f, ... _um_ . .As . .A1 . .L3 . .Jg . .Jg _rw_ . . . .. . .. . .. . .. . .. . .. . f . _._ . ._ . _ _ . _ _ _ . . _ | y.| ... |›. |.. _ I›. |.. _ | ›.| .._ L. .|. . L. |.. _ fat_encrypted_disk/ I] > / big_
  7. 7. 3.1.
  8. 8. ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data > . /extract_5_minutes. sh > big. log. gz. enc 5min. log l
  9. 9. Rscript scattenR | ] Eu_ L_ , , . e. .. t. .. e. .. e. .. t, ... CH_ 2._ 2.. ._ L, t. . L_ LL_ L. L. . L_ L. _. L_ LL_ L_ LL_ _L_ L. _ . . LL_ . . Q . . Ç . _. á . _ . . ; Ó um. .. E-. . an. .. 1.. .. an. .. Em_ 1M_ um. . HI. u! , u! HI. HÍ. Hi. HI. F. HI, . A* . É x Í x A* . .T . í . L L A* . .Lã . .lã . L9. . .LS _Lg_ . La. .. -à _Ly_ . .L A. A. f Í f r A. f f . ..I__ . .w_ . ..I__ . .w_ . ..I__ . .W_ . ..| __ . ..I__ . ..I. ._ LL LL L. .L. LL LL . ..L LL LL LL
  10. 10. :
  11. 11. Rscript cluster. R I] É. ,_ E. .. . É. ._ E. .. . É. ,. . E. .. . É. ,. . E. ,. . E. ,. . L. . . _ L. . . _ L. . . _ L. . . _ L. . . _ L. . . _ L. . . _ L. . . _ L. . . _ . . . .. . . .. . . . .g . E . E _a_ . .a L. L_ L. L_ L. . L. L. L. L. .. ... ... ..». ..a. ..
  12. 12. no . contos 'll ÍAIÍÍÍAI Í-- ÍI| ÍÍÍÍII -- -". - Ílc u l | 7.. .'- '-l--- --"-- -ll l- "llu-' "I
  13. 13. Rscript cluster. R I] É. ,_ E. .. . É. ._ E. .. . É. ,. . E. .. . É. ,. . E. ,. . E. ,. . L. . . _ L. . . _ L. . . _ L. . . _ L. . . _ L. . . _ L. . . _ L. . . _ L. . . _ . . . .. . . .. . . . .g . E . E _a_ . .a L. L_ L. L_ L. . L. L. L. L. .. ... ... ..». ..a. ..
  14. 14. .. Lvliivo oooov-ttoooc . n . .L unli. . Í. .. o oooooâtvozot¡ l ooooco 33o¡ o. oo nun uuuLH ÍUIÍII IIÍUIÍ ¡llll II Í . ..N IIIÍDI ÍIÓIÚÍ c! ! illüll ilnill IKÍÍIR _DI ll ll l . ..l NIÍÉUI IINÍÍI @E HÍEBIÍ HQÚÍÍB mn hahah¡ caalcu cm. tanta! nunca¡ ll ll | um_ ñnnãhn . minima '73
  15. 15. ~/ big_data ~/ big_data W ~/ big_data ~/ big_data L jLL; :L “ c: 1 L L : fit: e: L” ›. «: :L. ==L J*'«3:")F“L_L ; L W. LiíLcw-. iiL o' “E 1
  16. 16. ._ . _ . _ . _ . _ . _ . _ . . . .e u_ . .e . .e . .e L. .. . _ L. .. . .e . . L. . L. . L. . L. . L. . L. . L L . L I L* L 1 L* L* L* L* L 1 . Ru . C É. . e. . 2m_ 3x_ E. .. E. .. É. .. É. .. L. .. . _ L. .. . _ L. .. . _ L. .. L_ L. . L_ L. .. . _ L. .. . . L. . . _ L. . . ea_ . .c . ..L ea_ a. .. eu_ a. .. > Rscript correlations
  17. 17. __ . .
  18. 18. ~/ big_data ~/ big_data ~/ big_data ~/ big__data 1V: : f'. _LJLLL . L -. .L . '*L L L ~. .'* . ;*L *'- É. ÊTÍÍL *ÍLYÃL CI* L . , _ _ , W W _. L _ -' 77.11.11( ? LJ _r _L É. Ç 'E ? L' . rÍI W _Lu _I _I LLLpLLL L' “LP 'L LL ÊLY! ?I"Í: ”L~ IF. IF IF. IF. IF. « L « s . « L a L
  19. 19. J J g LE ; LW'- LI L¡ L -L W. _ . L. Lí| L: : m"" e _r-_u _ _L l -' . - -| , ›- r L- s- -- ; - W) W I_ Pa' W a íf'. _¡, _ _L J . if LL _' _ L_ LI _Ê ; Lj L¡ . _ , . _ ; ..› _L . L | n L 3' . ~ n __ _LL_ 'I I: ' _I É ' Synthjeatu res t". R I]
  20. 20. And/ nc . _, ' " ' - v j ' ¡ ) uu' " ' v Y #i . u-IH-"ruvn . '.' › N. qtvf' . r » i í i: Y 'Arm l n- ru, u¡ naum-gh ¡ É ' hnmn, ~ y n, ¡ll›r'-p<¡, ,( l ; M . -, . .nup- s -xngn . à 1 à Snçwd' y. 4*: - m 1_¡_¡/ , a. l›. n.ra›r. __n, l›' *mrhnf-úl (vv à ¡Lu-I- ? '59 '-_§'. ,.p. .., ..¡. ¡-¡. ,-. .x . ['47- u¡ «. -.'«. /:', .>'; '›--9 É' ' M3935" 4'*I'-F"7' . .. . ( "' ' ; w um _g"'(. ¡¡). Lfigüfão WWW' 'l 4 - < . u ' ' ' n_ '. Í tühj- 5:_ C »In-. - ¡gñn , s _ . , - ' 'Ú ^ 'Í billy”. N-f 'd' ' P L' ' v ' '. '_ ›-›-›/ _ - . _ . M : BAG-AF o d. .jgggãnñw. Vfq-A, 7.3.' -¡. ¡.. g._¡, 9,1. -IA, . . : m: III-V' 'v' Í I'¡f-VÍGÓ)'¡ÍÚ: IÍÍ¡ ¡. '.-. ›fl“fv¡lbF'-"/ y0.p-›Í¡, ¡,, /'I°V*f, ¡,O). MI (mui: Í"r7' . . ,av"r«n›-v~»! «*›r; _.-mw›: a»--'na , ,,, ,,¡__; , < vv I wnun (taken-un QuoL/ ;Iamln-«m " d¡ , . . ..nuno-u_ a _ u¡ zu . , _l « , - dL': P.Í“. :Sm-$~ › #nar-aga- "-¡"= ::: .Q -o- ' - , A (. ____ nua: O. /_ A. À.. ¡-4,4.. l 3-" dnAuÍ L ¡Ac-k ApAnÃÍÍ (tn/ uü-§an, -“"' 'Z ' ~ nummmuunnudn. . - 'x 4 l . '. › H f %
  21. 21. ~/ big_data ~/ big_data ~/ big_data ^'/ big_dat -». ~-k~ . I.| o. , . L "Z LJ PU c; »AH " j¡ | FWYYñJFÊLu «Wni y | Í E É: lr % earagrc I 4x r ~ »a 1 Í l. | k§! .í_! n;1 “É , ç , #' Yu¡ r P” *u -'4 @W . , _o _U _| _n t. ; ¡ Ijfnleaã¡ no11¡ : g1 ”“~_¡ey"›'
  22. 22. ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data Rscript heuristics. R l
  23. 23. 3cm
  24. 24. ~/ big_data ~/ big_data ~/ big_data ~/ big_data echo "don't go with too simple dquote> heuristics - they dquote> make you biased and dquote> are mostly wrongn" > » 1essons. txt l
  25. 25. L. .-* . a , _ u. ,_ ' 41 ' , -. A . . QA -_ny. í _F i p_ _ - . .JE A I_ 1_' u_ 1" u_ 1_' I i' , '11 LU¡ g3) J , . . n ' H ' 1h *'- A , à l V¡ . - . _ _v¡_ _, - _, L - . 1 t. 1': «r 1' p¡ ' 2 _. _' íñf- _. , _4_ _l _u I_ 1_" g3) 4) 1'. ll <. 4 > Rscript histogramrR I]
  26. 26. _ _ _ _ _ co? ooom ooom 8o F o
  27. 27. no . contos 'll ÍAIÍÍÍAI Í-- ÍI| ÍÍÍÍII -- -". - Ílc u l | 7.. .'- '-l--- --"-- -ll l- "llu-' "I
  28. 28. L. .-* . a , _ u. ,_ ' 41 ' , -. y . . jy -_ny. í _F i p_ _ - . .JE A I_ 1_' u_ 1" u_ 1_' I i' , '11 LU¡ g3) J , . . n ' H ' 1h *'- A , à l V¡ . - . _ _v¡_ _, - _, L - . 1 t. 1': «r 1' p¡ ' 2 _. _' íñf- _. , _4_ _l _u I_ 1_" g3) 4) 1'. ll <. 4 > Rscript histogramrR I]
  29. 29. _ _ _ _ _ ooov ooom ooom ooo F o
  30. 30. no . contos 'll ÍAIÍÍÍAI Í-- ÍI| ÍÍÍÍII -- -". - Ílc u l | 7.. .'- '-l--- --"-- -ll l- "llu-' "I
  31. 31. __ . .
  32. 32. Io"? s WS' n. à "fr. i q. , i t. , . . . r.. _› É . .. » . . _ c» . ., , x . a . _ . _ . . _ ñ . _ . ., _. , _ _ . , . _ v _ . . . _ i . _ i . _. . , __ . .._ _ . . . . w . Í
  33. 33. .f . f u_ . . , 4 1._ . _ _um_ . d. 4._ . _ M_ . _ . . . - «. _ . . . d. M_ . _ ; qu_ M_ __ A_ . _ . _. l _. - ê 'rw , i- _n . c . .a . a . a › t- ; m 'É A _ , . _ f f . . 1._ . ._ . _ . ._ . ._ . .. . _ . ___ In. . Ip' lvl¡ . FI LI Ir . . 1_ . . Ú_ r . ._ lt . f . _, > Rscrip t remove outlierscR [I
  34. 34. 13|.
  35. 35. ~/ big_data ~/ big_data ~/ big_data ~/ bigy_data *F tr": IAIÍIJ -~íírlr; l_lt. pbtl›“tíe: -l “íÍÍl“ͧ| _'. ..híl'J[íF: »o ”ÍÍlHͧ| _'~. ._lI: 'ÍF1 ~ le”. _. 'ÍIJLÂlhf-l* : -_'* _ ›: ;:tr›«: ;:« I~: íyl«f; l.l. y›«; ›*'r: e: 'o àeztathnyr'an“cie^ EFLTÊL . IÍIíg . . j. JA* 1 l Ml t_ _ « _. J, 1'; VÊ. _l _I _-' , __ _a y . y y _y . _ _. -y , y_ y _«í, ' i. _í_F*_. _lÊ? fiyyIç"_I_FL72H [ai,
  36. 36. .! ?|'¡ . F . Il Ikudrhur. ,l 7 . v : ;fm ul , ñ. .us
  37. 37. N MQMÉWÃ SAMSUNG
  38. 38. .. . a. .. r , r K. w . . . .O . _ _ . . O . u. R. ..
  39. 39. _ , h p' f' c”, _Í_ _A N L. .y f” o * ; L . 1 y _ dy , P É . t u y. _y yy_ ç -. .I _Ç_ ^_ el. : F _A É. . «L _ w. . yy, _, -_ _. ', '_ F _- L. a ; L _ 1,1_ _. L_ ; L _. y y 4_ F2 2 _ : L: ; . l p: , r: _ _gl_ yy -“ _. _. _A_ y - gl_ l L. .' . ~ . ' ; L _ l l ~ o - - a echo dquotfã$AÊeso lution dquote> mattersr A lot" > » lessonsrtxt [|
  40. 40. .x m. .. . 4 . .UK o James weus/ pynñsco
  41. 41. _y yu fl I: ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data ~/ big_data . H l «ci-LJ _. ;g1 : l a5¡ «ÍJ *f : ~ _tg ~/ ybig_data '1_y'ÍÍ: '«Í, yI'Ê_E1'yiiyI c: *
  42. 42. ~/ big_data y ~/ big_data y ~/ big_data y i/ big_data ~/ big_d'ata Elo-oii¡ c' t: mil ›: :;| th: WE e: " HI ii' o l›'_Tyí'yF5íÍ«_KÊLPÍÍí wiki¡ &m; ir": ei " _I J 1 ~: *EJNÇÍJ “i
  43. 43. L* "N " a L A a* . l. n - _y _. f_ y _. l. - . - -, L _ a , I ly a ~ _o íff. y _A _ L* ' *' cn L v¡ Í , I y_ . j o _ f_ y y . i Ly - 1.3) 1.1)_ t" 1* l) J) L_ . _y L ~ A '- A a y y _ y- _ _A_ í'i. A¡ L' A' " 9' L n É LA! ya a | y¡ › L -w 2 . ;Lu _ . a 1 yI¡ 1 É 1 5 _. _,_ y A** L_ - _. _. .Lyy w y y_ y 9,-- _. ._ _ _ _ _ : :LeJ“: ;:r-. ; - > n/ pump_it_into_dbr sh > bigrylogrgzcenc | ]
  44. 44. Rscript allrR I] u_ _ M_ i u_ _ M_ . M_ _ M_ _ M_ _ M_ . L . _ L _ . _ . . . . _ . . . _ an. Em_ É. m_ EH_ a. . an. .. É. . EU_ r . r, u¡ u¡ r. r. .r. r, .r. , if _iu_ Pá_ IHU_ (u. _da_ _na_ _id_ IQ , F A] A' F A¡ f Au¡ . v A¡ f _ . . _ . . _ . .. f _ . . _ . . _ . . _ f LAS( | I_I| n ÍD, r1l L Il I›_. Í¡ IP ! ln Í? ' _ ÍUÀIÍ. A | V_l. . . . . . . .
  45. 45. _a gd . d. Mr; MTL_ MLM_ Mr; .__ 4. . . . = na», _En_ _Em_ Éh_ J . .L. J L. « . L. _lu_ _ta_ ; lí M a A À od_ Í_ Í : d_ , .45 , w _ › echo " dquote> R is immodestly dquote> slown" > » WTFsrtXt l]
  46. 46. ~/ big_data y ~/ big_data y ~/ big_data y ~/ big_data y ~/ big_data y ~/ big_data y ~/ big_data y ~/ big_data _y ~/ big_data j; --«: :;y› . gl uyr~e: _, ; lan ~: :l. ~:í~j'i Lyra; _njnyiaaiyryl V¡ «perl LJJ*'É? 'J _, E" l I 'Fly-fl I'A': ' -' ! .A A) _' ,
  47. 47. :
  48. 48. ~/ big_data ~/ big_data ~/ big_data ~/ big_data echo " dquote> R-alike exploratory dquote> analytics on the JVM dquote> is very limitedn" > » WTFs. txt l
  49. 49. 9 da ta 9 da ta 9 da ta_ 9 da ta 9da tay 9 da . ca 3h19 d x/ bigdata . * tay 9 da ta En: t* yy ' ]› e I 'l _iyy 4 § L . y| yy yy cr P_ Lya_
  50. 50. ñn . _ _
  51. 51. ~/ big_data y ~/ big_data ~/ big_data ~/ big_dat o «jlzgaisyu s* *t j LJCLQLE“ f' -KLLLÍLILimite: 'o _, l_ - ¡Êfny _Fl_ II
  52. 52. c-n. à. .. -. _«
  53. 53. ~/ big_data ~/ big_data ~/ big_data y ~/ big_data y »e-«FI És w 'j' “ri ía L-Fjl H L: * ~: íL<;1 u( VE e: “ _F Í_4 : :i -= ::1L~«: ;1_= ... rtr'ííe: “ *ÍEWLE* : :situ ra w ~r: í.L<: ;l_I_yhU“Eíe: '* iy-Ê*IÇ1;~L« N: _I e w J ~ejfyL<; |y| y,_h[›“[í e: 'r Q; _L4 « HL? ) . a « n 1 urrF w trt: : ll . r r
  54. 54. Év~i, ›:_"1_y«k«*t: :w» É; 1* í. »:_l, l_y< LÉFLÇÍÉW» Ésvlgl «l-rtiu-l y yí; i,g_«; íyr. oa*t“rl - echo "images randomly taken on the internet" » disclaimerrtxt [I

×