pmux	maebashi	  @	  IIJ	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 1
Todays	  Talk	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 2	Hadoop
What	  is	  MapReduce?	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 3	Represent	  problems	  as	  Map	  an...
What	  is	  GlusterFS?	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 4
locate	  files	  based	  solely	  on	  their	  name	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 5	(in case...
What	  is	  pmux?	  (1)	•  stands	  for	  pipeline	  mul)plexer	  •  hQps://github.com/iij/pmux	  •  hQps://github.com/iij...
What	  is	  pmux?	  (2)	•  file-­‐based	  map/reduce	  tool	  •  uses	  Unix	  standard	  input/output	  as	  the	  interfa...
Install	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 8	run	  pmux	  command	  on	  this	  host
Execu=on	  Overview	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 9	(1)	  MapReduce	  without	  reduce	  ph...
1.	  lookup	  target	  files	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 10	run	  pmux	  command	  on	  th...
2.	  invoke	  pmux	  on	  each	  node	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 11	worker	dispatcher
3.	  assign	  map	  tasks	  to	  nodes	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 12	tasks	  are	  assig...
4.	  send	  results	  back	  to	  dispatcher	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 13
Execu=on	  Overview	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 14	(2)	  with	  reduce	  phase	  
3.	  assign	  map	  tasks	  to	  nodes	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 15
4.	  mapper	  produces	  tmp	  files	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 16	maper	  produces	  tem...
5.	  shuffle	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 17
6.	  assign	  reduce	  tasks	  to	  nodes	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 18
7.	  send	  results	  back	  to	  dispatcher	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 19
example(1):	  count	  of	  status	  code	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 20	extract	  the	  s...
example(2):	  word	  count	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 21	$ pmux --mapper=map.rb --reduce...
Performance	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 22	14:00:00.416011	  IP	  21.44.60.29.hQp	  >	  1...
map	  command	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 23	--mapper=egrep –o "[0-9]+.[0-9]+.[0-9]+.[0-9...
result	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 24	8	  hr	  49	  min	  6	  sec	1	  node,	  without	  p...
result	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 25	8	  hr	  49	  min	  6	  sec	1	  min	  45	  sec	300	...
related	  tools	•  pmux-­‐gw	  (pmux-­‐gateway)	  – HTTP	  interface	  for	  pmux	  •  pmux-­‐logview	  – visualizer	  for...
pmux	  gateway	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 27
pmux-­‐logview	Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 28
Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 29
Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 30
Copyright	  (c)	  2013	  Internet	  Ini=a=ve	  Japan	  Inc.	 31
Upcoming SlideShare
Loading in …5
×

pmux

707 views

Published on

Published in: Travel, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
707
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

pmux

  1. 1. pmux maebashi  @  IIJ Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 1
  2. 2. Todays  Talk Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 2 Hadoop
  3. 3. What  is  MapReduce? Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 3 Represent  problems  as  Map  and  Reduce  step  (1)  Map  –  extract,  convert  (2)  Reduce  –  aggregate,  summarize
  4. 4. What  is  GlusterFS? Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 4
  5. 5. locate  files  based  solely  on  their  name Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 5 (in case of distributed volume)
  6. 6. What  is  pmux?  (1) •  stands  for  pipeline  mul)plexer  •  hQps://github.com/iij/pmux  •  hQps://github.com/iij/pmux/wiki  Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 6
  7. 7. What  is  pmux?  (2) •  file-­‐based  map/reduce  tool  •  uses  Unix  standard  input/output  as  the  interface  Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 7 $ pmux --mapper="grep PATTERN" *.logExample:  distributed  grep files  on  GlusterFS
  8. 8. Install Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 8 run  pmux  command  on  this  host
  9. 9. Execu=on  Overview Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 9 (1)  MapReduce  without  reduce  phase  
  10. 10. 1.  lookup  target  files Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 10 run  pmux  command  on  this  host read  trusted.glusterfs.pathinfo  from  xaQr
  11. 11. 2.  invoke  pmux  on  each  node Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 11 worker dispatcher
  12. 12. 3.  assign  map  tasks  to  nodes Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 12 tasks  are  assigned  to  nodes(workers)  dynamically
  13. 13. 4.  send  results  back  to  dispatcher Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 13
  14. 14. Execu=on  Overview Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 14 (2)  with  reduce  phase  
  15. 15. 3.  assign  map  tasks  to  nodes Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 15
  16. 16. 4.  mapper  produces  tmp  files Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 16 maper  produces  temporary  files  containing  intermediate  results
  17. 17. 5.  shuffle Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 17
  18. 18. 6.  assign  reduce  tasks  to  nodes Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 18
  19. 19. 7.  send  results  back  to  dispatcher Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 19
  20. 20. example(1):  count  of  status  code Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 20 extract  the  status  code  from  Apache  log  files  and  count $ pmux --mapper=grep PAT |cut -d" " -f 9’ --reducer=sort|uniq -c’ /mnt/glusterfs/*.log176331 200106360 206809 40021852 403533 40427 406805 41625 500
  21. 21. example(2):  word  count Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 21 $ pmux --mapper=map.rb --reducer=reduce.rb --file=map.rb –-file=reduce.rb /mnt/glusterfs/*.txt#! /usr/bin/ruby -an$F.each {|f| print "#{f}t1n"}#! /usr/bin/ruby -anBEGIN {$c = Hash.new 0}$c[$F[0]] += $F[1].to_iEND {$c.each {|k, v| print "#{k} #{v}n"}}map.rb reduce.rb command  line
  22. 22. Performance Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 22 14:00:00.416011  IP  21.44.60.29.hQp  >  170.73.162.175.58546:    .  3523999974:3524001422(1448)  ack  3401170238  win  1716    <nop,nop,=mestamp  1070614671  1955062367>  packet  capture  logs  (made  by  tcpdump) extract  the  most  frequently  appeared  IP  address  on  each  file 8344  files,  500K  lines/file,  total  4  billion  lines
  23. 23. map  command Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 23 --mapper=egrep –o "[0-9]+.[0-9]+.[0-9]+.[0-9]+"|sort|uniq -c|sort -nr|head -1
  24. 24. result Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 24 8  hr  49  min  6  sec 1  node,  without  pmux
  25. 25. result Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 25 8  hr  49  min  6  sec 1  min  45  sec 300  Hmes  fater 1  node,  without  pmux 60  nodes  (each  node  has  8  cores)
  26. 26. related  tools •  pmux-­‐gw  (pmux-­‐gateway)  – HTTP  interface  for  pmux  •  pmux-­‐logview  – visualizer  for  pmux  job  progress Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 26
  27. 27. pmux  gateway Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 27
  28. 28. pmux-­‐logview Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 28
  29. 29. Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 29
  30. 30. Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 30
  31. 31. Copyright  (c)  2013  Internet  Ini=a=ve  Japan  Inc. 31

×