2   Hadoop


MapReduce
•


•   Twitter @ryu_kobayashi

•                            ...
•   MapReuceTaskTracker
           JobTracker
•   MapReuceTaskTracker
           JobTracker
•         Hadoop   P176-178
•   MapReuceTaskTracker
           JobTracker
•         Hadoop   P176-178

•
•
•


•   Ubuntu Debian
•


•                   Ubuntu Debian
•   Ubuntu              IPv6


    OS


     -Djava.net.preferIPv4Stack=true
•


•                   Ubuntu Debian
•   Ubuntu              IPv6


    OS


     -Djava.net.preferIPv4Stack=true




•  ...
MapReduce
•   JobClient#runJob

    •   JobClint#monitorAndPrintJob

                               mapred-site.xml

jobclient.outpu...
TaskTracker

•   TaskTracker#run
    •   TaskTracker#offerService
        •   TaskTracker#markUnresponsiveTasks           ...
JobTracker
•   JobTracker#heartbeat heatbeat           TaskTracker

•   JobTracker#offerService    RetireJobs

    •      ...
Hadoopソースコードリーディング MapReduce障害時のフロー
Hadoopソースコードリーディング MapReduce障害時のフロー
Hadoopソースコードリーディング MapReduce障害時のフロー
Hadoopソースコードリーディング MapReduce障害時のフロー
Hadoopソースコードリーディング MapReduce障害時のフロー
Upcoming SlideShare
Loading in...5
×

Hadoopソースコードリーディング MapReduce障害時のフロー

2,407

Published on

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
2,407
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
43
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide
















  • Hadoopソースコードリーディング MapReduce障害時のフロー

    1. 1. 2 Hadoop MapReduce
    2. 2. • • Twitter @ryu_kobayashi • ...
    3. 3. • MapReuceTaskTracker JobTracker
    4. 4. • MapReuceTaskTracker JobTracker • Hadoop P176-178
    5. 5. • MapReuceTaskTracker JobTracker • Hadoop P176-178 •
    6. 6.
    7. 7. • • Ubuntu Debian
    8. 8. • • Ubuntu Debian • Ubuntu IPv6 OS -Djava.net.preferIPv4Stack=true
    9. 9. • • Ubuntu Debian • Ubuntu IPv6 OS -Djava.net.preferIPv4Stack=true • OS •
    10. 10. MapReduce
    11. 11. • JobClient#runJob • JobClint#monitorAndPrintJob mapred-site.xml jobclient.output.filter FAILDE monitorAndPrintJob Job
    12. 12. TaskTracker • TaskTracker#run • TaskTracker#offerService • TaskTracker#markUnresponsiveTasks Task • JobTracker#statusUpdate • TaskInProgress#reportProgress • JobTracker TaskTracker#offerService HeartBeat
    13. 13. JobTracker • JobTracker#heartbeat heatbeat TaskTracker • JobTracker#offerService RetireJobs • Job Job • JobTracker#offerService ExpireTrackers • TaskTracker TaskTracker • JobTracker#offerService ExpireLaunchingTasks • 10 ( )heatbeat • RecoveryManager
    1. A particular slide catching your eye?

      Clipping is a handy way to collect important slides you want to go back to later.

    ×