Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
2   Hadoop


MapReduce
•


•   Twitter @ryu_kobayashi

•                            ...
•   MapReuceTaskTracker
           JobTracker
•   MapReuceTaskTracker
           JobTracker
•         Hadoop   P176-178
•   MapReuceTaskTracker
           JobTracker
•         Hadoop   P176-178

•
•
•


•   Ubuntu Debian
•


•                   Ubuntu Debian
•   Ubuntu              IPv6


    OS


     -Djava.net.preferIPv4Stack=true
•


•                   Ubuntu Debian
•   Ubuntu              IPv6


    OS


     -Djava.net.preferIPv4Stack=true




•  ...
MapReduce
•   JobClient#runJob

    •   JobClint#monitorAndPrintJob

                               mapred-site.xml

jobclient.outpu...
TaskTracker

•   TaskTracker#run
    •   TaskTracker#offerService
        •   TaskTracker#markUnresponsiveTasks           ...
JobTracker
•   JobTracker#heartbeat heatbeat           TaskTracker

•   JobTracker#offerService    RetireJobs

    •      ...
Hadoopソースコードリーディング MapReduce障害時のフロー
Hadoopソースコードリーディング MapReduce障害時のフロー
Hadoopソースコードリーディング MapReduce障害時のフロー
Hadoopソースコードリーディング MapReduce障害時のフロー
Hadoopソースコードリーディング MapReduce障害時のフロー
Upcoming SlideShare
Loading in …5
×
Upcoming SlideShare
サンプルから見るMap reduceコード
Next
Download to read offline and view in fullscreen.

3

Share

Download to read offline

Hadoopソースコードリーディング MapReduce障害時のフロー

Download to read offline

Related Books

Free with a 30 day trial from Scribd

See all

Hadoopソースコードリーディング MapReduce障害時のフロー

  1. 1. 2 Hadoop MapReduce
  2. 2. • • Twitter @ryu_kobayashi • ...
  3. 3. • MapReuceTaskTracker JobTracker
  4. 4. • MapReuceTaskTracker JobTracker • Hadoop P176-178
  5. 5. • MapReuceTaskTracker JobTracker • Hadoop P176-178 •
  6. 6.
  7. 7. • • Ubuntu Debian
  8. 8. • • Ubuntu Debian • Ubuntu IPv6 OS -Djava.net.preferIPv4Stack=true
  9. 9. • • Ubuntu Debian • Ubuntu IPv6 OS -Djava.net.preferIPv4Stack=true • OS •
  10. 10. MapReduce
  11. 11. • JobClient#runJob • JobClint#monitorAndPrintJob mapred-site.xml jobclient.output.filter FAILDE monitorAndPrintJob Job
  12. 12. TaskTracker • TaskTracker#run • TaskTracker#offerService • TaskTracker#markUnresponsiveTasks Task • JobTracker#statusUpdate • TaskInProgress#reportProgress • JobTracker TaskTracker#offerService HeartBeat
  13. 13. JobTracker • JobTracker#heartbeat heatbeat TaskTracker • JobTracker#offerService RetireJobs • Job Job • JobTracker#offerService ExpireTrackers • TaskTracker TaskTracker • JobTracker#offerService ExpireLaunchingTasks • 10 ( )heatbeat • RecoveryManager
  • yanaoki

    Jun. 1, 2010
  • restartr

    May. 31, 2010
  • raspberry1123

    May. 29, 2010

Views

Total views

3,090

On Slideshare

0

From embeds

0

Number of embeds

243

Actions

Downloads

45

Shares

0

Comments

0

Likes

3

×