Tweeting hadoop

678 views

Published on

introduce hadoop

  • Be the first to comment

Tweeting hadoop

  1. 1. Tweeting Hadoop Twitter: @zizon
  2. 2. <ul><ul><li>HDFS </li></ul></ul><ul><ul><li>Map Reduce </li></ul></ul><ul><ul><li>etc... </li></ul></ul>
  3. 3. <ul><ul><li>Disk </li></ul></ul>
  4. 4. <ul><ul><li>Replication </li></ul></ul>
  5. 5. <ul><ul><li>But fail overs ... </li></ul></ul><ul><ul><li>NOT automatically </li></ul></ul><ul><ul><li>NOT physical isolated </li></ul></ul>
  6. 6. <ul><ul><li>NFS like </li></ul></ul>It DOSE solve part of it , but not all such as load balance and etc.
  7. 7. <ul><ul><li>HDFS </li></ul></ul>
  8. 8. <ul><ul><li>Internals </li></ul></ul><ul><ul><li>C reate </li></ul></ul><ul><ul><li>R ead </li></ul></ul><ul><ul><li>U pdate </li></ul></ul><ul><ul><li>D elete </li></ul></ul>
  9. 9. <ul><ul><li>Create </li></ul></ul>
  10. 10. <ul><ul><li>Create </li></ul></ul><ul><ul><ul><li>FSNamesystem </li></ul></ul></ul><ul><ul><ul><ul><ul><li>Inode(IndoeFile,InodeDcitionary, 额头 ) </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>BlockInfo </li></ul></ul></ul></ul></ul>
  11. 11. <ul><ul><li>Read </li></ul></ul><ul><ul><li>Update(Append actually) </li></ul></ul>
  12. 12. <ul><ul><li>Delet </li></ul></ul>lazy operation
  13. 13. <ul><ul><li>Configuration? </li></ul></ul><ul><ul><li>dfs.block.size </li></ul></ul><ul><ul><li>io.file.buffer.size </li></ul></ul><ul><ul><li>dfs.datanode.transferTo.allowed </li></ul></ul><ul><ul><li>dfs.write.packet.size </li></ul></ul><ul><ul><li>dfs.datanode.numblocks </li></ul></ul>
  14. 14. <ul><ul><li>Map Reduce </li></ul></ul>
  15. 15. <ul><ul><li>Configuration </li></ul></ul><ul><ul><li>mapred.jobtracker.taskScheduler </li></ul></ul><ul><ul><li>mapred.tasktracker.map.tasks.maximum </li></ul></ul><ul><ul><li>mapred.tasktracker.reduce.tasks.maximum </li></ul></ul><ul><ul><li>mapred.job.split.file </li></ul></ul><ul><ul><li>mapred.jobtracker.maxtasks.per.job </li></ul></ul><ul><ul><li>mapred.max.split.size </li></ul></ul><ul><ul><li>mapred.child.java.opts </li></ul></ul><ul><ul><li>mapreduce.partitioner.class </li></ul></ul><ul><ul><li>mapred.reduce.parallel.copies </li></ul></ul><ul><ul><li>mapred.job.reuse.jvm.num.tasks </li></ul></ul>

×