Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Hadoopのメンテナンスリリースバージョンをリリースしてみた (日本Hadoopユーザー会 ライトニングトーク@Cloudera World Tokyo 2015 講演資料)

2,047 views

Published on

日本Hadoopユーザー会 ライトニングトーク@Cloudera World Tokyo 2015 講演資料
「Hadoopのメンテナンスリリースバージョンをリリースしてみた」
NTTデータ 鯵坂明

Published in: Technology
  • Be the first to comment

Hadoopのメンテナンスリリースバージョンをリリースしてみた (日本Hadoopユーザー会 ライトニングトーク@Cloudera World Tokyo 2015 講演資料)

  1. 1. Copyright © 2015 NTT DATA Corporation 2015/11/10 NTTデータ 鯵坂 明 Hadoopのメンテナンスリリース バージョンをリリースしてみた Cloudera World Tokyo 2015 ライトニングトーク
  2. 2. 2Copyright © 2015 NTT DATA Corporation  Hadoopのメンテナンスリリースは少ない 直近のHadoopリリース (2015/7時点) 20152014201320122011 9.1.0 9.1.18 9.2.0 9.2.13 9.3.0 9.3.9 9.4.0 9.4.4 PostgreSQL 20152014 2.4.0 2.5.2 2.7.0 2.7.1 2.6.0 2.5.1 2.5.0 2.4.1 Hadoop
  3. 3. 3Copyright © 2015 NTT DATA Corporation  特に、放置されているbranch-2.6をなんとかしたい  だけど、コミュニティ全体の同意が必要  敷居が高い メンテナンスリリースを増やしたい
  4. 4. 4Copyright © 2015 NTT DATA Corporation  嬉しい追い風 Hadoop SummitのBoFで、Yahoo!、Twitterなどのユーザ企 業から、もっとコミュニティでメンテナンスリリースを出せ ないの? という議論があった HBaseコミュニティから、2.6.1を出してくれるよう要請が あった メンテナンスリリースを増やしたい
  5. 5. 5Copyright © 2015 NTT DATA Corporation  MLにメールを投げた  協力者が募れたので、Hortonworks、Twitterのメンバと分担し て2.6.1リリースの作業をした メンテナンスリリースを増やしたい In Hadoop Summit, I joined HDFS BoF and heard from Jason Lowe that Apache Hadoop developers at Yahoo!, Twitter, and other non-distributors work very hard to maintenance Hadoop by cherry-picking patches to their own branches. I want to share the work with the community. If we can cherry-pick bug fix patches and have more maintenance releases, it'd be very happy not only for users but also for developers who work very hard for stabilizing their own branches. (snip) I would like to start the work from branch-2.6. If the change will be accepted by the community, I'm willing to work for the maintenance, as a release manager.
  6. 6. 6Copyright © 2015 NTT DATA Corporation リリース作業 https://wiki.apache.org/hadoop/HowToRelease
  7. 7. 7Copyright © 2015 NTT DATA Corporation  メーリングリストで、どのパッチを2.6.1に入れたいか確認  全てのJIRAに"2.6.1-candidate"とラベリング (158件!)  作業方針 & 分担どうするか決める by hangout  自分がCommonのcherry-pickを担当する、ということは聞き取れた  ただひたすらcherry-pick  進捗管理: https://wiki.apache.org/hadoop/Release-2.6.1-Working-Notes リリース作業
  8. 8. 8Copyright © 2015 NTT DATA Corporation  JDK6対応 (2.6まではJDK6をサポート)  try-with-resources statement が使えない -> 書き直す  例外のmulti catch が使えない -> 書き直す  java.nio.Files (NIO2) も使えない -> ...諦める - Vinodさんが書き直した。すごすぎる (HADOOP-11934)  手でrebaseしたパッチは必ずJIRAに添付  後でtrackできるように  依存関係に注意  あるパッチを当てるために、別のパッチが必要  あるパッチはあるバグを直すが、別のバグが出るので、それに対応する パッチが必要  依存関係がJIRAに書かれていないこともある - 注意深くソースコードを追いかける  困ったら、相談! cherry-pickで気をつけること
  9. 9. 9Copyright © 2015 NTT DATA Corporation  Release Candidateの作成  Versionを"2.6.1-RC0"に設定  Release dateを記入  git tagを登録  Maven artifactの登録  GPG署名  Vote  期間(5日)内にPMCが「3人以上"+1"」かつ 「"-1"より"+1"が多い」  初回は、NG (当てるパッチを間違えていた)  RC1の作り直し  Release  Release dateを更新  git tagを登録  Distribution directoryにファイルを登録  リリース告知! RCの作成、投票
  10. 10. 10Copyright © 2015 NTT DATA Corporation  2.6.1リリースで作業分担したTwitterの開発者が、2.6.2のrelease manager をやりたいと申し出  彼の尽力により、すでに2.6.2がリリース済 (2015/10/28)  2.7.2も、もうすぐリリース! 2.6.1 リリース後
  11. 11. 11Copyright © 2015 NTT DATA Corporation  Thanks Vinod Kumar Vavilavalli and Sangjin Lee, and all the PMCs/committers/contributors who helped for the maintenance release. 最後に 20152014 2.4.0 2.5.2 2.7.0 2.7.1 2.6.0 2.5.1 2.5.0 2.4.1 2.6.1 2.6.2 2.7.2
  12. 12. Copyright © 2011 NTT DATA Corporation Copyright © 2015 NTT DATA Corporation

×