Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Java8移行から始めた技術的負債との戦い(jjug ccc 2015 fall)

23,866 views

Published on

JJUG CCC 2015 Fall での発表資料です。Java8移行から始めていろいろやった話です。

Published in: Technology
  • Be the first to comment

Java8移行から始めた技術的負債との戦い(jjug ccc 2015 fall)

  1. 1. Java8移行から始めた 技術的負債との戦い JJUG CCC 2015 Fall 2015.11.28 清 大輔 @ 株式会社ビズリーチ
  2. 2. 発表者  清 大輔  株式会社ビズリーチ 新卒2年目 エンジニア  博士課程中退な人 • カオス・フラクタル • 脳波解析 • やっぱりプログラム書いてたほうが楽しいのでエン ジニアへ  趣味や研究でプログラム書いてました • 基本 C++ とか 2
  3. 3. ビズリーチについて  Mission インターネットの力で、 世の中の選択肢と可能性を広げていく 3
  4. 4. BizReach  ビジネスパーソン、国内外の優良・成長企業、各業界 に精通した一流ヘッドハンターの三者を最適かつ効率 的にマッチングする管理職・グローバル人材に特化し た会員制転職サイト 4
  5. 5. BizReach woman  女性が、理想のキャリアを追求・確立するために、多 くの可能性と選択肢から最もふさわしいキャリアを見 つけるための転職サイト 5
  6. 6. careertrek  日本で初めて全職種に対応した求人レコメンド型20代 向け転職サイトで、キャリア診断結果をもとに求職者 と企業をマッチングするだけでなく、使えば使うほど マッチング精度が高くなるレコメンド機能を搭載 6
  7. 7. スタンバイ  インターネット上にある国内のさまざまな求人情報約 300万件を一カ所に集約し、いつでもどこでも、簡単に、 効率的に仕事を探せるサービス 7
  8. 8. RegionUP  アジアの優秀なビジネスパーソンと、ハイクラス向け を中心とした求人情報を提供するアジアの企業・ヘッ ドハンターをつなぐ「アジア版ビズリーチ」 8
  9. 9. zuknow  スマートフォンとソーシャルの力を使って学習を効率 的で楽しいものに変える学習アプリ 9
  10. 10. ニクリーチ  お腹を空かせた学生のための肉食就活サイト  自分が興味のある企業の人と、無料でおニクが食べら れ、様々なキャリアをもった人とじっくり話せる 10
  11. 11. 11 前置きはここまでにして
  12. 12. 移行対象: BizReach  システムの基盤を作った人達が他の新規事業に 行ったりしてしまってチームにいない  pom などのメンテをする人が特に決まっていな いような状況 • フレームワーク等のバージョンのアップデートが遅 れていた • 技術的負債が溜まっていた 12
  13. 13. ビズリーチシステム(Java8移行前)  使用している技術 • 言語: Java6 • MVC: Struts2 • DI: Spring3 • View: JSP, Velocity … JSP → Velocityへ(混在中) • ORM: DBFlute 1.0.x • 他: DWR, AWS, etc  開発環境: Eclipse 3.7 Indigo 13
  14. 14. 移行のきっかけ  Java8 → Stream, ラムダ式, Optional使いたい!! 14 List<String> codes = new ArrayList<>(); for (Bean bean : list) { codes.add(bean.getCode()); } List<String> codes = list.stream().map(bean-> { return bean.getCode(); }).collect(Collectors.toList()); for Java7 for Java8
  15. 15. 移行のきっかけ  Java8 → 使っているライブラリーもJava8の方が書きやすい!! 15 MemberCB cb = new MemberCB(); cb.query().setMemberId(1L); Member member = candidateBhv.selectEntity(cb); String memberStatusCd = member == null ? “” : member.getMemberStatusCd(); String memberStatusCd = candidateBhv.selectEntity(cb -> { cb.query().setMemberId(1L); }).map(Member::getMemberStatusCd).orElse(“”); DBFlute for Java7 for Java8
  16. 16. 移行のきっかけ 16  Eclipse Luna (Release Candidate) • Eclipse Kepler でもプラグインで対応できたがそちら は微妙に不安定 • Luna だとかなりましになった → そろそろJava8で書けそう?
  17. 17. 移行のきっかけ 17  Eclipse Luna (Release Candidate) • Eclipse Kepler でもプラグインで対応できたがそちら は微妙に不安定 • Luna だとかなりましになった → そろそろJava8で書けそう? というのもありましたが
  18. 18. 移行のきっかけ 18 A「Java7 のサポート切れるよね〜」 B「そうですね〜」 A「Java8 に上げないの?」 B「(あれ?そもそもうちまだ Java6 じゃん) 上げます!!」
  19. 19. 2015年4月下旬 移行開始 19
  20. 20. 事件1. ラムダ書くと そもそも開発環境で 起動しない 20
  21. 21. 事件1. そもそも起動しない 事象  ラムダを書いた瞬間から、Eclipse上でアプリが 起動してくれない 21
  22. 22. 事件1. そもそも起動しない 事象  ラムダを書いた瞬間から、Eclipse上でアプリが 起動してくれない 22 Java8 にする意味 …
  23. 23. 事件1. そもそも起動しない 背景  起動には Eclipse の Run Jetty Run (RJR) プラグイ ンを利用していた  RJR プラグインは2013年に開発ストップ  最新でJetty 8で起動 23
  24. 24. 事件1. そもそも起動しない 原因  実は Jetty9.2.x で Java8 に対応している = それ以前のバージョンだと未対応 24
  25. 25. 事件1. そもそも起動しない 原因  実は Jetty9.2.x で Java8 に対応している = それ以前のバージョンだと未対応 問題  RJR プラグインには Jetty 8 までしかない 25
  26. 26. 事件1. そもそも起動しない 対応  急遽RJRプラグインをforkして最新のJettyで起動 できるようにしてメンバーに配布 26
  27. 27. 事件1. そもそも起動しない 対応  急遽RJRプラグインをforkして最新のJettyで起動 できるようにしてメンバーに配布 27 起動した!! (まだスタート地点)
  28. 28. 事件1. そもそも起動しない 教訓  開発の止まっているものは使わない • 止まっているのは理由があることが多い  Eclipseプラグインに頼りすぎない • Eclipseプラグインを作るのは案外辛い  組み込みAPサーバー化すべき • プラグインからの脱却 • 開発/本番一致(The Twelve-Factor App) 28
  29. 29. 29 さて、デプロイして 動作確認しよう…
  30. 30. 事件2. 検証環境だとラムダで 死ぬ 30
  31. 31. 事件2. 検証環境だとラムダで死ぬ 事象  検証環境でデプロイが失敗した!? → アプリが立ち上がってない… 31
  32. 32. 事件2. 検証環境だとラムダで死ぬ 背景  本番にリリースする前に検証用の環境にデプロ イして動作確認を行っている  ローカルだと Jetty を利用しているが検証及び 本番の環境では Tomcat 8 を利用していた 32
  33. 33. 事件2. 検証環境だとラムダで死ぬ 原因  古い ASM(3.x)ライブラリが足を引っ張って いるようだ • Java8 対応は ASM 5.x • バイトコード周り?(自分は詳しくない) • Spring のバージョンを 3.2.9以上にあげるしかない • 公式ブログのアナウンスより 33
  34. 34. 事件2. 検証環境だとラムダで死ぬ 対応  Spring のバージョンを 3.2系にあげる • Spring 4 は諸事情により見送り • 一気にいろいろやるのは怖い 34
  35. 35. 事件2. 検証環境だとラムダで死ぬ 対応  Spring のバージョンを 3.2系にあげる • Spring 4 は諸事情により見送り • 一気にいろいろやるのは怖い 35 検証でもでラムダが 動いた!!
  36. 36. 事件2. 検証環境だとラムダで死ぬ 教訓  実はフレームワークのマニュアルやブログに全 部開いてあるので、事前にきちんと読もう 36
  37. 37. 37 これで安心してラムダが 書けるようになった
  38. 38. 事件3. Actionでラムダ書くと そこで死ぬ 38
  39. 39. 事件3. Actionでラムダ書くと死ぬ 事象  Actionでラムダ書いたら、そのActionにリクエ スト投げるとエラーで落ちる 39 @Namespace("/") public class IndexAction { @Action(value = "", results = { @Result(name = SUCCESS, location = “home.vm“)}) public String index() { return SUCCESS; } } ← 例えばここらへんに追加
  40. 40. 事件3. Actionでラムダ書くと死ぬ 事象  Actionでラムダ書いたら、そのActionにリクエ スト投げるとエラーで落ちる  Actionのクラスに書かなければ落ちない ↑ これのせいでちょっと発見が遅れた 40
  41. 41. 事件3. Actionでラムダ書くと死ぬ 原因  struts2-java8-support-plugin が必須 • 2015/05/03に出た • Java8 化リリース予定の1週間前 41
  42. 42. 事件3. Actionでラムダ書くと死ぬ 対応  struts2-java8-support プラグインを入れる 42
  43. 43. 事件3. Actionでラムダ書くと死ぬ 対応  struts2-java8-support プラグインを入れる 43 Actionでラムダが 動いた!!
  44. 44. 事件3. Actionでラムダ書くと死ぬ 教訓  行き当たりばったりは良くない • でも Java8 で行くって言っちゃったし …  無意味でもM, V, Cとかいろんな場所にラムダを 書いて炙り出しをしておくべきだった 44
  45. 45. 45 もうそろそろ 大丈夫そう?
  46. 46. 事件4. Mac PCだと ラムダで死ぬ 46
  47. 47. 事件4. Mac PCだと死ぬ 事象  Windows PCでは動作しているのにMac PCだと ラムダ書いた場所でエラー  原因は不明 47
  48. 48. 事件4. Mac PCだと死ぬ 背景  開発環境が Windows PC から Mac PC へ一斉に 移行される予定だった • MacBookがいつ納品されるのかよく分からない!? • WindowsとMacの混在状況が予定よりも長く続く  Mac移行を先行した人(人柱さん)が無事地雷 を踏んだ模様 48
  49. 49. 事件4. Mac PCだと死ぬ 対応までの流れ  ORM に DBFlute を使用  DBFlute の Java8 対応版へのバージョンアップ を試作していた(後方互換なし) • 次のリリース直後に一気に移行作業、な予定だった  なぜか DBFlute Java8 対応状態では正常に動作  予定を繰り上げて決行 49
  50. 50. 事件4. Mac PCだと死ぬ 教訓  Point of No Return を短いスパンでいくつも超え るのは怖いが案外なんとかなる • もちろんやらないほうがいい 50
  51. 51. Windows・Mac PC 混在状況  両方の環境で動くようにメンテする羽目になる  両方の環境の手順書を維持する羽目になる 51
  52. 52. Windows・Mac PC 混在状況  両方の環境で動くようにメンテする羽目になる  両方の環境の手順書を維持する羽目になる 52 結構辛い…
  53. 53. 事件5. デザインツールの 挙動がおかしい 53
  54. 54. 事件5. デザインツールが動かない 背景  PDFの生成には Jasper Report というライブラリ を使用していた  デザインには専用のツールが必要 54
  55. 55. 事件5. デザインツールが動かない 事象  Jasper Report のデザインツールが Java8 だとお かしな挙動をする  開発者のデザインツールがまともに動かないと いうことで、PDFのデザインフォーマットが変 更できない 55
  56. 56. 事件5. デザインツールが動かない 原因  件のツールでは JDK6 が必要 56
  57. 57. 事件5. デザインツールが動かない 対応  取り合えずPDFのフォーマットに関わる仕様変 更をしばらく凍結 • 緊急案件なら JDK6 をいれていただく  Jasper Report 撲滅へと乗り出す 57
  58. 58. 事件5. デザインツールが動かない 教訓  バージョンを飛ばすと当然踏む地雷は増える • 妥当に踏みました 58
  59. 59. ここまでで増えたタスク  組み込みAPサーバー化  Jasper Report 撲滅作戦  Spring 4 へのバージョンアップ 59
  60. 60. 組み込みAPサーバー化 60
  61. 61. 組み込みAPサーバー化 目的  Eclipse プラグインからの脱却 • Run Jetty Run プラグインのメンテしたくない  開発環境と本番環境で使うものを合わせる • 本番環境だけで問題発生、といったことを防ぐ 手段  組み込み Tomcat を使用する 61
  62. 62. 組み込みTomcat  以下のように書く  docBase には webapp フォルダを設定 • WEB-INF を持つフォルダ • ソースを見ると *.war でもいけそうだったが、やって みたところ異様に起動が重かった 62 Tomcat tomcat = new Tomcat(); Context context = tomcat.addWebapp(contextPath, docBase); tomcat.start(); tomcat.getServer().await();
  63. 63. 63 なんだかんだで 起動までいったところで…
  64. 64. 事件6. JSPの描画で死ぬ 64
  65. 65. 事件6. JSPの描画で死ぬ 事象  JSPをビューとして使用するページで 500 Internal Server Error 65
  66. 66. 事件6. JSPの描画で死ぬ 原因  Jasper Report が依存しているEL式のライブラ リーが古く、そちらの方を読み込んでしまって 関数が見つからない 66
  67. 67. 事件6. JSPの描画で死ぬ 原因  Jasper Report が依存しているEL式のライブラ リーが古く、そちらの方を読み込んでしまって 関数が見つからない 67 また Jasper Report
  68. 68. 事件6. JSPの描画で死ぬ 対応  本番への組み込みAPサーバー適用は Jasper Report を撲滅してからにする  直近はローカル環境でのみ組み込みAPサーバー で動くように pom をいじる  (Jasper Report 撲滅後)全プロダクトで一斉に 切り替えるのは怖いので少しずつ移行 • Maven profile で切り替え 68
  69. 69. 組み込みTomcat化 現状  本番サーバーでの組み込み化は完了  運用開始後、特にトラブルはない • びびって小出しにする必要はなかった • 問題がないと逆に不安になる 69
  70. 70. Jasper Report 撲滅作戦 70
  71. 71. Jasper Report 撲滅作戦 作戦  Flaying Saucer (with Atlassian’s Patch) を使用 • 日本語周りのバグをAtlassianさんが修正したもの • HtmlファイルをPDF化するライブラリ  粛々と置き換える • デザインを Html へ落とし込む 71
  72. 72. Jasper Report 撲滅作戦 作戦  Flaying Saucer (with Atlassian’s Patch) を使用 • 日本語周りのバグをAtlassianさんが修正したもの • HtmlファイルをPDF化するライブラリ  粛々と置き換える • デザインを Html へ落とし込む 72 無事リリース
  73. 73. 事件7. ダメ文字で死ぬ 73
  74. 74. 事件7. ダメ文字で死ぬ 事象  垂直タブが含まれているとそこまでで処理が終 わってしまう → 中途半端な PDF が出力されてしまう 74
  75. 75. 事件7. ダメ文字で死ぬ 事象  垂直タブが含まれているとそこまでで処理が終 わってしまう → 中途半端な PDF が出力されてしまう 対応  ダメ文字を入力時と出力時にフィルタリング 75
  76. 76. 事件7. ダメ文字で死ぬ 教訓  ユーザーの入力は信用しない  DBに入っているデータも信用しない  ライブラリへの入力は慎重に  あらゆる入力は信用できない 76
  77. 77. Spring 4 移行作戦 77
  78. 78. Spring 4 移行作戦  Spring 3.x → Spring 4.x へ  Spring 4.1 だと Quartz Scheduler 周りでコンパイ ルエラーになったので Spring 4.0 へ • Quartz Scheduler 移行は後で  修正はpom の中のバージョンを上げるだけ 78
  79. 79. Spring 4 移行作戦  Spring 3.x → Spring 4.x へ  Spring 4.1 だと Quartz Scheduler 周りでコンパイ ルエラーになったので Spring 4.0 へ • Quartz Scheduler 移行は後で  修正はpom の中のバージョンを上げるだけ 79 検証で問題なかったので リリースしてみた
  80. 80. 事件8. 秋のOOM祭り 80
  81. 81. 事件8. 秋のOOM祭り  java.lang.OutOfMemoryError: Metaspace • Java 8 でクラスなどを確保する領域を Metaspace とい い、Native メモリとして扱われる  リリースしてからちょっと経ってから出始める → とりあえずインスタンスタイプ(AWS)を あげると収まった 81
  82. 82. 事件8. 秋のOOM祭り 原因究明  Spring 4.0 はリクエストを処理した時にクラス 数が増加  Spring 4.1 はリクエストを処理した時にクラス 数が変わらない Spring 4.1 へ 82
  83. 83. Spring 4.1.x へ 背景  Spring 4.1 以上では古い Quartz Scheduler の方式 はサポートしなくなった 作戦  Spring Batch の方式で書き直す  ついでに Spring 4.1 にアップデートする • ちなみに Spring 4.2.x だと DWR というライブラリー が死ぬ 83
  84. 84. Spring をバージョンアップ 結果  メモリーの使用状況を見る限りバージョンアッ プ後もあまり変化はなかった  マシンスペックが上がったことで安定して稼働 しているので、そもそもメモリーが足りていな かったのかもしれない 84
  85. 85. 事件8. 秋のOOM祭り 結論  金の力は偉大である 85
  86. 86. 並行して行っていたこと 86
  87. 87. ついでにいろいろ導入  Mac導入など環境の作り直しもあって環境周り の見直しなどを行っていた = 技術的負債返済の一環 • Vagrant による環境構築手順の簡略化 • パスワードなど重要な情報を環境変数へ • Spring 3.1.xからの機能で、propertyt 値を上書きできる • Lombak • Java Config化 • `mvn -Dmaven.test.skip=true` をやめる 87
  88. 88. Vagrant  仮想環境構築ツール  設定を作る人が頑張れば後の人が楽できる  コマンド数発で MySQL 等のミドルウェアの セットアップが終了  PC のスペックと要相談 88
  89. 89. Vagrant  使用しているPC • MacBook Pro • プロセッサ: 3.1 GHz Intel Core i7 • メモリ: 16 GB 1867 MHz DDR3  現在仮想環境で動作中のもの(割り当て:2GB) • MySQL • PostgreSQL • Redis • Cassandra • Solr 89
  90. 90. Lombok – 紹介  ボイラープレートコードを解消するためのツール • 自明だが省略できないお決まりのコード断片  例えば Getter や Setter をクラスの先頭にアノテー ションをつけるだけで自動生成されたことになる 90 @Getter class Foo { private String bar; } class Foo { private String bar; public String getBar() { return bar; } } =
  91. 91. Lombok – よく使うもの  @Getter, @Setter • 前述の通り  @Data • クラスの先頭につけておくだけでGetter/Setter, toString, equals, hashCode が実装したことになる  @Value • Immutable なオブジェクトの定義  etc
  92. 92. Lombok – メリット・デメリット メリット  コードがすっきりと簡潔になる  実はテストのカバレッジに効く • コード自体は書かないので デメリット  若干検索性が下がる  変数名の変更時などに若干手間 92
  93. 93. Java Config 化  XMLは補完が効かなかったり、リファクタリン グ時に修正を忘れて事故ることがよくある  Java Config にすれば Java のコードで設定をかけ るのでIDEの補助が効き、また if 文の利用など 小回りがきく 93
  94. 94. Java Config 化  以下のような書き換えを行う 94 <bean id=“foo” class=“jp.bizreach.Foo” /> @Configuration class Config { @Bean public Foo foo() { return new Foo(); } } ↓
  95. 95. テストの実行  事業会社はスピードが最重要とはいうけれど、 そろそろテストが実行されないのはまずい  ようやく Unit Test や Integration Test の自動実行 の環境が整った • Unit Test: JUnit4 • Integration Test: Selenium WebDriver • Vagrant で環境を作り、DB には DBFlute 付属の機能でデータ を流し込み、Solr のインデックス処理を行う関数(自作)を 実行し、Selenium WebDriver による Integration Test を実行 95
  96. 96. テストの実行  本格運用はこれから • まだ全然テストが書かれていない  これから長い旅が始まる 96
  97. 97. 他のこまいの  Optional#orElseThrow が開発環境だと問題ない が検証環境だとビルドがこける  Optional#orElseThrow の中で throw すると開発環 境だと問題ないが検証環境だとビルドがこける  Eclipse で、ちょっと複雑な Lambda 式でコンパ イルエラーになったりする  etc... 97
  98. 98. まとめ 98
  99. 99. Java8 化にあたって  フレームワークやライブラリーが古い状態だと 同時多発的に問題が起こる  技術的負債が表面化し、いつの間にかそれとの 戦いが中心となっていた  Java8 化する前にすることはいっぱいあった 99
  100. 100. Java8 にする前に  各種フレームワークは最新版に  組み込みAPサーバー化する  Jasper Report とお別れする  Eclipse プラグインに依存しない 100
  101. 101. Java8 化等いろいろしての実感  Lambda 使えるようになって、コード量が減り、 可読性が上がった  Stream でうまい感じで処理を書くことができる と気持ち良い  Lombok が便利 • @Data, @Value, @Builder, @Slf4j, …  XMLファイルをいじることがなくなった 101
  102. 102. Java8 化により得られたこと  これからの動きに追従できる • Spring 5 は Java 8+ • DBFlute 1.1 など、Java8 に対応・最適化されたライブ ラリ・フレームワークが出てきている • Lambda の出現により書き方の最適解が変わった • Java 9 が見え始めている 102
  103. 103. これからやっていくこと  JSP はやめたい • 少なくとも混在状況がよくない • 撲滅運動進行中  DWR をやめたい  Struts2 もおさらばしたい • 新アーキテクチャーへの移行計画 103
  104. 104. これからやっていくこと  JSP はやめたい • 少なくとも混在状況がよくない • 撲滅運動進行中  DWR をやめたい  Struts2 もおさらばしたい • 新アーキテクチャーへの移行計画 104 まだまだ道半ば
  105. 105. お知らせ ビズリーチでは Java でサービス開発したい方 大募集! 105
  106. 106. お知らせ  弊社オフィスのイベントスペースを使用して 様々な勉強会を行っております  会場提供も可能です 106
  107. 107. 107 We are hiring!

×