Download as PDF, PPTX
Uploaded byKoichi Sakata
クリスマスを支える俺たちとJava(JJUG CCC 2015 Spring AB4)
2015/04/11に開催されたJJUG CCC 2015 SpringのタイムテーブルAB4にて発表した「クリスマスを支える俺たちとJava」の資料です。 --- AB-4 クリスマスを支える俺たちとJava 阪田 浩一 （フリュー株式会社/関西Javaエンジニアの会） プリントシール機が、話題になった10年以上前のころと変わらず若い女性に利用されていることをご存知でしょうか？ 私が所属するフリュー株式会社は、プリントシール機（プリ機）を出している会社です。そしてWebにてプリ機と連動して画像を取得するサービスを提供しています。実はこのサービス、会員数が1000万人を超えており、女性で特定の年齢層であれば90%以上の方が会員となっています。 JavaとRDBMS、分散ファイルシステムMogileFSにて構築したこの少し古いWebアプリケーションは、当初ここまでの規模になるとは想定していませんでした。 スーパーエンジニアがいない普通のエンジニアチームが、この数年間で増加する会員数とともにぶち当たった問題とその解決策についてご紹介します。
More Related Content
![[Microsoft Tech Summit] Linux/Java にも対応! Azure Service Fabric を使ったマイクロサービス開発](https://cdn.slidesharecdn.com/ss_thumbnails/20161101techsummitservicefabric-161104062136-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to クリスマスを支える俺たちとJava(JJUG CCC 2015 Spring AB4)
クリスマスを支える俺たちとJava(JJUG CCC 2015 Spring AB4)
- 1. クリスマスを支える 俺たちとJava 阪田 浩一 フリュー株式会社 関西Javaエンジニアの会 1
- 2. 2 2 @jyukutyo 著書 3冊 関西Javaエンジニアの会 (関ジャバ) 中の人・発起人 blog：Fightthe Future http://jyukutyo.hatenablog.com/ フリュー株式会社 所属 エンジニア歴12年 36歳 SI業界での客先常駐 9年 Web系? 3年 文学部哲学科卒 塾講師アルバイト 阪田 浩一
- 3.
- 4. 要約 4 いろんな 技術的課題、 プロセスの課題、 チームの課題に
- 5.
- 6. 6 扱えないこと： 大規模サービスを 運用する ベストな方法
- 7. 目次 7 • 対象となるアプリケーションについて •わき上がる課題とその対処 • RDBMS編 • JVM編 • サーバ編 • まとめ
- 8.
- 9. 9 僕たちのアプリケーションは クリスマスの負荷に 耐えられずにいた Photoby Yuichi Sakuraba https://flic.kr/p/9JYRSQ
- 10. 10 そう、クリスマスは 1年で最もアクセスが ある日 Photoby Yuichi Sakuraba https://flic.kr/p/9JYRSQ
- 11. 11 恋人たちがみんな 撮影をする日だからだ Photo byYuichi Sakuraba https://flic.kr/p/9JYRSQ
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19. 19 アプリを除く Webシステム部分 （サイト、API、DB、 ファイルサーバなど） について話します
- 20. 20 会員数1000万人： 10代から20代の女性 （女子高生は クラスほぼ全員が会員）
- 21. サービスの概要 21 サービス名 ピクトリンク 会員数 1000万人 （有料会員数は秘密…） 主な機能 プリントシール機で 撮影した画像を 取得できる 提供 Webサイト iOSアプリ Androidアプリ 課金 携帯電話キャリア課金 （月額制） PV 数百万PV/日
- 22.
- 23.
- 24.
- 25. 25 現システムは 4年前に構築 （前身サービスは 2003年に開始）
- 26. 私の立ち位置 26 私は3年前にJoinし、 今サイト開発のリーダ という立場です （つまりリリース後参画）
- 27. 開発チーム 27 アプリ開発 （ネイティブ/API） 7名 サイト開発 7名 インフラ （サーバ/NW/DBA） 開発部門全体2名 チーム内2名 ログ分析 2名 HTML/CSS 2名
- 28. 28 リリース後1,2年は クリスマスに サービスが瀕死 Photoby Yuichi Sakuraba https://flic.kr/p/9JYRSQ
- 29.
- 30.
- 31. 31 平日は数百万PV/日 だが クリスマスはその4倍 Photoby Yuichi Sakuraba https://flic.kr/p/9JYRSQ
- 32. 32 夕食の時間「前後」に とくに集中する （ピークタイムが 数時間単位となる） Photo by Yuichi Sakuraba https://flic.kr/p/9JYRSQ
- 33.
- 34. 34 プリントシール機で 撮影した画像（プリ画像） を保存する処理なので 軽い処理ではない
- 35.
- 36.
- 37.
- 38.
- 39. MogileFSとは 39 tracker： 管理サーバ。 クライアントとやり 取りする。 storage： ファイル保存 サーバ。 同一ファイルを 複数台で保持。 ファイルにはHTTP でアクセスできる。 metadata： RDBMS。 ファイル情報や 全体の設定を 保存する。
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52. アーキテクチャ 52 Javaフレームワーク Seasarファミリー （Cubby/S2Dao etc） ファイルシステム （画像ファイル保存） MogileFS RDBMS Oracle 11g（メイン） MySQL 5.6 Webサーバ/ サーブレットコンテナ Apache/ Tomcat Javaバージョン 6 -> 8
- 53. 53 • 近い将来メモリが不足する予 測ができた •IO性能が悪かった • レコード件数が多い • （テーブル設計もベストではな いが）
- 54. 54 クエリやインデックスを 変更してコストを削減、 でどうにかなる レベルではなかった
- 55.
- 56. 56 変更前 Oracle Database 11g Standard Edition 1台 変更後 Oracle Database 11g Real Application Clusters(RAC) 複数台
- 57.
- 58. 58 Copyright© 2011, Oracle.All rights reserved. 5.7 Oracle Instance Oracle Instance Oracle Instance Active-Activeの構成をとることが可能 RACは、ノード追加によるスケールアウトで性能向上 process process process process process process 「実践！高可用性システム構築 〜～RAC基本編〜～」より引用
- 59.
- 60.
- 61.
- 62.
- 63.
- 64.
- 65.
- 66. 66 DBAが来るまで、 DBサーバのOS、 Oracleとも 適切にパラメータが 設定されていなかった
- 67.
- 68.
- 69.
- 70.
- 71.
- 72.
- 73.
- 74. 74 ログに出したSQL文を SQLDeveloperで 実行してもすぐ終わる。 実行計画でも インデックスを使っている
- 75. 詳細： 75 しかし実環境では DATE型カラムへの インデックスが 使われていない。
- 76.
- 77.
- 78. 詳細： 78 SELECT SA.SQL_ID, NAME, WAS_CAPTURED, BC.LAST_CAPTURED, VALUE_STRING, anydata.accesstimestamp(value_anydata), datatype_string, sql_text FROM GV$SQL_BIND_CAPTUREBC, GV$SQLAREA SA WHERE BC.HASH_VALUE = SA.HASH_VALUE AND SA.SQL_ID = 'hoge' ORDER BY LAST_CAPTURED DESC;
- 79.
- 80.
- 81. 81 Javaアプリケーションでの型 java.util.Date 永続化ライブラリでの型 java.sql.Timestamp JDBCでセットする時の型java.sql.Types.Timestamp Oracleでの型 TIMESTAMP
- 82.
- 83. 結論： 83 Types.Timestampとすることで 時間情報も保持していた が、そのために OracleでTIMESTAMPとなり インデックスが使われなかった
- 84.
- 85. 対応： 85 if (ps instanceofOraclePreparedStatement){ OraclePreparedStatement ops = (OraclePreparedStatement) ps; // Oracle JDBCドライバ独自のメソッド、引数の型を利用する ops.setDATE(index, new oracle.sql.DATE(new java.sql.Timestamp(toDate(value).getTime()))); } else { ps.setDate(index, toSqlDate(value)); }
- 86.
- 87.
- 88.
- 89. 結果： 89 教訓：実行計画を SQLクライアントで 見るだけでなく 実環境の実行コストも 見よう
- 90.
- 91.
- 92.
- 93. 93 SELECT VALUE FROM NLS_DATABASE_PARAMETERS WHEREPARAMETER=‘NLS_CHARACTERSET'; ! -> JA16SJISTILDE
- 94.
- 95.
- 96. 96 JDBCでNVARCHAR2列 に絵文字を入れる場合、 JVMパラメータに 「-Doracle.jdbc.defaultNChar=true」 を追加する必要がある http://otndnld.oracle.co.jp/document/products/oracle10g/102/doc_cd/java.102/B19275-03/global.htm
- 97. 97 先にJVMパラメータだけ つけてアプリケーション 起動しておくか （ステージングでは 問題なし）
- 98. 98 そう、あのときの 俺たちには 何の疑念も なかったんだ…
- 99. 結果： 99 再起動した瞬間に 全ユーザが ログインできなくなる （正確にはものすごく遅い）
- 100.
- 101.
- 102. 詳細： 102 とあるテーブルのカラムhogeが VARCHAR2型のとき、 defaultNChar=trueがあると… PreparedStetemetの SQL where hoge = ? Oracleで実行される SQL where hoge = SYS_OP_C2C(:1)
- 103.
- 104.
- 105. 結果： 105 教訓：実行計画を SQLクライアントで 見るだけでなく 実環境の実行コストも 見よう
- 106.
- 107.
- 108. 108 ある日、 JVMオプションがほとんど 設定されていないことに気づく （XmxとPermGenくらい）
- 109.
- 110.
- 111.
- 112.
- 113. 結果： 113 確保しているヒープ： 最大3.2GB フルGC時間： 最大0.9秒/回
- 114. 114 こんなにヒープ領域 使うほどのシステムでは ないような… これかなりSTWしてるよね
- 115. 115 対応：GCアルゴリズムを CMSにしよう！ ※CMS = Concurrent Mark & Sweep ! -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSClassUnloadingEnabled
- 116. 詳細： 116 GCアルゴリズムの変更前後 変更前 Parallel GC【デフォルトGC】 （マイナーGCのみをパラレルで） 変更後 CMS GC【J2SE1.4から】 ご存じない方は、ぜひsugarlife's blogさんの ブログエントリ「CMS GC おさらい」を！ http://cco.hatenablog.jp/entry/2014/12/01/162240
- 117. 結果： 117 確保した 最大ヒープ領域 STW時間 変更前 3.2GB最大 0.9秒/平均0.5秒 変更後 1.2GB 最大0.23秒/平均0.2秒 0 1 2 3 4 変更前 変更後 1.2 3.2 0 0.225 0.45 0.675 0.9 変更前 変更後 0.23 0.9
- 118.
- 119.
- 120.
- 121.
- 122. 結果： 122 教訓：JVMは デフォルトでも かなりいける （人類の叡智）
- 123. 結果： 123 教訓：ただし、 測定はしておき、 増加傾向が出たら 対処していく （最初から考えすぎない）
- 124. 124 ある日、 アクセスの少ない夜中に OutOfMemoryError が発生し、 再起動する
- 125.
- 126.
- 127.
- 128. 128 Eclipse Memory Analyzer（mat） を使う https://eclipse.org/mat/
- 129. インストール方法 129 • Eclipseプラグインとして Update Managerからインストール • スタンドアローン版をダウンロード
- 130.
- 131.
- 132.
- 133.
- 134.
- 135.
- 136.
- 137.
- 138.
- 139.
- 140.
- 141.
- 142. 結果： 142 教訓： 「-XX:+HeapDumpOnOutOfMemoryError」 ほんとに役立つ！ （これまで本番で OOME出たことなかった）
- 143. 143 ある日、Java SE 8が リリースされる
- 144.
- 145.
- 146.
- 147.
- 148.
- 149. 149 Caused by: java.lang.ArrayIndexOutOfBoundsException: 31038 at org.objectweb.asm.ClassReader.<init>(Unknown Source) at org.objectweb.asm.ClassReader.<init>(Unknown Source) at org.objectweb.asm.ClassReader.<init>(Unknown Source) at org.objectweb.asm.ClassReader.<init>(Unknown Source) at jp.co.dgic.testing.common.AsmClassModifier.getModifiedClass(AsmClas sModifier.java:49)
- 150.
- 151.
- 152.
- 153.
- 154.
- 155.
- 156. 156 jMockitにした理由： djUnitにある機能が すべてそろっていたから （意味を考えずに 置換できる）
- 157. 157 その他対応： Javassistでエラーが 出たりしたので、 これもバージョンを 上げた
- 158. 結果： 158 教訓： Java SE 8を 導入しよう （せめて実行環境 からでも！）
- 159.
- 160.
- 161.
- 162. 162 全台SSHで tail -f （less +Fも僕してたよ！）
- 163.
- 164. 164 ログ収集： fluentd + Elasticsearch + Kibana で見るのが楽になった
- 165.
- 166.
- 167.
- 168.
- 169.
- 170.
- 171.
- 172.
- 173.
- 174.
- 175. 175 結局、去年は クリスマスに 何も起こりませんでした Photoby Yuichi Sakuraba https://flic.kr/p/9JYRSQ
- 176. 176 今日の教訓のまとめ • お金を払おう • 実行計画をSQLクライアントで見るだけでなく実環境 の実行コストも見よう • JVMはデフォルトでもかなりいける（人類の叡智） • ただし、測定はしておき、増加傾向が出たら対処し ていく（最初から考えすぎない） • Java SE 8を導入しよう（せめて実行環境からでも！） • ログの可視化はエンジニアの責任
- 177.
- 178.
- 179.
- 180.
- 181.