Java in the World of Container by David Buck
•
1 like•2,030 views
2018/11/13,15に東京・大阪で行われたナイトセミナー[Oracle Groundbreakers APAC Tour]でのDavid Buck（日本オラクル）のセッション資料です。Docker Container上でJavaを動作させる際に利用できるテクノロジーの紹介と、実行イメージをどれだけ小さく、高速化できるかを解説しています。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Java in the World of Container by David Buck
Similar to Java in the World of Container by David Buck (20)
More from オラクルエンジニア通信
More from オラクルエンジニア通信 (20)
Java in the World of Container by David Buck
- 1. Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Java in a World of Containers David Buck @DavidBuckJP Principal Member of Technical Staff Java Platform Group, Oracle 1
- 2. • JVM Sustaining Engineer • OpenJDK 8 Update Project Maintainer • JavaOne Rock Star • Co-author of Oracle WebLogic Server 11g 構築・運⽤ガイド • @DavidBuckJP • https://blogs.oracle.com/buc k/ Hi There!
- 3. Agenda 3 Java in a World of Containers Docker イメージの作成 カスタム JRE の作成 イメージサイズの最適化 Java 提供するDocker ⽤の機能
- 4. Java in a World of Containers コンテナの世界での Java 4
- 5. コンテナの世界で期待されるのは • 安全とセキュリティはますます重要に • スプロール • 多数のインスタンス • 異なるアプリケーションの混合 • 異なるアーキテクチャの混合 • 異なるコンテナ構成の混合 5 https://citelighter-cards.s3.amazonaws.com/p17k6i1bqs3okg8gnisklkg1k0_51924.png
- 6. Java in a World of Containers • 管理付きランタイム・⾔語 • ハードや OS に依存せず • JVM によって保証されたセキュリティと安全性 • 信頼性：互換性は設計⽬標 • 可搬性：実⾏環境が変更されても、JVM が安定した運⽤を保つ • 豊富なエコシステム 6 コンテナの利用なら Java の特徴は理想的
- 7. Java in a World of Containers • 管理付きランタイム・⾔語 • ハードや OS に依存せず • JVM によって保証されたセキュリティと安全性 • 信頼性：互換性は設計⽬標 • 可搬性：実⾏環境が変更されても、JVM が安定した運⽤を保つ • 豊富なエコシステム • コミットメント：コンテナの最も適切な選択肢であることの維持 7 コンテナの利用なら Java の特徴は理想的
- 10. Docker <dir>/ Dockerfile openjdk-11+28_linux-x64_bin.tar.gz HelloWorld.class # Your favorite application 10
- 11. Dockerfile 1 FROM oraclelinux:latest 2 ADD openjdk-11+28_linux-x64_bin.tar.gz /opt/jdk 3 WORKDIR /workdir 4 ADD HelloWorld.class . 5 ENV PATH=/opt/jdk/jdk-11/bin:$PATH 6 CMD ["java", "-showversion", "HelloWorld"] 11
- 12. Docker イメージの作成と実⾏ # docker image build -t hello . Sending build context to Docker daemon 187.6MB Step 1/6 : FROM oraclelinux:latest . . . Successfully built df05dbf52403 # docker container run --rm hello openjdk version "11" 2018-09-25 OpenJDK Runtime Environment 18.9 (build 11+28) OpenJDK 64-Bit Server VM 18.9 (build 11+28, mixed mode) Hello, world! 12
- 13. カスタム JRE の作成 13
- 14. カスタム JRE とモジュール • デフォルトのJDK を含む Docker イメージは⼤きい • 約 600MB • 229MB OS のベースイメージ • 343MB の JDK • 必要なもの • java.{lang,util,…}.*, javax.management.*, … • 必要ではないもの • java.xml, corba, javaws, … 14
- 15. カスタム JRE とモジュール • デフォルトのJDK を含む Docker イメージは⼤きい • 約 600MB • 229MB OS のベースイメージ • 343MB の JDK • 必要なもの • java.{lang,util,…}.*, javax.management.*, … • 必要ではないもの • java.xml, corba, javaws, … 15 11 530MB 297MB
- 20. カスタム JRE とモジュール • JDK 9 でモジュールシステムが導⼊ (“Jigsaw”) • JDK ⾃体をモジュール化 • カスタムの JRE を⽣成するツール • アプリが必要とするモジュールや機能だけを含む • 最も⼩さい JRE は java.base のみを含む • 多くのアプリケーションにとって⼗分 20
- 21. Demo: jlink & jdeps 21
- 22. jlink と jdeps の利⽤ • カスタム JRE の作成は簡単: $JAVA_HOME/bin/jlink --output myjre --add-modules java.base • jdeps でアプリが利用するモジュールを特定する $JAVA_HOME/bin/jdeps HelloWorld.class • 重要：アプリケーション自体のモジュール化は不要 22 Custom JRE my.module java.managem ent java.base
- 23. jdeps jdeps でアプリが利⽤するモジュールを特定する # $JAVA_HOME/bin/jdeps lib/tomcat-api.jar tomcat-api.jar -> java.base tomcat-api.jar -> java.instrument tomcat-api.jar -> java.naming ... 23
- 24. Multi-Stage を利⽤し、カスタム JRE の Docker イメージの作成 # Multi-Stage example using jlink to produce small Java runtime FROM oraclelinux:latest AS java-build ADD openjdk-11+28_linux-x64_bin.tar.gz /opt/jdk ENV PATH=/opt/jdk/jdk-11/bin:$PATH WORKDIR /jlink RUN jlink --output my-jre --add-modules java.base FROM oraclelinux:latest WORKDIR /workdir COPY --from=java-build /jlink/my-jre /opt/my-jre ENV PATH /opt/my-jre/bin:$PATH CMD [”java”, “-version”] 24
- 25. イメージサイズの最適化 25
- 26. カスタムの Java ランタイム • デフォルトのJDK を含む Docker イメージ は⼤きい: ~530 MB • 必要なもの • java.{lang,util,…}.*, javax.management.*, … • 必要ではないもの • corba, jaxws, … • JDK 9 でモジュールシステムが導⼊ (“Jigsaw”) • JDK ⾃体をモジュール化 • カスタムの JRE を⽣成するツール • アプリが必要とするモジュールや機能だけを含む 26 Java Docker image Size Size(MB) 0 150 300 450 600 Size (MB) 297 234 oraclelinux:7 JDK
- 27. カスタムの Java ランタイム • デフォルトのJDK を含む Docker イメージ は⼤きい: ~530 MB • 必要なもの • java.{lang,util,…}.*, javax.management.*, … • 必要ではないもの • corba, jaxws, … • JDK 9 でモジュールシステムが導⼊ (“Jigsaw”) • JDK ⾃体をモジュール化 • カスタムの JRE を⽣成するツール • アプリが必要とするモジュールや機能だけを含む 27 Letʼs 最適化!
- 28. JRE サイズの最適化 • java.base のみ • 多くのアプリケーションにとって⼗分 • “netty” • 多くの（過半数？）のアプリにとって⼗ 分なモジュール: • java.base,java.logging,java.management, java.xml,jdk.management,jdk.unsupported • （netty ⾃体は含まれていない） • 更に最適化することが可能 • jlink --compress (25%+ の圧縮) 28 JRE Sizes Size(MB) 0 50 100 150 200 250 300 Full JDK java.base “netty” 60 48 297
- 29. ベースイメージ（ＯＳ）サイズの最適化 • 合計サイズの⼤きいな因⼦ • OS の中⾝は殆ど影響なし • 最低限：Java が実⾏出来る • ”slim” というイメージはユーザス ペースの機能の殆どを除いたもの 29 Docker image sizes (java.base) Size(MB) 0 50 100 150 200 250 300 oraclelinux:7 oraclelinux:7-slim 48 48 117 234 Base Image java.base
- 30. Alpine Linux と musl libc ⼩さい。シンプル。安全 Alpine Linux とは、musl libc と busybox ベースのセキュリティを 中⼼した軽量 Linux の ディストリビューション https://www.alpinelinux.org 30 musl とは標準を正しく準拠す ることと安全性を中⼼した早い、 そしてシンプル且つ軽量の libc の実装。 https://www.musl-libc.org
- 31. OpenJDK Project “Portola” • Provides a port of the JDK to Alpine/musl への JDK ポート • Alpine Linux は客端に軽い （4.4MB） • “musl” C ライブラリを利⽤ • 是⾮にご参加下さい! • http://openjdk.java.net/projects/portola • http://hg.openjdk.java.net/portola/portol a • portola-dev@openjdk.java.net • Early access binaries: http://jdk.java.net/12 31 Docker image sizes (java.base) Size(MB) 0 75 150 225 300 oraclelinux:7 oraclelinux:7-slim alpine:3.8 48 48 48 4.4 117 234 Base Image java.base
- 32. OpenJDK Project “Portola” • Provides a port of the JDK to Alpine/musl への JDK ポート • Alpine Linux は客端に軽い （4.4MB） • “musl” C ライブラリを利⽤ • 是⾮にご参加下さい! • http://openjdk.java.net/projects/portola • http://hg.openjdk.java.net/portola/portol a • portola-dev@openjdk.java.net • Early access binaries: http://jdk.java.net/12 • 利⽤したい⽅は? 32 Docker image sizes (java.base) Size(MB) 0 75 150 225 300 oraclelinux:7 oraclelinux:7-slim alpine:3.8 48 48 48 4.4 117 234 Base Image java.base
- 33. OpenJDK Project “Portola” • Provides a port of the JDK to Alpine/musl への JDK ポート • Alpine Linux は客端に軽い （4.4MB） • “musl” C ライブラリを利⽤ • 是⾮にご参加下さい! • http://openjdk.java.net/projects/portola • http://hg.openjdk.java.net/portola/portol a • portola-dev@openjdk.java.net • Early access binaries: http://jdk.java.net/12 • 利⽤したい⽅は? • プロジェクトに貢献したい⽅は? 33 Docker image sizes (java.base) Size(MB) 0 75 150 225 300 oraclelinux:7 oraclelinux:7-slim alpine:3.8 48 48 48 4.4 117 234 Base Image java.base
- 35. One more thing… • 理論的な最低限 • java.base のみの JRE には何が含まれている? 35 Files Size (bytes) lib/modules 23,529,047 lib/server/libjvm.so 21,197,904 <その他のファイル> 1,545,818 合計 46,272,769
- 37. JVM のサイズ ‒ JIT コンパイラ 37
- 38. JVM のサイズ ‒ GC 38
- 39. JVM のサイズ ‒ ⼀番軽い GC: Serial 39
- 40. JVM のサイズ ‒ その他 40
- 41. • 5MB 未満！ • Java SE の仕様を準拠 • しかし: 機能は乏しい • JIT なし • Serial GC のみ • デバッグや保守性などの機能は殆 どなし • 現実的ではないけど、研究な どの⽬的には役に⽴つ “minimal” VM 4 1 Size of JVM variants Size(MB) 0.0 5.0 10.0 15.0 20.0 25.0 server minimal
- 42. • 約２０MB のHelloWorld • Alpine ベースイメージ込み • minimal より⼩さいな JVM も存在する（制限付き） • Oracle Labs の SubstrateVM “minimal” のDocker イメージ 4 2 “minimal” VM + java.base Size(MB) 0.0 10.0 20.0 30.0 40.0 default —compress=2 —strip-debug 10.5 12.9 25.3 4.84.84.8 4.04.04.0 alpine:3.6 libjvm.so JDK
- 43. これは本当に限界？
- 45. Sharing Across Instances • Micro-services とコンテナの利⽤する場合、同じマシン上で数 多くのプロセスを実⾏することが多い • 全く同じアプリを実⾏するインスタンスが多い可能性が⾼い • ネイティブ データは OS のライブラリによって共⽤される • libc, libjvm.so などは OS と Docker によって共⽤される • 前提：同じ layer/file/inode • 例：共⽤された Docker イメージに含まれている JRE やボリュームを 利⽤した明⽰的な共⽤ • docker run –v /shared/java:/jre … (container 1) • docker run –v /shared/java:/jre … (container 2, etc.) • Java のクラスのデータは? 45
- 46. • OS の共⽤ライブラリのようなも ので、Java クラスのデータ⽤ • アーカイブは memory-mapped • ROページが共⽤, RW ページは 共⽤ (copy-on-write) • Mapped されたメモリからクラ スをそのまま読み込む。Jar ファ イルの検索や分析処理の負荷は ない • アーカイヴは複数の Docker コ ンテナによって共⽤される Class Data Sharing (CDS) 4 6
- 47. 47 JDK 12 起動時間 (CDS アーカイブ)
- 48. 48 JDK 12 Application Class Data Sharing 起動時間
- 49. 実験的： Ahead-of-Time Compilation (AOT) • Class Data Sharing のような概念。ただ JIT によって⽣成さ れたコードを共⽤するため。 • 事前にコンパイルされたマシンコードをアーカイブに格納 • 共⽤（メモリ節約）とより速い起動 49
- 50. Java 提供するDocker ⽤の機能 Matthew Gilliardʼs のブログも⾒てください: https://mjg123.github.io/2018/01/10/Java-in-containers-jdk10.html 50
- 51. Docker ⽤の改善 • JDK-8146115: Docker container detection and resource configuration usage (jdk8, jdk10+) • JDK-8186248: More flexible, percentage based heap sizing flags (jdk10+) • JDK-8179498: Namespace aware attach (jdk10+) • JDK-8193710: Docker container aware jcmd (jdk11+) • JDK-8203357: JDK internal Container Metrics API (jdk11+) 51 https://mjg123.github.io/2018/01/10/Java-in-containers-jdk10.html
- 52. Docker/cgroups リソース制限を守る • JVM は⾃動的にシステムのリソースを検出し、設定を⾃動的に 調整する • メモリ, cpu の数, CPU の型番, など • 例：物理メモリの空き領域によってヒープサイズを決める • Docker ではさらにリソースの制限を指定することが可能 • cgroups で実現されている • 非トランスペアレント ‒ アプリ側で対応が必要 • JVM で明⽰的な対応が必要 52 https://mjg123.github.io/2018/01/10/Java-in-containers-jdk10.html
- 53. Docker/cgroups リソース制限を守る: CPU • JDK が Docker CPU 設定を守る • --cpuset-cpus (JDK 9) • --cpus, --cpu-shares, --cpu-quota (JDK 10) • JDK-8146115: Improve docker container detection and resource configuration usage • 影響を及ぼされた振舞： • Runtime.availableProcessors(), ForkJoin プール, VM 内部スレード プール • Libraries/frameworks （例： core.async, ElasticSearch, Netty） 53 https://mjg123.github.io/2018/01/10/Java-in-containers-jdk10.html
- 54. Docker/cgroups リソース制限を守る: Memory • メモリの設定 (JDK 10) • -m<size> • 影響を及ぼされた振舞 • Java ヒープサイズ, GC 領域サイズ, その他の VM の内部構造（例 code cache） • JDK-8186248: Allow more flexibility in selecting Heap % of available RAM • 従来の「⽐率」ベースのオプションの代わりに -XX:InitialRAMPercentage -XX:MaxRAMPercentage -XX:MinRAMPercentage 54 https://mjg123.github.io/2018/01/10/Java-in-containers-jdk10.html
- 55. その他 • JDK-8179498: attach in linux should be relative to /proc/pid/root and namespace aware (JDK 10) • JDK-8193710: jcmd -l and jps commands do not list Java processes running in Docker containers (JDK 11) • 将来の JEP • Draft JEP: JDK-8182070: Container Awareness 55
- 56. まとめ 56
- 57. まとめ • デフォルトのままのイメージは⼤きい • JDK 11: 229MB + 300MB = 529MB • サイズを極点に減らすことが可能 • 適切なベースイメージを利⽤ • oraclelinux:7-slim は 117MB, alpine は 4MB • jlink でカスタム JRE を作成 • “netty” は 60MB, “java.base” は 46MB (jlink ‒compressed=2 の場合：~38MB) • JVM を含む HelloWorld は 38MB 未満のイメージでデプロイ出来る • CDS で複数の JVM や docker コンテナでクラスのデータを共⽤できる 57 Java の Docker イメージの最適化
- 58. Summary • 新機能：cgroup 制限を守るための機能 • CPUs: --cpuset-cpus, --cpus, --cpu-shares, --cpu-quota • Memory: -m<size> • 新機能：“percentage” でヒープサイズを指定する • -XX:{Initial,Min,Max}RAMPercentage • 新機能：サービサビリティツールがコンテナ対応になるに • jps, jcmd, … • これからさらに新しい機能などが出る⾒込み 58 Docker/cgroup/namespace interaction
- 59. 59 Q&A
- 60. Experts in Modern Development• Cloud • Microservices and Containers • Java, JavaScript/Node.js, PHP, Python • DevOps developer.oracle.com/ambassador @groundbreake • Continuous Delivery • Open Source Technologies • SQL/NoSQL Databases • Machine Learning, AI, Chatbots