Downloaded 33 times
![Dynamic Attach
ツールからの要求に応じてHotSpotが情報収集
各ツールとHotSpotの連係プレー
ツール側
○ sun.tools.attach.HotSpotVirtualMachineの
提供するメソッドを実行
○ 専用のコマンドと引数をターゲットVMへ送信
HotSpot側
○ Attach Listenerが指定された処理を実行し、結果を
ツールへ返却
"Attach Listener" daemon prio=10 tid=0x00007f92dc001000 nid=0x261e runnable [0x0000000000000000]
java.lang.Thread.State: RUNNABLE](https://image.slidesharecdn.com/jjugccc-130511033012-phpapp01/85/Serviceability-Tools-6-320.jpg)
![Javaプログラム ※抜粋
import java.io.*;
import java.nio.file.*;
import com.sun.tools.attach.*;
import sun.tools.attach.*;
：
Path selfProc = FileSystems.getDefault().getPath("/proc/self");
String pidString = Files.readSymbolicLink(selfProc).toString();
HotSpotVirtualMachine selfVM =
HotSpotVirtualMachine)VirtualMachine.attach(pidString);
try(InputStream in = selfVM.heapHisto("-all")){
byte[] buf = new byte[1024];
int n;
while((n = in.read(buf)) > 0){
System.out.print(new String(buf, 0, n, "UTF-8"));
}
}
finally{
selfVM.detach();
}
：
PID取得
アタッチ
AttachListenerへ
コマンド送信
結果読み込み
＆
出力
デタッチ](https://image.slidesharecdn.com/jjugccc-130511033012-phpapp01/85/Serviceability-Tools-11-320.jpg)
![[SC03] Active Directory の DR 対策～天災/人災/サイバー攻撃、その時あなたの IT 基盤は利用継続できますか?](https://cdn.slidesharecdn.com/ss_thumbnails/sc03-170614044149-thumbnail.jpg?width=640&height=640&fit=bounds)
Serviceability Toolsの裏側
- 1.
- 2. 自己紹介 末永 恭正@YaSuenag 某通信キャリアでJavaの障害解析して ますした hs_errorログやコアの解析 などなど ネイティブ寄りなJavaプログラマ 基本サンデープログラマー PascalとかCとかJavaとか… すえなが やすまさ
- 3. Serviceability Tools ? Serviceability in the J2SE Repository http://openjdk.java.net/groups/serviceability/svcjdk.html jconsole jdb jhat jinfo jmap jps jcontrol jsadebugd jstack jstat jstatd
- 4.
- 5.
- 6. Dynamic Attach ツールからの要求に応じてHotSpotが情報収集 各ツールとHotSpotの連係プレー ツール側 ○ sun.tools.attach.HotSpotVirtualMachineの 提供するメソッドを実行 ○ 専用のコマンドと引数をターゲットVMへ送信 HotSpot側 ○ Attach Listenerが指定された処理を実行し、結果を ツールへ返却 "Attach Listener" daemon prio=10 tid=0x00007f92dc001000 nid=0x261e runnable [0x0000000000000000] java.lang.Thread.State: RUNNABLE
- 7.
- 8. AttachListenerのコマンド フォーマット <ver>0<cmd>0<arg>0<arg>0<arg>0 AttachListenerに与える命令 ヌル文字（0）がデリミタ 項目 ver ○ プロトコルバージョン（’1’固定） cmd ○ コマンド arg ○ コマンド引数（最大3つまで）
- 9. AttachListenerのコマンド コマンド 機能 利用ツール agentPropertiesエージェント用システムプロパ ティの取得 • jdb • jconsole • JMXエージェント datadump SIGQUIT送出（と等価） なし dumpheap ヒープダンプ生成 jmap load JVMTIエージェントのロード jconsole properties システムプロパティの取得 • jconsole • jinfo threaddump スレッドダンプの取得 jstack inspectheap クラスヒストグラムの取得 jmap setflag 非推奨オプション(-XX)の設定 jinfo printflag 非推奨オプション(-XX)の取得 jinfo jcmd jcmdの実行 jcmd enabledprobes DTraceプローブを有効にする ※Solarisのみ なし
- 10. 超簡単！AttachListener利用 Javaプログラム中の特定のポイント通過時の クラスヒストグラムを取ってみる Javaプログラムから、自分自身のVMにアタッチ HotSpotVirtualMachine#heapHisto()を呼 び出す ○ AttachListener的にはinspectheapコマンドを実行 する LinuxのJava7以降で動くものを作ります
- 11. Javaプログラム ※抜粋 import java.io.*; importjava.nio.file.*; import com.sun.tools.attach.*; import sun.tools.attach.*; ： Path selfProc = FileSystems.getDefault().getPath("/proc/self"); String pidString = Files.readSymbolicLink(selfProc).toString(); HotSpotVirtualMachine selfVM = HotSpotVirtualMachine)VirtualMachine.attach(pidString); try(InputStream in = selfVM.heapHisto("-all")){ byte[] buf = new byte[1024]; int n; while((n = in.read(buf)) > 0){ System.out.print(new String(buf, 0, n, "UTF-8")); } } finally{ selfVM.detach(); } ： PID取得 アタッチ AttachListenerへ コマンド送信 結果読み込み ＆ 出力 デタッチ
- 12. ビルド＆実行 $ javac -cp$JAVA_HOME/lib/tools.jar AttachListenerTest.java $ java -cp $JAVA_HOME/lib/tools.jar:. AttachListenerTest num #instances #bytes class name ---------------------------------------------- 1: 13228 1462888 [C 2: 7477 1136592 <constMethodKlass> 3: 7477 1022984 <methodKlass> 4: 562 701568 <constantPoolKlass> 5: 2093 536728 [B 6: 562 396376 <instanceKlassKlass> 7: 502 395520 <constantPoolCacheKlass> 8: 579 265768 [I 9: 6120 146880 java.lang.String 10: 631 76696 java.lang.Class 11: 1003 65664 [S 12: 882 55808 [Ljava.lang.Object; 13: 2278 54672 java.lang.StringBuilder 14: 900 52952 [[I 15: 52 29536 <objArrayKlassKlass> ： ソケットバッファ 溢れに注意！
- 13.
- 14. jvmstat Performance Counters 通称”PerfCounter” HotSpotの統計情報を集めたファイル /tmp/hsperfdata_<ユーザー名>/<PID> 各種データは、このファイルにマップされた 仮想メモリ空間に直接保存 GC回数／時間 ライブスレッド数 etc… 各種ツールはこのファイルを直接参照して JVMの動作状況を収集する
- 15. 具体的に見てみる jcmdのPerfCounter.print $ jcmd2065 PerfCounter.print 2065: java.ci.totalTime=0 java.cls.loadedClasses=379 java.cls.sharedLoadedClasses=0 java.cls.sharedUnloadedClasses=0 java.cls.unloadedClasses=0 ： sun.rt.safepointSyncTime=22 sun.rt.safepointTime=80 sun.rt.safepoints=1 sun.rt.threadInterruptSignaled=0 sun.rt.vmInitDoneTime=1365171171705 sun.threads.vmOperationTime=29 sun.urlClassLoader.readClassBytesTime=165372 sun.zip.zipFile.openTime=1010449 sun.zip.zipFiles=2 Javaレイヤから出してるPerfCounter 6878481: Add performance counters in the JDK
- 16. トラップ！その１ tmpwatch /tmpや/var/tmpを定期的にお掃除するツール ○Red Hat系ディストロではおなじみ /tmp/hsperfdata_<ユーザー名>も消しやがる！ ○ psではプロセスが見えるのにJDK付属ツールでアタッ チできない場合に疑うべきポイント ○ RHBZ#527425 - /tmp/hsperfdata_${user}/${PID} is deleted by tmpwatch やっぱり同じことで困ってる人がいました Fedoraならtmpwatch-2.9.16-1.fc13からOKだそうです
- 17. トラップ！その２ java.io.tmpdir 6u23、6u24のみ該当 ○6938627: Make temporary directory use property java.io.tmpdir when specified ○ 7009828: Fix for 6938627 breaks visualvm monitoring when -Djava.io.tmpdir is defined 6938627が入ったことで、各種ツールが動かなく なってしまう人が続出 ○ 実はDynamic Attachも影響を受けます HotSpot混迷の時代
- 18. 超簡単！カスタム情報収集ツー ル PerfCounterから自分が欲しい情報を好きな フォーマットで出力します 出力する情報 ライブスレッド数 モニタ競合回数 VM総停止時間 アプリケーション固有の統計情報 ○ プログラムからPerfCounterにエントリを作ります
- 19. Javaプログラム ※抜粋 PerfCounter生成メソッド sun.misc.PerfCounter#newPerfCounterを 呼び出す Package privateなのでリフレクションで呼び出し private PerfCounter newPerfCounter(String name) throws Exception{ Method method = PerfCounter.class.getDeclaredMethod( "newPerfCounter", String.class); method.setAccessible(true); PerfCounter result = (PerfCounter)method.invoke(null, name); return result; }
- 20. Javaプログラム ※抜粋 呼び出し エントリ名はとりあえず以下のようにしてみる ○ perfCounter.test.<スレッド名>.invocations String entryName = “perfCounter.test.” + Thread.currentThread().getName() + ".invocations"; try{ this.perfCounter = this.newPerfCounter(entryName);
- 21. jstat_options jstatが使用する定義ファイル PerfCounterから収集する項目と出力方法を 定義したもの 割合みたいな単純計算まで定義できます $JAVA_HOME/lib/tools.jarに含まれてます $HOME/.jvmstat/jstat_optionsでオーバーライド 可能
- 22. カスタム版jstat_options option custom{ column { header"^Threads^" data java.threads.live scale raw align right width 4 format "0" } column { header "^MonitorContention^" data sun.rt._sync_Parks scale raw align right width 4 format "0" } column { header "^STW^" data (sun.rt.safepointTime/sun.os.hrt.frequency) scale raw align right width 6 format "0.000" } column { header "^ThreadA^" data perfCounter.test.ThreadA.invocations scale raw align right width 3 format "0" } column { header "^ThreadB^" data perfCounter.test.ThreadB.invocations scale raw align right width 3 format "0" } column { header "^ThreadC^" data perfCounter.test.ThreadC.invocations scale raw align right width 3 format "0" } }
- 23. 実行結果 $ jstat -custom1806 Threads MonitorContention STW ThreadA ThreadB ThreadC 7 21 0.117 7 6 5 インターバル設定しても 変化がみられません 8011934 : sun.misc.PerfCounter calls Perf.createLong with incorrect parameters
- 24.
- 25. Serviceability Agent 通称”SA” 機能 強制的なプロセスアタッチ ○ Linuxではptrace(2)を使用 ○ jinfoやjmap等の”-F”オプションで発動 ○ jstackでは”-m”オプションでも発動 コア解析 ○ LinuxではコアイメージからJavaレイヤの情報（ス レッドダンプやヒープダンプ）などを取得可能 ○ ELFバイナリをdebuginfoまで含め、自力でパース してしまう！
- 26. SAの情報ソース ① シンボルテーブル 各バイナリを解析して、仮想メモリ空間のどこに、 何が入っているのかを特定 ②VMStructs JVM中で使用する情報を保持する仮想メモリアド レスや各種オフセット位置をまとめた構造体配列 JavaオブジェクトのC++表現（oop）のパースな ど、様々な用途で使用
- 27. VMStructsの中身 マクロで定義されてます hotspot/src/share/vm/runtime/vmStructs.cpp ： nonstatic_field(CollectedHeap,_reserved, MemRegion) nonstatic_field(SharedHeap, _perm_gen, PermGen*) nonstatic_field(CollectedHeap, _barrier_set, BarrierSet*) nonstatic_field(CollectedHeap, _defer_initial_card_mark, bool) nonstatic_field(CollectedHeap, _is_gc_active, bool) nonstatic_field(CompactibleSpace, _compaction_top, HeapWord*) nonstatic_field(CompactibleSpace, _first_dead, HeapWord*) nonstatic_field(CompactibleSpace, _end_of_live, HeapWord*) ：
- 28. トラップ！その１ Linux x86_64環境で動かないことがあります 7003789: PTRACE_GETREGS problems with SA on Linux. ○ JDK6u25、JDK7以降ならFix済み $ /usr/local/jdk1.6.0_14/bin/jstack -F 8675 Attaching to process ID 8675, please wait... Debugger attached successfully. Server compiler detected. JVM version is 14.0-b16 Deadlock Detection: No deadlocks found. Thread 8693: (state = BLOCKED) Error occurred during stack walking: sun.jvm.hotspot.debugger.DebuggerException: sun.jvm.hotspot.debugger.DebuggerException: get_thread_regs failed for a lwp
- 29. トラップ！その２ Linux環境でコアイメージを読み込めないこと があります 7133122:SA throws sun.jvm.hotspot.debugger.UnmappedAddressExce ption when it should not ○ 全JDKに影響 ○ 2012/01にパッチを出したものの、なかなか入れても らえない… $ /usr/local/jdk1.6.0/bin/jstack /usr/local/jdk1.6.0/bin/java core.1249 Attaching to core core.1249 from executable /usr/local/jdk1.6.0/bin/java, please wait... Error attaching to core file: Can't attach to the core file
- 30. じゃあ、直してみる OpenJDK パッチ当て3分クッキング 1.OpenJDKのソースを落としてきます 2. パッチを当てます 3. ビルドします 4. libsaproc.soを、使いたいJDKにコピーします これだけ！
- 31. １．OpenJDKのソース入手 mercurial (hg)を使います $ hg clone http://hg.openjdk.java.net/jdk8/jdk8 複製先ディレクトリ: jdk8 全リビジョンを取得中 リビジョンを追加中 マニフェストを追加中 ファイルの変更を追加中 666 個のリビジョン(871 の変更を 114 ファイルに適用)を追加 ブランチ default へ更新中 ファイルの更新数 97、 マージ数 0、 削除数 0、 衝突未解消数 0 $ cd jdk8/ $ sh get_source.sh # Repositories: corba jaxp jaxws langtools jdk hotspot nashorn ： リポジトリのclone forest構成リポジトリの取得
- 32. ２．パッチ当て パッチを入手します CR#7133122のCommentsからコピペ serviceability-devの投稿メールから取得 ○ http://mail.openjdk.java.net/pipermail/serviceability-dev/2012-January/005174.html JDK8のhotspotでpatchします $ patch -p1 < address_mapping.patch patching file agent/src/os/linux/ps_core.c patch unexpectedly ends in middle of line Hunk #2 succeeded at 711 with fuzz 1 (offset -1 lines).
- 33. ３．ビルド 最近のOpenJDKはconfigure→make 依存関係は適宜解決してください… $chmod a+x configure $ ./configure MILESTONE=TypeS Running generated-configure.sh ： * Memory limit: 2000 MB * ccache status: installed and in use $ make ： configureに実行権限が ついていません MILESTONEで好きな文字列を バージョンに入れられます
- 34. ４．libsaprocの移植 SAのキモです 関数インターフェースがそんなに変わらない （と思う）のでJDK6/7へ持って行っても大丈 夫（なはず） libsaproc.soをコンパイルしたものに入れ替え $JAVA_HOME/jre/lib/<CPU>にあります <CPU>には”amd64”や”i386”などが入ります
- 35. コアを食べさせてみる JDK6 GAで試してみました $/usr/local/jdk1.6.0/bin/jstack /usr/local/jdk1.6.0/bin/java core.1249 Attaching to core core.1249 from executable /usr/local/jdk1.6.0/bin/java, please wait... Debugger attached successfully. Server compiler detected. JVM version is 1.6.0-b105 Deadlock Detection: No deadlocks found. Thread 1254: (state = BLOCKED) Thread 1253: (state = BLOCKED) - java.lang.Object.wait(long) @bci=0 (Interpreted frame) - java.lang.ref.ReferenceQueue.remove(long) @bci=44, line=116 (Interpreted frame) - java.lang.ref.ReferenceQueue.remove() @bci=2, line=132 (Interpreted frame) - java.lang.ref.Finalizer$FinalizerThread.run() @bci=3, line=159 (Interpreted frame) : 動いた！
- 36.
- 37. jcmd Dynamic AttachとPerfCounterの両面を併せ 持つツール コマンド実装はJVM側だけでOK！ 機能追加／改造がラクチン！
- 38. じゃあ、改造してみる OpenJDK jcmd改造3分クッキング とりあえず、コンパイル済みコードの一覧を出し てみます ○ CodeCacheの内容をダンプしてみます ○ CodeCache.printというコマンドにしてみます 1. OpenJDKのソースを落としてきます 2. jcmdの実装部を追加します 3. ビルドします これだけ！
- 39.
- 40. ２．改造 下ごしらえ CodeCache::print_internalがstdout以外の ストリームに出力できるようにします ○hotspot/src/share/vm/code/codeCache.cpp ○ hotspot/src/share/vm/code/codeCache.hpp static void print_internals(outputStream *tty = tty); 出力先ストリーム追加 void CodeCache::print_internals(outputStream *tty) {
- 41. ２．改造 DiagnosticCommand用クラスの定義 hotspot/src/share/vm/services/diagnosticCommand.hpp #ifndefPRODUCT class PrintCodeCacheDCmd : public DCmd { public: PrintCodeCacheDCmd(outputStream* output, bool heap) : DCmd(output,heap) { } static const char* name() { return "CodeCache.print"; } static const char* description() { return "Print compiled methods in CodeCache."; } static const char* impact() { return “???"; } static int num_arguments() { return 0; } virtual void execute(TRAPS); }; #endif どうしよ…？
- 42. “Impact”とは？ 各コマンドのhelpで表示される部分 JEP137: Diagnostic-Command Framework 定義がものすごく曖昧 ○ JVMへの影響度合いをLow / Medium / Highで分類 ○ 膨大なスレッドダンプやヒープダンプは深刻、バー ジョン番号等の取得は大した影響なしと定義 http://openjdk.java.net/jeps/137 $ jcmd 1563 help VM.flags ： Impact: Low: ：
- 43. 各コマンドとインパクト コマンド 内容 インパクト helpコマンドのヘルプ表示 Low VM.version JVMバージョンの表示 Low VM.command_line コマンドライン引数の表示 Low VM.system_properties システムプロパティの表示 Low VM.flags 非推奨（-XX）オプションの表示 Low VM.uptime JVM起動時間の表示 Low GC.run_finalization ファイナライザの実行 Medium GC.run GCの実行 Medium GC.heap_dump ヒープダンプの生成 High GC.class_histogram クラスヒストグラムの表示 High GC.class_stats クラス統計情報の表示 High Thread.print スレッドダンプの表示 Medium ManagementAgent.start JMXエージェントの起動 No impact ManagementAgent.start_local JMXエージェントの起動（ローカル限定） No impact ManagementAgent.stop JMXエージェントの停止 No impact safepoint “Depends on Java content.”
- 44. safepoint いわゆるSTW アプリケーションスレッド全停止 正式な定義はコチラ ○ http://openjdk.java.net/groups/hotspot/docs/HotSpotGlossary.html#safepoint jcmdでは、STWを伴うコマンドは最低でも Medium以上に定義されている模様 Dynamic Attachでは以下がsafepointで動作 jstack jmap
- 45.
- 46. ２．改造 CodeCacheの全走査になるので、とりあえず Mediumに設定 #ifndef PRODUCT classPrintCodeCacheDCmd : public DCmd { public: PrintCodeCacheDCmd(outputStream* output, bool heap) : DCmd(output,heap) { } static const char* name() { return "CodeCache.print"; } static const char* description() { return "Print compiled methods in CodeCache."; } static const char* impact() { return “Medium"; } static int num_arguments() { return 0; } virtual void execute(TRAPS); }; #endif
- 47. ２．改造 PrintCodeCacheDCmdの登録 voidDCmdRegistrant::register_dcmds() に初期化コードを追加 hotspot/src/share/vm/services/diagnosticCommand.cpp #ifndef PRODUCT DCmdFactory::register_DCmdFactory( new DCmdFactoryImpl<PrintCodeCacheDCmd>(true, false)); #endif
- 48. ２．改造 コマンド実行関数の実装 hotspot/src/share/vm/services/diagnosticCommand.cpp #ifndefPRODUCT void PrintCodeCacheDCmd::execute(TRAPS) { MutexLockerEx mu(CodeCache_lock, Mutex::_no_safepoint_check_flag); CodeCache::print_internals(output()); } #endif ロック忘れずに！
- 49.
- 50. 実行結果 Tomcat7にjcmd CATALINA_OPTSに-XX:+Verboseを付加 $./build/linux-x86_64-normal-server-fastdebug/jdk/bin/jcmd 31376 org.apache.catalina.startup.Bootstrap start 31390 sun.tools.jcmd.JCmd $ ./build/linux-x86_64-normal-server-fastdebug/jdk/bin/jcmd 31376 CodeCache.print 31376: java.util.zip.InflaterInputStream.ensureOpen()V alive java.lang.Integer.rotateLeft(II)I alive java.util.zip.ZStreamRef.address()J alive java.lang.String.charAt(I)C alive java.lang.String.indexOf(II)I alive sun.misc.Hashing.murmur3_32(I[CII)I alive java.lang.Object.<init>()V alive sun.nio.cs.UTF_8$Encoder.encode([CII[B)I alive java.lang.String.equals(Ljava/lang/Object;)Z alive java.lang.System.arraycopy(Ljava/lang/Object;ILjava/lang/Object;II)V alive java.lang.String.lastIndexOf(II)I alive :
- 51.
- 52.
- 53. HeapStats 障害解析に必要な情報を根こそぎ収集！ GC動作状況、直後のクラスヒストグラム OSリソース（CPU／メモリ） SPECjvm2008でのオーバーヘッドは5%以下 OOMEやデッドロックをリアルタイム検知 SNMPトラップも送出します 解析はGUIツールでラクチン！ OS・Javaの情報を横並びで比較可能 Serviceability Toolsのエッセンスも実装！
- 54.
- 55. HeapStats Community HeapStats@ IcedTea http://icedtea.classpath.org/wiki/HeapStats ML heapstats@icedtea.classpath.org http://icedtea.classpath.org/mailman/listinfo/heapstats