テスト革命!パフォーマンステストの画期的アプローチ          日本コンピュウェア株式会社         シニアソリューションアーキテクト                    福田慎                 2012年2月16日
アジェンダ1. パフォーマンステストとは?2.より簡単に、より効果的に問題の原因を分析するは?3.より簡単に、より効果的に負荷をかける方法は?4. 最も効果的なパフォーマンステストとは?
パフォーマンステストとは?                3
Web のパフォーマンスは     ビジネスの成果に直結                              ページ読み込み時間                              を 7 秒から 2 秒に             ...
まだまだ大きい「地域格差」5    5    5
なぜパフォーマンス管理は難しくなったのか                                                       複雑化するインターネット環境      複雑化するデータセンター               ...
パフォーマンステストの定義            パフォーマンスを              分析する                                      クラウド                             ...
パフォーマンステストの現状               CPU使用率・     Webサーバ       DB監視    メモリ使用率      アクセス数                                       クラウド ...
パフォーマンステストの課題              CPU使用率・   Webサーバ       DB監視   メモリ使用率 アクセス数                                           クラウド環境の   ...
パフォーマンステストをより効果的にするには               CPU使用率・ Webサーバ       DB監視    メモリ使用率 アクセス数                                クラウド         ...
より簡単に、より効果的に問題の原因を分析するは?               11
負荷テスト時のパフォーマンス分析は難しい・・・      どのトランザクションが、どこで、いつエラーになったのか・・・      どこがボトルネックになっているのか・・・                      Webサーバの     ネット...
パフォーマンス分析の次のトレンドは?                                        Java/.NET                                                     ビジ...
サーバパフォーマンス分析               CPU使用率・ Webサーバ       DB監視    メモリ使用率 アクセス数                                    クラウド              ...
エンドユーザレスポンスの分析                                    クラウド                              プライベート   パブリック                        ...
パフォーマンス分析の新しいトレンド 「トランザクションパス分析」 トランザクションパス分析では、各トランザクションが、どのサーバの、どのアプリケー ションで実行されたのかを正確に記録し、問題箇所を瞬時に特定します                ...
トランザクションパス分析とは                                      CICS              Webサーバ   Java   C/C++   MQ                          ...
dynaTraceのコンセプト          ビジネス                                  エンドツーエンド         ・ユーザ体感                                  ・全...
dynaTraceの構成と特徴     dynaTraceは、ユーザがアクセスしたトランザクションがどこで遅延したかを特定します                                               Webサーバ     ...
トランザクションパスのボトルネックを特定する  クライアント   から実行 されたトランザ   クションWebサーバ での処理     アプリケー     ションサー     バでの処理      DBサーバで        の処理20
トランザクションパスのボトルネックを特定する       .NETサーバ    J2EEサーバ                                    DBサーバ                            サーバ内で ...
トランザクションパスのボトルネックを特定する     サーバ・サーバ     間の遅延分析               メソッドレベル                の遅延分析22
問題のあるソースコードをデコンパイルする                       CPU時間や処                       理時間からボト     デコンパイル            ルネックを特定      したソース ...
より簡単に、より効果的に 負荷をかける方法は?               24
負荷テストの種類                  負荷テストは、その形態によって3つに分類されます                              負荷テスト2.0                    負荷テスト1.5      ...
負荷テスト1.0長所:                               短所: • ファイヤウォール内のリソース管理に               • 製品として提供される(ソフトウェア、ハードウェア   優れている        ...
負荷テスト1.5 長所:                              短所:  • 大規模な負荷テストが可能                   • “エンドユーザ”の体感を計測できない     •   SaaSとして提供(ソフト...
負荷テスト2.0     長所:                               短所:      • SaaSとして提供(ソフトウェア、ハードウェアが不要)     • 外部からアクセスできないシステム      •   大規模な...
Compuware GomezTM Web Load Testing     Compuware GomezTM Web Load Testingは、Compuwareが準備するクラウド環境から     お客様の対象システムに負荷をかけます。同...
最も効果的なパフォーマンステストとは?                30
負荷テストとdynaTraceの統合                                  負荷テスト実施     データベース   アプリケーション   Webサーバ         パフォーマンスボトルネックの分析(dynaTr...
負荷テストツールとdynaTrace連携の仕組み     負荷テストツールが生成するトランザクションのヘッダにタグを付加することにより、dynaTrace     はすべてのトランザクションを個別に把握することが出来ます       データベー...
遅延した負荷テスト・トランザクションを分析する     トランザクションID                   このトランザクションは                  どの処理で遅延したのか?33
負荷テストで発生したボトルネックを分析       どこでエラーに       なっているのか34
負荷テストで発生したボトルネックを分析35
従来のパフォーマンステストとdynaTraceを利用したパフォーマンステストの違い             開発・運用                     テスト    テストログ参照   ログ内容の修正 従                ...
まとめ     ・ITシステムの複雑化に伴い、パフォーマンステストの重要性が       増しています     ・パフォーマンス分析は、「トランザクションパス」のレベルまで      分析できるツールが注目されています     ・負荷テスト時に...
お知らせ       38
dynaTrace AJAXエディション     dynaTrace ブラウザエージェントのほとんどの機能を無料でご利用いただくことが可能     です。下記URLからダウンロードしてご利用ください。                      ...
dynaTrace体験セミナー開催!      Javaや.NETアプリケーションの設計・開発・テストに従事されている方を      対象としたdynaTraceの体験セミナーを開催します。      実機を用いて実際にdynaTraceに触れ...
Thank You
Upcoming SlideShare
Loading in …5
×

【16-E-4】 テスト革命!パフォーマンステストの画期的アプローチ

3,180 views

Published on

0 Comments
6 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
3,180
On SlideShare
0
From Embeds
0
Number of Embeds
9
Actions
Shares
0
Downloads
82
Comments
0
Likes
6
Embeds 0
No embeds

No notes for slide

【16-E-4】 テスト革命!パフォーマンステストの画期的アプローチ

  1. 1. テスト革命!パフォーマンステストの画期的アプローチ 日本コンピュウェア株式会社 シニアソリューションアーキテクト 福田慎 2012年2月16日
  2. 2. アジェンダ1. パフォーマンステストとは?2.より簡単に、より効果的に問題の原因を分析するは?3.より簡単に、より効果的に負荷をかける方法は?4. 最も効果的なパフォーマンステストとは?
  3. 3. パフォーマンステストとは? 3
  4. 4. Web のパフォーマンスは ビジネスの成果に直結 ページ読み込み時間 を 7 秒から 2 秒に 7–12 % 売り上げ の増加 短縮した場合、 50% ハードウエア 費用の削減 2 秒のレスポン スタイム低下 4.3 % ユーザあたりの 売り上げが減少 400 ミリ秒の遅延 0.59% ユーザあたりの 検索回数が減少 ユーザが読み込み 時間の速いページを 経験した場合、 50 % 訪問回数あたり のページ参照回 数が増加 Source: Steve Souders @ Velocity Conference 20094 http://radar.oreilly.com/2009/07/velocity-making-your-site-fast.html
  5. 5. まだまだ大きい「地域格差」5 5 5
  6. 6. なぜパフォーマンス管理は難しくなったのか 複雑化するインターネット環境 複雑化するデータセンター クラウド 仮想化 SaaS WAN最適化 CDN 他システムとの連携 クラウド 携帯端末 プライベート パブリック エンド ブラウザ ユーザ データセンター サードパーティ/ ISP 仮想/物理環境 クラウドサービス DB App Web ロードメインフレーム サーバ サーバ サーバ バランサ ISP ストレージ ネット ワーク CDN Web 携帯 WAN サービス コンポーネント 最適化 携帯キャリア 従業員 デバイス 従業員6
  7. 7. パフォーマンステストの定義 パフォーマンスを 分析する クラウド プライベート パブリック エンド ブラウザ ユーザ データセンター サードパーティ/ ISP 仮想/物理環境 クラウドサービス DB App Web ロードメインフレーム サーバ サーバ サーバ バランサ ISP ストレージ 負荷をかける ネット ワーク CDN Web 携帯 WAN サービス コンポーネント 最適化 携帯キャリア デバイス 従業員 負荷テスト用7 仮想ユーザ
  8. 8. パフォーマンステストの現状 CPU使用率・ Webサーバ DB監視 メモリ使用率 アクセス数 クラウド プライベート パブリック エンド ブラウザ ユーザ データセンター サードパーティ/ ISP 仮想/物理環境 クラウドサービス DB App Web ロードメインフレーム サーバ サーバ サーバ バランサ ISP 負荷をかける ストレージ ネット ワーク CDN Web 携帯 WAN サービス コンポーネント 最適化 携帯キャリア デバイス 従業員 負荷テスト ツールを設置8
  9. 9. パフォーマンステストの課題 CPU使用率・ Webサーバ DB監視 メモリ使用率 アクセス数 クラウド環境の クラウド テストができない プライベート パブリック エンド ブラウザ ユーザ 問題の原因がデータセンター 分からない・・ サードパーティ/ ISP 仮想/物理環境 クラウドサービス 負荷をかけるために、 DB App Web ロード 多数のサーバの設置がメインフレームサーバ サーバ サーバ バランサ 必要 推測に基づいた チューニング ISP 負荷をかける ストレージ ネット ファイヤウォール内の ワーク CDN ユーザしか再現できない Web 携帯 WAN サービステスト期間が コンポーネン 最適化 長期に及ぶ ト 携帯キャリア 不要なリソース デバイス 地域毎のパフォー の追加 負荷テスト 従業員 マンスの差が ツールを設置 把握できない9
  10. 10. パフォーマンステストをより効果的にするには CPU使用率・ Webサーバ DB監視 メモリ使用率 アクセス数 クラウド プライベート パブリック エンド ブラウザ ユーザデータセンター サードパーティ/ ISP 仮想/物理環境 より簡単に、 より簡単に、 クラウドサービス ロード より効果的に DBメインフレームサーバ App サーバ Web サーバ バランサ より効果的に 問題の原因を ISP 負荷をかける 分析するには? 負荷をかける 方法は? ストレージ ネット ワーク CDN Web 携帯 WAN サービス コンポーネン 最適化 ト 携帯キャリア デバイス 従業員 負荷テスト ツールを設置10
  11. 11. より簡単に、より効果的に問題の原因を分析するは? 11
  12. 12. 負荷テスト時のパフォーマンス分析は難しい・・・ どのトランザクションが、どこで、いつエラーになったのか・・・ どこがボトルネックになっているのか・・・ Webサーバの ネットワーク ログ? 使用率? データベース アプリケーション Webサーバ × CPU使用率? アプリのログ?12
  13. 13. パフォーマンス分析の次のトレンドは? Java/.NET ビジネス サービス分析 ? 2012 パフォーマンス分析 エンドユーザ 2007 レスポンス分析 2004 ネットワーク パフォーマンス分析 2000 サーバ パフォーマンス分析 199513 1993
  14. 14. サーバパフォーマンス分析 CPU使用率・ Webサーバ DB監視 メモリ使用率 アクセス数 クラウド プライベート パブリック エンド ブラウザ ユーザデータセンター サードパーティ/ ISP 仮想/物理環境 クラウドサービス DB App Web ロードメインフレームサーバ サーバ サーバ バランサ ISP ストレージ ネット ワーク CDN Web 携帯 WAN サービス コンポーネン 最適化 ト 携帯キャリア デバイス 従業員14
  15. 15. エンドユーザレスポンスの分析 クラウド プライベート パブリック エンド ブラウザ ユーザ データセンター サードパーティ/ ISP 仮想/物理環境 クラウドサービス DB App Web ロードメインフレーム サーバ サーバ サーバ バランサ ISP エンドユーザレスポンスを計測する ストレージ ネット ワーク CDN Web 携帯 WAN サービス コンポーネント 最適化 携帯キャリア デバイス 従業員15
  16. 16. パフォーマンス分析の新しいトレンド 「トランザクションパス分析」 トランザクションパス分析では、各トランザクションが、どのサーバの、どのアプリケー ションで実行されたのかを正確に記録し、問題箇所を瞬時に特定します クラウド プライベート パブリック エンド ブラウザ ユーザデータセンター サードパーティ/ ISP 仮想/物理環境 クラウドサービス DB App Web ロードメインフレームサーバ サーバ サーバ バランサ ISP ストレージ ネット ワーク CDN Web 携帯 WAN サービス コンポーネン 最適化 ト 携帯キャリア デバイス 従業員16
  17. 17. トランザクションパス分析とは CICS Webサーバ Java C/C++ MQ DBMS クライアント EAI SOA17
  18. 18. dynaTraceのコンセプト ビジネス エンドツーエンド ・ユーザ体感 ・全ての階層 ・サービスレベル管理 ・トランザクションの視点 ・インパクト分析 分析 ・問題箇所の特定 ライフサイクル ・再現テスト不要 ・開発 フルカバレッジ ・テスト ・全トランザクション分析 ・運用 ・全ユーザ分析18
  19. 19. dynaTraceの構成と特徴 dynaTraceは、ユーザがアクセスしたトランザクションがどこで遅延したかを特定します Webサーバ ブラウザ エージェント エージェント データベース アプリケーション Webサーバ サーバ サーバ Java/.NET エージェント Javaスクリプト エージェント 1つのライブラリ、1つの引数、1回のリスタート 簡単なインストール dynaTrace Analysis Server ソースコードの変更なし dynaTrace Client 自動ディスカバリーによる迅速なインプリ スケーラビリティ 効率的なデータ保持 運用時においても利用可能な安全性 データのエクスポートとレポート19
  20. 20. トランザクションパスのボトルネックを特定する クライアント から実行 されたトランザ クションWebサーバ での処理 アプリケー ションサー バでの処理 DBサーバで の処理20
  21. 21. トランザクションパスのボトルネックを特定する .NETサーバ J2EEサーバ DBサーバ サーバ内で クライアント アプリケーション の実行時間 サーバでエラーが 発生している21
  22. 22. トランザクションパスのボトルネックを特定する サーバ・サーバ 間の遅延分析 メソッドレベル の遅延分析22
  23. 23. 問題のあるソースコードをデコンパイルする CPU時間や処 理時間からボト デコンパイル ルネックを特定 したソース コードを参照23
  24. 24. より簡単に、より効果的に 負荷をかける方法は? 24
  25. 25. 負荷テストの種類 負荷テストは、その形態によって3つに分類されます 負荷テスト2.0 負荷テスト1.5 負荷テスト1.0 データベース アプリケーション Webサーバ25
  26. 26. 負荷テスト1.0長所: 短所: • ファイヤウォール内のリソース管理に • 製品として提供される(ソフトウェア、ハードウェア 優れている の導入が必要) • 内部システムでの負荷テストに適して • 大規模な負荷テストの場合多数のサーバが必要 いる • “エンドユーザ”の体感を計測できない • サードパーティの外部コンポーネント(クラウド、 CDNなど)の計測ができない • 地域によるレスポンスの違いを把握することが できない 負荷テスト1.0 データベース アプリケーション Webサーバ ファイヤウォール内26 での負荷生成
  27. 27. 負荷テスト1.5 長所: 短所: • 大規模な負荷テストが可能 • “エンドユーザ”の体感を計測できない • SaaSとして提供(ソフトウェア、ハードウ • アプリケーションデリバリチェーン全体での ェアが不要) 問題把握ができない • 地域によるレスポンスの違いを把握する ことができない • 外部からアクセスできないシステムに 対応できない 負荷テスト1.5 データベース アプリケーション Webサーバ クラウドからの27 負荷生成
  28. 28. 負荷テスト2.0 長所: 短所: • SaaSとして提供(ソフトウェア、ハードウェアが不要) • 外部からアクセスできないシステム • 大規模な負荷テストが可能 に対応できない • エンドツーエンドで問題の検知が可能 • サードパーティの外部コンポーネント(クラウド、CDN など)をすべて計測可能 • アプリケーションデリバリチェーン全体で問題の 検知と分析が可能 • 「セルフサービス」によって、任意の時間帯に 負荷テストを実施 負荷テスト2.0 データベース アプリケーション Webサーバ クラウドからの負荷生成と28 一般ユーザからの計測と分析
  29. 29. Compuware GomezTM Web Load Testing Compuware GomezTM Web Load Testingは、Compuwareが準備するクラウド環境から お客様の対象システムに負荷をかけます。同時に、一般ユーザのPCにインストールした 計測用エージェントからレスポンスタイムを計測します。 クラウドから負荷 を生成 データベース アプリケーション Webサーバ 一般ユーザのPCから29 パフォーマンスを計測
  30. 30. 最も効果的なパフォーマンステストとは? 30
  31. 31. 負荷テストとdynaTraceの統合 負荷テスト実施 データベース アプリケーション Webサーバ パフォーマンスボトルネックの分析(dynaTrace)31
  32. 32. 負荷テストツールとdynaTrace連携の仕組み 負荷テストツールが生成するトランザクションのヘッダにタグを付加することにより、dynaTrace はすべてのトランザクションを個別に把握することが出来ます データベース アプリケーション Webサーバ dynaTraceのエージェント Webサーバエージェント は同様の処理を繰り返す がHTTPヘッダのタグを認 識し、APサーバに送るパ dynaTrace 負荷テストツールが生成す Analysis Server ケットに同様のタグを付け dynaTrace るトランザクションのヘッダに る Client 「タグ」を付加して送信する32
  33. 33. 遅延した負荷テスト・トランザクションを分析する トランザクションID このトランザクションは どの処理で遅延したのか?33
  34. 34. 負荷テストで発生したボトルネックを分析 どこでエラーに なっているのか34
  35. 35. 負荷テストで発生したボトルネックを分析35
  36. 36. 従来のパフォーマンステストとdynaTraceを利用したパフォーマンステストの違い 開発・運用 テスト テストログ参照 ログ内容の修正 従 再テスト テストログ参照 ログ内容の修正 来 テストの繰り返し の 手 再テスト テストログ参照 問題の分析 法 問題の解決 時間 dynaTrace 開発・運用 テスト テストログ参照 ログ内容の修正 • ダイレクトな問題分析 • テスト回数を削減 再テスト テストログ参照 ログ内容の修正 に • 確かな品質を確保し、 よ 開発・運用者の作業 る 再テスト テストログ参照 問題の分析 時間を削減 手 法 問題の解決36 時間
  37. 37. まとめ ・ITシステムの複雑化に伴い、パフォーマンステストの重要性が 増しています ・パフォーマンス分析は、「トランザクションパス」のレベルまで 分析できるツールが注目されています ・負荷テスト時にトランザクションパス分析ソリューションを併用す ることで、負荷テストの効果を最大化し、またテスト期間を大幅 に短縮することが可能です37
  38. 38. お知らせ 38
  39. 39. dynaTrace AJAXエディション dynaTrace ブラウザエージェントのほとんどの機能を無料でご利用いただくことが可能 です。下記URLからダウンロードしてご利用ください。 dynaTrace AJAXエディションダウンロードサイト: http://ajax.dynatrace.com/ajax/en/39
  40. 40. dynaTrace体験セミナー開催! Javaや.NETアプリケーションの設計・開発・テストに従事されている方を 対象としたdynaTraceの体験セミナーを開催します。 実機を用いて実際にdynaTraceに触れることができます。 この機会をぜひご利用ください。 ◆日時 2012年2月29日(水)15:00-17:00(14:30開場) ◆会場 ネクストワークスラーニングセンター 東京都品川区上大崎2-27-1 サンフェリスタ目黒8F JR「目黒」駅より徒歩1分 ◆お申込み 以下のURLよりご登録ください http://offers.compuware.com/register?cid=70170000000gdsB ◆お問い合わせ 日本コンピュウェア㈱ マーケティング本部 セミナー担当 TEL:03-5473-4530 Email:marketingjapan@compuware.com40
  41. 41. Thank You

×