11月6日に東京大学のコンピュータ産業研究会で講演した際の資料です。 Keynoteのサービス全般の説明と計測についての詳細な事例を掲載しています。

1. Webサイト、モバイルサイトにおける
データサイエンス
Weサイト等のパフォーマンスの計測およ
び品質統計解析を⾏行行うKeynote Systemsに
よる事例例紹介
Keynote Systems, Inc.
Technical Business Representative
⽵竹洞洞 陽⼀一郎郎
Yoichiro.Takehora@keynote.com
©2013 Keynote Systems, Inc.

2. ⾃自⼰己紹介
§ Keynote Systems…Technical Business Representative
§ やってきた事
§
§
§
§
Layer1～7の技術
定量化・定性化分析手法（Function Point法、COCOM II）
システム最適化
Lotus Notes → Windowsのシステム構築 → Unix/Linuxのシステム構築 → メール → Webシステム
→ ユーザビリティ→システム開発見積り・IT不良資産 → 仮想マシン → CDN、Web高速化、ストリー
ミング、RMT問題 → Webコンサルティング（パフォーマンス、UX）
§ 配信情報
Keynote Systems Japan 公式サイト
（http://www.keynotesystems.jp/）
§ Keynote Webパフォーマンスコミュニティ
（https://www.facebook.com/KeynoteSystemsJapan）
§ Keynote Systems Japan公式Blog
（http://blog.keynotesystems.jp/）
§ 各種資料
http://www.slideshare.net/takehora/presentations
§
©2013 Keynote Systems, Inc.
2013年 11月 7日
2

3. Keynote Systemsについて
•
•
•
•
•
•
•
アメリカ合衆国カリフォルニア州サ
ンマテオに本社を置く
1995年年創業、1999年年NASDAQ上場,
2013年年⾮非上場(Thoma Bravoによっ
て買収)
Web、モバイル、ストリーミングの
パフォーマンス計測のサービスを主
とする
計測の分野におけるマーケットリーダ
ー
顧客数4,000社以上
計測拠点275ヵ所
計測⽤用コンピュータ7,000台以上
©2013 Keynote Systems, Inc.
2013年 11月 7日
3

4. CEOの交代 - 2013
Umang Gupta
©2013 Keynote Systems, Inc..
Jennifer Tejada
2013年 11月 7日
4

5. Thoma Bravoの投資先
©2013 Keynote Systems, Inc..
2013年 11月 7日
5

6. Velocity – Webパフォーマンスと運⽤用のカンファレンス
Keynote SystemsはPlatinum Diamondスポンサーです。
©2013 Keynote Systems, Inc..
2013年 11月 7日
6

7. Keynoteをご採⽤用頂いているお客様
Automotive
Business-to-Business
Financial Services
New Media
Portals/Media
Retail
Technology & Telecom
Travel
©2013 Keynote Systems, Inc.
2013年 11月 7日
7

8. サービス⼀一覧
§
Webのライフサイクルマネジメント、品質管理理に必要なトータルソリューションを提供
パフォーマン
ス
計測・監視
開発テスト
Web
ApP
Cloud
Computing
CApP
CTxP
Mobile Web
MWP
MDP
Device
Anywhere
Streaming
StP
プライバシー
情報(Cookie)
追跡
MITE
Mobile App
UXテスト
TxP, RUP
SOAP, REST,
FTP
負荷テスト
パフォーマン
ス改善コンサ
ル
WPT
KITE
TsP
WebEffective
Insight
LoadPro
2013年 11月 7日
8

9. 事業コンセプト
§ Webのライフサイクルマネジメントに必要な統計データ
を提供する（状態の可視化）
§ パフォーマンス
§ ダウンロード時間
§ W3C Navigation Time
§ レンダリング開始時間 （First Paint）
§ 操作可能時間（Time to Interactive）
§ 可用性
§ Availability
§ Timeout
2013年 11月 7日
9

10. Keynote のサービスをお使い頂いている部署
IT管理理部⾨門
コスト管理理
パフォーマンス管理理
可⽤用性管理理
SLA保証
10
ビジネス部⾨門、
マーケティング部⾨門
開発部⾨門
ページビュー上昇
表⽰示検証
コンバージョン率率率上昇
動作検証
収益最⼤大化
品質管理理
2013年 11月 7日

11. データを可視化する。それも、エッジ側での計測データを。
パフォーマンス計測の重要性
©2013 Keynote Systems, Inc..
2013年 11月 7日
11

12. 何故、計測するのか？
数学（統計学）の重要性
データを「正しく」分析すれば、
未来が予測できる
©2013 Keynote Systems, Inc.
2013年 11月 7日
12

13. 太っているのか？痩せているのか？
60Kg
⾝身⻑⾧長がわからなければ、太っているのか痩せているのかは、
わからない
©2013 Keynote Systems, Inc.
2013年 11月 7日
13

14. ⾒見見るべき数値は⾜足りているのか？
§ 訪問者数、ページビュー数、直帰率率率、コンバージョン率率率
の数値だけで⼗十分なのか？
↓
⾝身⻑⾧長を知らずに体重を眺めるようなもの
§ 今期の売上の理理由は？
§
§
§
§
§
§
マーケティングキャンペーンの影響？
時期？
コンテンツの改善の影響？
新商品の影響？
価格改定の影響？
ユーザーインターフェース改変の影響？
©2013 Keynote Systems, Inc.
2013年 11月 7日
14

15. Webパフォーマンスの影響
88%
継続的な計測による顧客満⾜足度度向上
7%
1秒速くなる毎のCVの向上
11%
1秒速くなる毎のPVの向上
2倍
1秒速くなる毎のブランドイメージアップ
16%
1秒遅くなる毎の顧客満⾜足度度低下率率率
©2013 Keynote Systems, Inc..
2013年 11月 7日
15

16. スピード = 価値
「今や、250msという速度度が、Webにおける競争⼒力力の強みとなる特別な数字に近い。」 Harry Shum, Microsoft
売上向上
n
n
n
10%の売上向上
(1秒⾼高速化される毎に)
12%の売上向上
(表⽰示速度度が6秒から1.2秒に
⾼高速化することによって)
5%の売上向上
(2秒⾼高速化される毎に)
n 最速で表⽰示された場合は50%
以上のPV増加
(最遅表⽰示された場合と⽐比較)
n
9%以上のトラフィック増加
(400ms向上される毎に)
⽣生産性向上
n
n
2%の⽣生産性向上
100%の⽣生産性向上
(2.7秒までアプリケーション
を⾼高速化した場合)
n エラーが減少、エンジニアリ
ングサイクルが加速、データ
の統⼀一性の向上
n 25%の⽣生産性向上

17. Amazonの徹底したデータドリブン主義
§
「ミーティングではデータを重視し、
データに基づいて発⾔言することを求
める。そして、データが⽰示すどんな細
かな兆候も⾒見見逃さない。ベゾス⾃自らが
顧客のフィードバックに⽬目を通してい
ることもよくあるという。」
― 東洋経済ONLINE
http://toyokeizai.net/articles/-/13212
§
御社は、ミーティングで使う「データ
」をお持ちですか？
©2013 Keynote Systems, Inc..
2013年 11月 7日
17

18. 何故、Amazonは速さにこだわるのか？
§ Amazonでは、1秒速くなる毎に、10%売上が向上する
から。
©2013 Keynote Systems, Inc.
2013年 11月 7日
18

19. Webパフォーマンスと訪問者数
Internet Explorer、Firefoxの場合
©2013 Keynote Systems, Inc.
2013年 11月 7日
19

20. Webパフォーマンスと訪問者数
iPhone、Androidの場合
©2013 Keynote Systems, Inc.
2013年 11月 7日
20

21. Webパフォーマンスとページビュー数
Internet Explorer、Firefoxの場合
©2013 Keynote Systems, Inc.
2013年 11月 7日
21

22. Webパフォーマンスとページビュー数
iPhone、Androidの場合
©2013 Keynote Systems, Inc.
2013年 11月 7日
22

23. Webパフォーマンスと直帰率率率
Internet Explorer、Firefoxの場合
©2013 Keynote Systems, Inc.
2013年 11月 7日
23

24. Webパフォーマンスとコンバージョンレート
Internet Explorer、Firefoxの場合
©2013 Keynote Systems, Inc.
2013年 11月 7日
24

25. Webパフォーマンスとコンバージョンレート
iPhone、Androidの場合
©2013 Keynote Systems, Inc.
2013年 11月 7日
25

26. 相関図を作ることで、現在の収益への影響の主変数が
コンテンツ要因かパフォーマンス要因かがわかる。
パフォーマンス
コンバージョン
©2013 Keynote Systems, Inc.
2013年 11月 7日
26

27. 結果に影響を及ぼす変数を考える
表⽰示速度度の定量量評価無しでは、
PV、CV、直帰率率率は正しく評価できない
©2013 Keynote Systems, Inc.
2013年 11月 7日
27

28. ライリーの⼩小売引⼒力力の法則(W.F.Reilly, 1929)
P=α＊A/D^2
P=購⼊入確率率率、α＝係数、A＝魅⼒力力、D＝距離離（サイト速度度）
購⼊入確率率率は、⼈人⼝口ないし品揃えに⽐比例例し、距離離（サイト速度度）の⼆二乗に
反⽐比例例する
©2013 Keynote Systems, Inc.
2013年 11月 7日
28

29. ログ解析しかやっていないサイトは危ない
§ せっかくコンテンツを新しく
しても、
§ マーケティングキャンペーン
をやっても、
§ 新商品を売り出しても、
§ パフォーマンスで⾜足が引っ張
られていた場合、正しくそれ
らの影響を評価できない。
§ 商売をしているなら、ちゃん
とパフォーマンスは計測しま
しょう。
©2013 Keynote Systems, Inc.
2013年 11月 7日
29

30. パフォーマンス計測・監視サービス
デスクトップWEBサイトの
計測⼿手法
©2013 Keynote Systems, Inc..
2013年 11月 7日
30

31. 2013年 11月 7日
TxP (Transaction Perspective)
インターネットのエッジサイドで、実際のブラウザ（IE9、Firefox14）でWebサイトの描画速度度（W3C Navigation
Time）とダウンロードのパフォーマンスを計測します。
計測間隔は、5分、15分、30分、1時間のいずれかを選択できます。
エンドユーザ
NTT
web server
KDDI
エンドユーザ
Last Mile
１次ISP
Middle Mile
計測Agent
First Mile
31

32. データの取り⽅方
Systems/Server side Monitoring
RUM （Real User Monitoring）
エンドユーザ
NTT
web server
KDDI
Synthetic Monitoring
エンドユーザ
Last
Mile
１次ISP
Middle
Mile
First
Mile
2013年 11月 7日
32

33. 統計分析⼿手法でWebサイトの「急所」を探り当てる
§ データの取り⽅方が⼤大事
§ データは、どのように計測すれば良良いのか？
§ 統計学で、⼿手法が確⽴立立している
©2013 Keynote Systems, Inc..
2013年 11月 7日
33

34. 実験計画法
§ 1920年年代に、統計学の⼤大家、R・A・フィッシャーが確⽴立立
§ 効率率率のよい実験⽅方法をデザインし、結果を適切切に解析す
ることを⽬目的とする統計学の応⽤用分野
§ 品質管理理のタグチメソッドの基礎
©2013 Keynote Systems, Inc.
2013年 11月 7日
34

35. 実験計画法〜～3つの原則
§ 3つの原則
§ 局所管理化：影響を調べる要因以外のすべての要因を可能な限り一定
にする。
§ 反復：実験ごとの偶然のバラツキ（誤差）の影響を除くために同条件で
反復する。
§ 無作為化（ランダム化）：以上でも制御できない可能性のある要因の影
響を除き、偏りを小さくするために条件を無作為化する。例えば実験を
行う空間的・時間的順序の影響があるかもしれないから、決まった順序
でなく実験のたびに無作為に順序を決めるなど。
©2013 Keynote Systems, Inc.
2013年 11月 7日
35

36. 「観察者効果」の問題
§ 観察するという⾏行行為が観察される現象に変化を与えてし
まう問題
§ 例例えば、電⼦子を⾒見見ようとすると、まず光⼦子がそれと相互
作⽤用しなければならず、その相互作⽤用によって電⼦子の軌
道が変化する
§ エンドユーザを「観察」しようとJavaScriptを⼊入れるこ
とで、そのJavaScript⾃自体がパフォーマンスの遅延など
の変化をもたらす
§ 行動解析用ビーコンが表示の遅延をもたらし、離脱率を上げる
§ RUMのJavaScriptが、表示速度の遅延をもたらす
§ 広告効果測定ビーコンが、ページ表示の遅延をもたらす
©2013 Keynote Systems, Inc.
2013年 11月 7日
36

37. Synthetic Monitoringの重要性
§ 計測環境・条件の統⼀一
§ 変数の限定化（実験計画法の「局所管理下」）
§ 定点観測
§ 日次パターン、週次パターン、月次パターン、年次パターン
§ ベースラインの認識（実験計画法の「反復」）
§ データを「完全に取得する」
§ 何を以って、「ページの終わり」とするのか？
§ 何を以って、「エラー」と認定するのか？
§ 閾値の定義・設定の重要性
©2013 Keynote Systems, Inc.
2013年 11月 7日
37

38. Google Analyticsの計測データ（ダウンロード時間）
©2013 Keynote Systems, Inc.
2013年 11月 7日
38

39. Google Analyticsの計測データ（ First PaintとTime to
Interactive）
©2013 Keynote Systems, Inc.
2013年 11月 7日
39

40. Keynoteの計測データ（ダウンロード時間）
©2013 Keynote Systems, Inc.
2013年 11月 7日
40

41. Keynoteの計測データ（First PaintとTime to Interactive）
©2013 Keynote Systems, Inc.
2013年 11月 7日
41

42. よくある計測に関する誤解 1
§ 負荷が上がる時間帯だけ、短い間隔で計測したい
§ 社会現象の冪乗則により、5分や10分単位で、負荷が上がったり下が
ったりはしない
§ 平均や最頻値、中央値などの各種計測データによる計算がおかしくなる
§ 5秒、8秒、7秒、10秒、12秒 → 平均8.4秒
§ 5秒、8秒、7秒、10秒、[12秒、13秒、12秒、14秒] → 平均10.125秒
©2013 Keynote Systems, Inc.
2013年 11月 7日
42

43. よくある計測に関する誤解 2
§ アクセスが少ない時間や曜⽇日は計測せず、アクセスが集
中する時間帯や曜⽇日だけ計測したい
§ ベースラインがわからなくなる
§ ベースラインが不明だと、どこのボトルネックがあるかわからなくなる
§ 計測した値が、外れ値かどうかわからなくなる
§ パターンなのか？それとも、たまたまなのか？
©2013 Keynote Systems, Inc.
2013年 11月 7日
43

44. よくある計測に関する誤解 3
§ リニューアルの前後、1ヶ⽉月だけ計測したい
§ インターネットは、想像しているより、遥かに不安定な世界
§ 様々なネットワークの混合結合体だと理解している人は少ない
§ インターネット全体を統括して管理している人はいない
§ 障害が発生しても、気づかないことが多い
§ インターネット全体を監視して状況を表示しているダッシュボードがあるわけで
はない
§ Webサイトの配信管理は「歩留まり」の管理という認識がない
§ サーバで用意した「部品」を、インターネットという「ベルトコンベア」で送り
込み、PCやスマートフォン、タブレットなどの端末で「組み立てる」
§ 定常的に計測しない限り、ユーザに配信できていることは担保できない
©2013 Keynote Systems, Inc.
2013年 11月 7日
44

45. インターネットインフラへの投資⽐比率率率
20X
$$$
Web Content
First Mile
$$$
20X
Tier 1 ISPs
6X Middle Mile
50X
$$$
Local ISPs
Last Mile
6X
$$$
Web Users
2013年 11月 7日
50X

46. Internet Health Report –
www.internethealthreport.com
POWERING A BETTER INTERNET

47. 定常的にエッジ側で計測・監視していないと…
これらと同じ事態が発⽣生しても気づか
ない。そして、これらと同じ事態は、
かなり発⽣生している。
©2013 Keynote Systems, Inc.
2013年 11月 7日
47

48. 「Big Data」より「Actionable Data」
§ 「データを何に使いたいのか」という⽬目的が、データの
取得⽅方法に⼤大きな影響を与える
§ 監視したいのか？計測したいのか？
§ 要因を固定し、条件を統⼀一する
§ コントロール可能な「主変数」にフォーカスする
©2013 Keynote Systems, Inc.
2013年 11月 7日
48

49. コントロール可能な3つの「主変数」
2. HTML/CSS/JavaScript
エンドユーザ
NTT
1. ネットワーク
web server
KDDI
3. システム負荷/性能
エンドユーザ
Last
Mile
１次ISP
Middle
Mile
First
Mile
2013年 11月 7日
49

50. パフォーマンス計測の2つの測定基準
§ ダウンロード時間
§ ページの中で既述されている全てのオブジェクトをダウンロードし切るま
での時間を計測する
§ 表⽰示開始時間、操作可能状態までの時間
§ 表示開始時間（First Paint）～レンダリングが開始されてブラウザ上で
表示されるまでの時間
§ 操作可能状態（Time to Interactive）～ページ上で操作が可能になる
までの時間
§ ダウンロード時間より、表示開始時間や操作可能状態までの時間の方
が重要
§ W3C Web Performance Working Groupにて、W3C Navigation Tim
eが策定され、モダンブラウザにAPIが実装される
©2013 Keynote Systems, Inc.
2013年 11月 7日
50

51. 2013年 11月 7日
W3C Navigation Time – 何秒でレンダリングが
開始され、何秒で操作可能になるか
51

52. W3C Web Performance Working Group
©2013 Keynote Systems, Inc.
2013年 11月 7日
52

53. Webパフォーマンスの「主成分」
©2013 Keynote Systems, Inc.
2013年 11月 7日
53

54. 考えられる要因〜～Webの「⾮非破壊検査」
§ DNS Lookup
§ DNSのTTLが短すぎる、DNSサーバのキャパシティ不足
§ Initial Connection
§ ネットワーク帯域の不足、ネットワーク機器のキャパシティ不足、Internet網の障害、レイ
テンシの問題
§ SSL
§ サーバのキャパシティ不足
§ First Byte Download
§ サーバのキャパシティ不足、サーバのディスクアクセス競合
§ Content Download
§ ディスクアクセスの遅延
©2013 Keynote Systems, Inc.
2013年 11月 7日
54

55. General Rule Book ― 鵜呑みにしない事
©2013 Keynote Systems, Inc.
2013年 11月 7日
55

56. 「進撃の巨⼈人」
©2013 Keynote Systems, Inc.
2013年 11月 7日
56

57. 「急所」を狙え！
©2013 Keynote Systems, Inc.
2013年 11月 7日
57

58. 「急所」を判別して改善する
§ 80:20の法則 （パレートの法則）〜～ 冪乗則
§ 全体の数値の大部分は、全体を構成するうちの一部の要素が生み出し
ている
©2013 Keynote Systems, Inc..
2013年 11月 7日
58

59. ボトルネックを考える
§ 「データベース」が常にボトルネックではない
§ インターネット網の不安定さ
§ ⾃自社コンテンツだけを⾒見見てはいけない
§ サードパーティーコンテンツの不安定さ
©2013 Keynote Systems, Inc.
2013年 11月 7日
59

60. イトーヨーカドーのネットスーパー
これは何？
©2013 Keynote Systems, Inc.
2013年 11月 7日
60

61. Twitterによる遅延
©2013 Keynote Systems, Inc.
2013年 11月 7日
61

62. サードパーティーの影響
パフォーマンスの劣劣化の原因が、全て⾃自社以
外のドメインからの配信
62

63. 楽天イーグルス優勝時の
楽天市場のトップページの状態
©2013 Keynote Systems, Inc.
2013年 11月 7日
63

64. 配信速度度の劣劣化
エンドユーザ
NTT
web server
KDDI
エンドユーザ
Last Mile
3〜～8秒
１次ISP
Middle Mile
2〜～4秒
First Mile
1〜～2秒
2013年 11月 7日
64

65. 平均されると、正確に事実を把握できなくなる
©2013 Keynote Systems, Inc.
2013年 11月 7日
65

66. 正規分布図と箱ひげ図の関係
©2013 Keynote Systems, Inc.
2013年 11月 7日
66

67. E-Commerce Top20 ー IEとFFのパフォーマンスの違い
©2013 Keynote Systems, Inc.
2013年 11月 7日
67

68. SPDYについて
§ SPDY〜～Googleが提唱した通信プロトコル。HTTP/2.0のベースとなっ
ている。
§ HTTPを拡張して、ダウンロードの⾼高速化を図っている
§ TLS（Transport Layer Security）接続の上にセッション層を追加、単⼀一
のSPDYセッションで複数のリクエストを送受信可能にしている。
§ SPDYを実装しているブラウザ
§
§
§
§
§
Internet Explorer 11（モバイルを含む）
Chrome 10（モバイルを含む）
Firefox 13（モバイルを含む）
Opera 12.10（モバイルを含む）
Android 3.0 ブラウザ
©2013 Keynote Systems, Inc.
2013年 11月 7日
68

69. SPDYが引き起こす遅延
§ 多数のドメインからコンテンツを読み込むサイト
§ TCP/IP 3Way Handshakeが多数発生するため、オーバーヘッドが大
きくなる。（TLSのネゴシエーションによるオーバーヘッド）
§ 同⼀一ドメインからダウンロードするオブジェクトがあま
りないサイト
§ 普通にHTTP Get＋Keep-Aliveの方が速い
§ 通信経路路の品質が悪いサイト
§ 携帯網のような、パケットドロップが必ず発生するようなネットワークでは、
1つのTCP接続でダウンロードするSPDYは、同時接続を2～4つ行うHTT
Pより、回線状況の影響度が大きくなる
©2013 Keynote Systems, Inc.
2013年 11月 7日
69

70. Zozo Town －IE、FirefoxのコネクションView
•
•
•
•
©2013 Keynote Systems, Inc.
オブジェクト数: 86
ドメイン数: 10
接続IP数: 10
コネクション数: 32
•
•
•
•
2013年 11月 7日
オブジェクト数: 84
ドメイン数: 10
接続IP数: 17
コネクション数: 34
70

71. Keynote Benchmarks & Research
©2013 Keynote Systems, Inc.
2013年 11月 7日
71

72. アメリカ⼩小売業のサイトパフォーマンス
©2013 Keynote Systems, Inc.
2013年 11月 7日
72

73. 2013年 11月 7日
RUP (Real User Perspective)
実ユーザのブラウザ上での描画速度度（W3C Navigation Time）とダウンロードのパフォーマンスを計測します。
ISP
web server
ISP
エンドユーザ
Last Mile
Middle Mile
ブラウザ内のAPIをコールして
データを取り出す
First Mile
73

74. Real User Perspective ダッシュボード
（Time to Interactive）
©2013 Keynote Systems, Inc.
2013年 11月 7日
74

75. Real User Perspective ダッシュボード
（訪問者数）
©2013 Keynote Systems, Inc.
2013年 11月 7日
75

76. Real User Perspective ダッシュボード
（ブラウザ別）
©2013 Keynote Systems, Inc.
2013年 11月 7日
76

77. 3つの計測⽅方法を組み合わせる事で補完し合う
§ Systems/Server Side Monitoringの弱点
§ インターネット網の影響がわからない
§ サードパーティーコンテンツの影響がわからない
§ Synthesis Monitoringの弱点
§ 選択された計測拠点の値しかわからない
§ 選択された合成アクセスのページ遷移でしか値がわからない
§ Real User Monitoringの弱点
§ 変数がわからない
§ 計測値が確実に取得できるとは限らないため、データの偏りが生じる
©2013 Keynote Systems, Inc.
2013年 11月 7日
77

78. パフォーマンス計測・監視サービス
WEB API、ファイルダウンロー
ドの計測⼿手法
©2013 Keynote Systems, Inc..
2013年 11月 7日
78

79. 2013年 11月 7日
ApP (Application Perspective)
インターネットのエッジサイドで、Keynoteが作ったエミュレータブラウザでSOAP、REST、FTP、単独ファイルなど
のパフォーマンスを計測します。
計測間隔は、5分、15分、30分、1時間のいずれかを選択できます。
エンドユーザ
GET /WebSite1/
WebService.asmx/
getHello?
str=string HTTP/
1.1 Host: apiserver
NTT
web server
KDDI
エンドユーザ
Middle Mile
Last Mile
１次ISP
計測Agent
First Mile
79

80. パフォーマンス計測・監視サービス
オンプレミスのWEBアプリケーシ
ョンの計測⼿手法
©2013 Keynote Systems, Inc..
2013年 11月 7日
80

81. 2013年 11月 7日
CApP、CTxP〜～ オンプレミス計測
TxPやApPの計測をクラウドコンピューティング側で⾏行行います。
計測間隔は、5分、15分、30分、1時間のいずれかを選択できます。
計測Agent
支店、海外拠点
本店
Last Mile
エンドユーザ
Middle Mile
計測Agent
81
GET /WebSite1/
WebService.asmx/
getHello?
str=string HTTP/
1.1 Host: apiserver
First Mile

82. パフォーマンス計測・監視サービス
モバイルWEBサイトの計測⼿手法
©2013 Keynote Systems, Inc..
2013年 11月 7日
82

83. 2013年 11月 7日
MWP (Mobile Web Perspective)
インターネットのエッジサイドで、スマートフォン標準ライブラリWebKitで作ったモバイルシミュレータを⽤用いて
Webサイトのパフォーマンスを計測します。通信は実際のSIMを使った携帯網もしくはインターネット回線を利利⽤用し
ます。計測間隔は、5分、15分、30分、1時間のいずれかを選択できます。
SoftBank
Gateway
モバイル
シミュレータ
3G/4G回線
docomo
Gateway
web server
NTT
Last Mile
インターネット回線
計測Agent
Middle Mile
First Mile
83

84. Mobile ネットワーク (3Gの例例)

85. 制約の多いモバイルネットワーク
§ 電波⼲干渉という問題
§ ユーザがそこに多く居るからと言って、電波塔（基地局）は増やせない
§ 基地局を乱立するとどうなるか？ – “Dirty WiFi”と同じ状況に
§ 電波の「谷間」～基地局と基地局の中間点
§ 「繋がる」事と「通信できる」事は、違う
§ アンテナの表示が5本中5本立った! → 電波強度が十分というだけ
§ 携帯基地局は、混雑するとネットワークを守るためにパケットを意図的
にドロップする
§ レイテンシの問題
§ モバイルネットワークのレイテンシは100～200ms
©2013 Keynote Systems, Inc..
2013年 11月 7日
85

86. 郊外の基地局配置
1つの円で20〜～30Kmをカバー。
その分、電波が強い。
⾊色の違い＝チャネルのグループの
違い。
NTTドコモの場合、 800MHz帯を使
い、 15MHzの幅がある。
それを12.5KHz幅で区切切ることで、
15MHz/12.5KHz = 1200チャネルを
持つ。
もし7つのグルーピングを作るとす
ると、各基地局は 1200/7≒170チャ
ネルとなる。

87. 都市部の基地局配置
1つの円で200〜～300mをカバー。
その分、電波が弱い。

88. ソフトバンクの「マイクロセル化」
©2013 Keynote Systems, Inc..
2013年 11月 7日
88

89. モバイルネットワークの特殊性
基地局に100⼈人以上、同時接続した場合はどうなる？
パケットドロップの発⽣生
(ドロップのロジックの実装は各社毎に違う）
©2013 Keynote Systems, Inc.
2013年 11月 7日
89

90. 携帯網のパケットドロップ率率率の影響
§ 無線基地局のパケットドロップ率率率が20%、1パケット1KBの場合
1. 全部で100KBのデータを送信する場合
§
§
§
§
失敗回数の期待値＝{100×(1-0.8)}÷0.8=25
失敗回数の分散={100×(1-0.8)}÷0.8^2 =31.25
失敗回数の標準偏差は、31.25の平方根、約6となります。
2σの考え方だと、
下値＝失敗回数の期待値－2×失敗回数の分散の平方根
上値＝失敗回数の期待値＋2×失敗回数の分散の平方根
§
2σ（シグマ）の範囲を計算すると、(25－2×6, 25+2×6)=(13, 37)
95%の確率で13～37回の失敗（パケットドロップ）が発生します。
2. 全部で1,000KBのデータを送信する場合
§
§
§
§
失敗回数の期待値＝{1,000×(1-0.8)}÷0.8=250
失敗回数の分散={1,000×(1-0.8)}÷0.8^2 =312.5
失敗回数の標準偏差は、312.5の平方根、約18となります。
2σ（シグマ）の範囲を計算すると、(250－2×18, 250+2×18)=(214, 286)
95%の確率で214～286回の失敗（パケットドロップ）が発生します。

91. モバイル回線品質改善 – DoCoMo VS
SoftBank
©2013 Keynote Systems, Inc.
2013年 11月 7日
91

92. 世の中で発表されている
スマートフォンの速度度計測は、
正しい計測⽅方法ではないため、
意味がありません。
©2013 Keynote Systems, Inc.
2013年 11月 7日
92

93. 限られたDNSサーバ群
§ 有線接続の場合は、ISPや会社のDNSサーバを参照する
ため、負荷が分散される
§ モバイルネットワークの場合、モバイルオペレーターの
DNSサーバを参照するため、負荷が集中する
§ TTLを短く設定すると、DNS Lookupの時間がかかって致命傷となる
©2013 Keynote Systems, Inc.
2013年 11月 7日
93

94. DNSのTTLが短い例例 － TTLが10分
©2013 Keynote Systems, Inc.
2013年 11月 7日
94

95. こちらのサイトのDNSの設定
©2013 Keynote Systems, Inc.
2013年 11月 7日
95

96. あまり背景が理理解されずに、⾼高速化の⼿手法
だけは広まっている…
©2013 Keynote Systems, Inc.
2013年 11月 7日
96

97. モバイルサイトのDNSのTTLを⻑⾧長めに！
§ BINDで、サブドメイン単位、ホスト単位でTTLの設定が可能
§ モバイルサイトについては、TTLを長めに設定して、携帯キャリアのDNS
の負荷をいたずらにあげないことが大事
©2013 Keynote Systems, Inc.
2013年 11月 7日
97

98. ⽇日本の携帯網が速いから
、スマートフォンサイトも
速いだろうなんて、
幻想です。
©2013 Keynote Systems, Inc.
2013年 11月 7日
98

99. スマートフォンサイトのSSLの問題点
HTMLのページ⽣生成で、ディ
スクアクセスが遅い
広告測定ビーコンが遅延の要因に
Googleアナリティクスのビー
コンが遅い。
SSLが遅延の要因に
サイズの⼩小さな画像の多⽤用。
これをCSSスプライトにする
ことで、10秒⾼高速化すること
が可能に。
フォーム⼊入⼒力力チェック⽤用Ajax通
信が発⽣生。スマートフォンサ
イトでは致命傷
99

100. Mobile E-Commerce Top20 – SoftBank – May29th – June19th
©2013 Keynote Systems, Inc.
2013年 11月 7日
100

101. Mobile E-Commerce Top20 – DoCoMo – May29th – June19th
©2013 Keynote Systems, Inc.
2013年 11月 7日
101

102. アメリカ⼩小売業ーモバイルサイト
©2013 Keynote Systems, Inc.
2013年 11月 7日
102

103. Amazon Japan
某社
2013年年4⽉月15⽇日 11:05:26
約6倍
約10倍
2013年年4⽉月15⽇日 11:11:29
©2013 Keynote Systems, Inc.
2013年 11月 7日
103

104. Amazon Japanの場合
©2013 Keynote Systems, Inc.
2013年 11月 7日
104

105. Amazonのパフォーマンス正規分布図
2013年年4⽉月1⽇日〜～15⽇日
©2013 Keynote Systems, Inc.
2013年 11月 7日
105

106. 某社の場合
©2013 Keynote Systems, Inc.
2013年 11月 7日
106

107. 某社のパフォーマンス正規分布図
ここに原因が
⾒見見つけられる
2013年年4⽉月1⽇日〜～15⽇日
©2013 Keynote Systems, Inc.
2013年 11月 7日
107

108. モバイルを
「知っている」サイトと「知らない」サイトの違い
©2013 Keynote Systems, Inc.
2013年 11月 7日
108

109. ちょっと改善しただけで、アクセス数30%増
109

110. 某社のスマートフォンサイト
©2013 Keynote Systems, Inc.
2013年 11月 7日
110

111. Scatter Plot - 散布図
©2013 Keynote Systems, Inc.
この詳細を知りた
い
2013年 11月 7日
111

112. Waterfall Chart － ウォーターフォール図
これは何？
©2013 Keynote Systems, Inc.
2013年 11月 7日
112

113. これは何？
©2013 Keynote Systems, Inc.
このJavaScriptのダウンロードの
遅延で後ろのコンテンツのダウン
ロードが⽌止まってる
2013年 11月 7日
113

114. 広告関係の3rd Party JavaScript
©2013 Keynote Systems, Inc.
2013年 11月 7日
114

115. こちらの会社のJavaScript
©2013 Keynote Systems, Inc.
2013年 11月 7日
115

116. Scatter Plot - 散布図
©2013 Keynote Systems, Inc.
この詳細を知りた
い
2013年 11月 7日
116

117. これは何？
©2013 Keynote Systems, Inc.
2013年 11月 7日
117

118. 広告関係の3rd Party JavaScript
http://
googleads.g.doubleclick.net/
pagead/
viewthroughconversion/
980023218/?
value=0&guid=ON&script=0
https://ssl.socdm.com/sa/js?
said=sg11341-s&t=1
©2013 Keynote Systems, Inc.
2013年 11月 7日
118

119. こちらの会社のJavaScript
©2013 Keynote Systems, Inc.
2013年 11月 7日
119

120. 広告関係の3rd Party JavaScript
http://serv2.vizury.com/analyze/
pixel.php?account_id=VIZVRM943
http://v6.advg.jp/adpv6/pv.js/
7qb
http://
googleads.g.doubleclick.net/
pagead/
viewthroughconversion/
987798848/?
value=0&guid=ON&script=0
http://b92.yahoo.co.jp/js/
s_retargeting.js
http://
www.googleadservices.com/
pagead/conversion.js
https://j.amoad.com/js/dc.js
http://dex00.deqwas.net/dhc/
scripts/x.js?
noCache=1373475746676
https://s.nend.net/js/nendRt.js
©2013 Keynote Systems, Inc.
2013年 11月 7日
120

121. 何をしたいのかわからない…
（このスマートフォンサイトは、広告をあっちこっちのサイトに出るよ
うにする⽬目的のためなのか、それとも商品を売りたいのか？）
©2013 Keynote Systems, Inc.
2013年 11月 7日
121

122. 3rd Partyコンテンツのエラー回数
2013/7/6〜～12の⼀一週間（DoCoMoの3G回線で1時間に1回の計測）
配信ドメイン
microad.jp
deqwas.net
baynote.net
impact-ad.jp
openx.net
deqwas-dsp.net
advg.jp
href.asia
doubleclick.net
dhc.co.jp
gssprt.jp
i-mobile.co.jp
yahoo.co.jp
advertising.com
gsspat.jp
vizury.com
google.co.jp
googleadservices.com
amoad.com
genieessp.jp
nend.net
socdm.com
cloudfront.net
omtrdc.net
©2013 Keynote Systems, Inc.
エラー回数
78
59
54
51
39
35
31
26
20
18
14
11
10
9
9
9
8
6
5
5
5
4
1
1
2013年 11月 7日
122

123. 3rd Partyコンテンツのエラー回数
2013/7/6〜～12の⼀一週間（SoftBankの3G回線で1時間に1回の計測）
配信ドメイン
エラー回数
advg.jp
2
deqwas.net
1
dhc.co.jp
3
i-mobile.co.jp
1
microad.jp
8
©2013 Keynote Systems, Inc.
2013年 11月 7日
123

124. 何を削って、何を残すのか?
§ コンテンツを減らす〜～ユーザーの⾏行行動を分析し、モバイ
ルでよく参照されるページ、機能に特化する
§ 画像は極⼒力力減らす〜～ページの「美しさ」のための画像は削
る
§ Simple is best 〜～機能をたくさんつけても使わない。本当
に必要とされるものだけを実装する。「できる」からと
いって、実装しない
§ 100KBルール～1ページあたり１００KB前後で収める
§ CSS 1つ、JavaScript 1つ、Redirect 1つに収める
§ 20KB以上のファイルはiPhoneではキャッシュされない
§ 美しさより速さ〜～「1分ルール」を満たす
©2012 Keynote Systems, Inc.
2013年 11月 7日
124

125. 1分ルールとは？
§ スマートフォンでのブラウジングは、PCと異異なる
§ PCは、机の前に座ってブラウジングする
§ スマートフォンは、1日の細切れ時間の中でブラウジングする
§
§
§
§
§
§
§
§
§
朝起きてベッドの中で
朝食を食べながら
通勤時間中
トイレの中
お昼ご飯
タバコを吸いながら
仕事、仕事のちょっとした合間
移動中
ちょっとした待ち時間
§ 5分未満の細切切れ時間にアクセスしてくるユーザーはコンバージョン
レートが⾼高い
§ 1分以内に「⽬目的を達する」ことができるようにサイトを作る
©2012 Keynote Systems, Inc.
2013年 11月 7日
125

126. Performance Best Practice
§ JavaScriptをHTMLの最後に記述する
§ CSSをHTMLの最初に記述する
§ Keep aliveを使う。Keep aliveの対象数からはみ出るコ
ンテンツがないようにする
§ HTMLファイル以外はキャッシュを効かせる
§ MIMEが”text/*”か”*javascript*”のものについては圧縮配
信する
§ CSSを1枚にまとめる
§ JavaScriptを1枚にまとめる
©2012 Keynote Systems, Inc.
2013年 11月 7日
126

127. W3C Web Mobile Best Practice
http://www.w3.org/TR/mobile-bp/
§
§
§
§
§
§
§
§
§
§
Auto refreshを使わない
レイアウトのためにTableを使わない
キャッシュを使う
フレームを使わない
テキストフリーにしない（input type=“text”)
画像のサイズを明⽰示する（height, width）
画像のALTを明⽰示する
ポップアップを使わない
ページタイトルを明⽰示する
Tableの中にTableを定義しない
©2012 Keynote Systems, Inc.
2013年 11月 7日
127

128. サイトは「美術的」デザインより「機能美」
〜～⼯工業デザインとしてのWebサイト
§ 美しさは、お⾦金金にならない
§ デザイナーの言う事を疑ってみること！
§ Webサイトは、芸術ではない、機能を提供する場
§ 勘、経験、感性でサイトをデザインしない～大規模UXテストで定量・定
性分析を行うのが世界の主流
§ 「ポジティブバイアス」の罠
§ お客様の意図を「散らさない」こと
§ どんどんコンテンツが増えて下に伸びていく日本のサイト、どんどんコン
テンツが削減されて上に縮んでいく海外のサイト
§ 買って欲しいなら、買う事に集中できるようにする
©2012 Keynote Systems, Inc.
2013年 11月 7日
128

129. 買って欲しいのか？イイねを押して欲しいのか？
FacebookとTwitterは
遅延の要因
©2013 Keynote Systems, Inc.
2013年 11月 7日
129

130. 「増やす」より「減らす」
§ 「何をしなければならないか」ではなく、「何をしなく
ていいか」という考え⽅方で、スマートフォンサイトを構
築しなければ、軽量量なサイトは構築できない
©2013 Keynote Systems, Inc.
2013年 11月 7日
130

131. Harvard Business Review 2013年年10⽉月号
©2013 Keynote Systems, Inc.
2013年 11月 7日
131

132. 「顧客は情報に飽きている」
©2013 Keynote Systems, Inc.
2013年 11月 7日
132

133. ⽇日本のWebサイトの弱さ
§ Value Proposition（Why US？）が明確でないと…
§ サイトが複雑化
§ 価格競争へ突入
§ 「情報が何を消費してしまうかは、とても明⽩白だ。受け
⼿手の関⼼心を消費するのだ。それゆえ、豊富な情報 は関⼼心
の⽋欠落落を⽣生む。また、溢れる情報が、『関⼼心』を消費し
ようとしているとき、その『関⼼心』を効果的に配置する
必要性が⽣生まれる。」 － ハーバート・サイモン（ノーベ
ル賞経済学賞受賞者。チューリング賞受賞者）
©2012 Keynote Systems, Inc..
2013年 11月 7日
133

134. パフォーマンス計測・監視サービス
モバイルアプリケーションの
計測⼿手法
©2013 Keynote Systems, Inc..
2013年 11月 7日
134

135. 2013年 11月 7日
MDP (Mobile Device Perspective)
インターネットのエッジサイドで、スマートフォン実機でネイティブアプリのパフォーマンスを計測します。通信は
実際のSIMを使った携帯網もしくはインターネット回線を利利⽤用します。
計測間隔は、5分、15分、30分、1時間のいずれかを選択できます。
SoftBank
Gateway
3G/4G回線
スマートフォン実機
docomo
Gateway
Last Mile
計測Agent
application server
Middle Mile
135
First Mile

136. Mobile Device Perspective (MDP)
H
実機を使った計測・監視の自動化
Trouble occurs in
remote location
課題:
§ ネイティブアプリ開発者は、複
数の種類の端末におけるパ
フォーマンス計測を継続して行
う必要がある。
§ そのためには、多くの時間とリ
ソース、そして資金が必要。
1. アラートがお客様に
問題を通知
解決策:
§ KeynoteのMDPサービスはど
の場所のどの端末においても
自動化されたテストを行うこと
が可能。
§ お客様は継時的にパフォーマ
ンス監視を行い、問題が発生
すればアラートを受け取ること
が可能。
Internet
Internet
3. お客様は問題の調査を
⾏行行い原因を究明
2. お客様はMyKeynoteのポータルで
トラブルシューティングを開始
4. お客様は問題のあったところのス
クリーンショットを開発チームに
送って修正を速やかに⾏行行うことが
可能に。
©2012 Keynote Systems, Inc. Keynote & Client Confidential.
2013年 11月 7日
136

137. Mobile Device Perspective (MDP)
H
実機を使った自動計測
実機を使う
計測テストは実機のインターフェー
スで何をどのように操作するかをコ
マンドによって実行する。
“継続的なテスト”が決まった間隔で繰り返し実行される
©2012 Keynote Systems, Inc. Keynote & Client Confidential.
2013年 11月 7日
137

138. MDPデモ
©2012 Keynote Systems, Inc. Keynote & Client Confidential.
2013年 11月 7日
138

139. MDP6.0 新機能: TCP/IPセッション監視
©2013 Keynote Systems, Inc.

140. パフォーマンス計測・監視サービス
ストリーミングの計測⼿手法
©2013 Keynote Systems, Inc..
2013年 11月 7日
140

141. 2013年 11月 7日
StP (Streaming Perspective)
インターネットのエッジサイドで、ストリーミングの配信クオリティを計測します。
計測間隔は、5分、15分、30分、1時間のいずれかを選択できます。1分間動画を再⽣生します。
エンドユーザ
NTT
streaming server
KDDI
エンドユーザ
Middle Mile
Last Mile
１次ISP
First Mile
計測Agent
141

142. ぐるなびのストリーミングの配信状況
©2013 Keynote Systems, Inc.
2013年 11月 7日
142

143. 何で時間がかかっているのかが⼀一⽬目瞭然
©2013 Keynote Systems, Inc.
2013年 11月 7日
143

144. サーバの問題か、途中経路路の問題か？
©2013 Keynote Systems, Inc.
2013年 11月 7日
144

145. 開発テスト
KITE, MITE,
DEVICEANYWHERE
©2013 Keynote Systems, Inc..
2013年 11月 7日
145

146. KITE (Keynote Internet Testing Environment)
– 無料料
§
ローカルPC上でのIE、Firefoxのパフォーマンス検証、TxP、ApP、CTxP、CApPの計測⽤用スクリプト作成の機能を持ちます。
http://kite.keynote.com/
2013年 11月 7日
146

147. MITE (Mobile Internet Testing Environment)
§ ローカルPC上でのモバイルサイトの動作・パフォーマンス検証、MWPの計測⽤用スクリプト作成
– 無料料
の機能を持ちます。
世界で発売されている主要携帯機器2,600機種、OSの違いを含めて18,000プロファイルを⽤用意して
います。
http://mite.keynote.com/
2013年 11月 7日
147

148. DeviceAnywhere Studio
§
実機での検証をデスクトップ上からリモートで⾏行行うことができます。
APKファイルもローカルからネットワーク経由でアップロードすることが可能です。
2013年 11月 7日
148

149. DeviceAnywhere Studio – テストの⾃自動化
§
各デバイスの機能を抽象化して、OS・物理理構造の違いを吸収します。
1つのスクリプトで、複数の異異なるデバイスでの⾃自動テストを可能とします。
2013年 11月 7日
149

150. DeviceAnywhere Free
2013年 11月 7日
150

151. 負荷テスト
TSP、MANAGED TSP,
LOADPRO
©2013 Keynote Systems, Inc..
2013年 11月 7日
151

152. 2013年 11月 7日
TsP (Test Perspective) ― 負荷テスト
インターネット経由で負荷センターから⼤大規模な接続を⽣生成し、システムのキャパシティとWeb表⽰示速度度を計測しま
す。
負荷⽣生成
同時接続100〜～10,000,000 VU（Virtual User）規模まで対応しています。
センター
web server
Virtual User
First Mile
Middle Mile
計測Agent
152
Last Mile

153. 現在の⽇日本における負荷テストの問題点
§ 同時ユーザ数（Concurrent User）モデルは、負荷を表す
のに適切切ではない。
§ 同時ユーザ数は、レストランで例えると、席に着いている「お客様数」
§ レストランにとっての問題は、どのようなタイミングで、どのような料理の
オーダーが来るか
§ サーバにとっての問題は、どのようなタイミングで、どのページへのHTT
Pのリクエストが来るか？
§ Web・モバイルサイトのシステムに取って、負荷とは、同時ユーザ数（セ
ッション管理の負荷）だけではなく、1秒あたりの「生成要求ページ数」の
方が大事な指標値
§ 同時ユーザ数と、生成要求ページ数は分けて考えるべき
©2012 Keynote Systems, Inc..
2013年 11月 7日
153

154. 同時ユーザアクセスとは、レストランに例例えると
席に着いたお客様数
©2012 Keynote Systems, Inc..
2013年 11月 7日
154

155. ユーザの⾏行行動や⽣生成ページの多様性を考慮しない負荷テス
トは、回転率率率の良良い吉野家みたいなもの
©2012 Keynote Systems, Inc..
2013年 11月 7日
155

156. 「回転率率率の良良い」単品料料理理のお⾷食事処モデルの負荷テスト
でいいのか？
§ 限られた動線しかないサイトであればOK
§ 入力するページが殆どない。入力に時間が殆どかからない。
§ すぐにユーザがやりたい事ができて終わる（回転率が高い）
§ しかし、実際のWebサイトやモバイルサイトで、そのよ
うなものは少ない
§ ショッピングサイトの場合
§ Topページ→ページ閲覧→検索→詳細→買い物かご→ログイン→決済→確
認
§ まず、閲覧に時間がかかる
§ 検索で時間がかかる
§ 詳細を見て、気に入らなければ、検索結果に戻って他の商品を見る
§ どう見ても、一直線で事を終えられるような「回転率が良い」行動には思え
ない
©2012 Keynote Systems, Inc..
2013年 11月 7日
156

157. ユーザ⾏行行動モデリング
LoadProは、全てのユーザの⾏行行動が同じではない事実を負荷テストにおいて
重視しています。以下のユーザの5つの要素を分析します。
精通度度
執着度
接続スピード
遅延許容度度
©2012 Keynote Systems, Inc..
操作反応速度度
2013年 11月 7日
157

158. ユーザ⾏行行動モデル
ユーザ⾏行行動の可変要素
§
精通度度
§
§
執着度度
§
§
対象サイトで操作する際、ユーザはしっかり集中して操作するでし
ょうか? それともテレビを見ながら、あまり集中せずに操作を進め
るでしょうか?
接続速度度
§
§
対象サイトはパフォーマンスが悪くても粘り強くユーザが待つよう
なコンテンツを提供しているでしょうか? それとも、すぐに離脱して
しまうでしょうか?
操作反応速度度
§
§
対象サイトは新規ユーザ、リピートユーザのどちらが多いでしょ
うか？もしくは、半々ぐらいの割合でしょうか?
対象サイトへの接続するユーザは、どのような接続で訪問してい
るでしょうか? (モデム、ADSL、光回線、モバイル)
遅延許容度度
§
対象サイトのパフォーマンスの遅延状況にどれだけフラストレーシ
ョンを感じているでしょうか?
これらの変数によって数千ものユニークユーザをあらわせ
ます。
©2012 Keynote Systems, Inc..
2013年 11月 7日
158

159. 地域毎に実際のトラッフィックで外からアクセスして計測
§ ユーザは様々な地域、ISPからアクセスしてきます。
§ 世界中に展開してあるKeynoteの計測エージェントで負荷とパフォーマンスの
相関関係を計測できます。
©2012 Keynote Systems, Inc..
2013年 11月 7日
159

160. 地理理的なテスト⼿手法、ファイヤーウォールの外から
§ ユーザの体験するサイトの速度度が遅くなっても
、それは御社の計測レポートでは、きっと「機
能停⽌止」としてはレポートされないでしょう。
しかし、ユーザにとっては、サイトが「落落ちた
」と認識識されます。
§ 時間が経過して、ユーザから苦情が寄せられた
時は対処するには「時、既に遅し」という状況
になっています。
§ 堅牢牢性テストはページのJavaScriptと動的コン
テンツ (AJAXやFLASH等)をエミュレートする
だけです。
©2012 Keynote Systems, Inc..
2013年 11月 7日
160

161. 現実的なテスト⼿手法が、現実的な結果を⽣生み出す
サーバ側で認識識している「同時ユーザ数」の後ろに、接続を待っているユーザが居る。
10 ,0 0 0
70 0
9 ,0 0 0
600
50 0
7,0 0 0
6 ,0 0 0
400
5,0 0 0
300
4 ,0 0 0
3 ,0 0 0
200
2 ,0 0 0
10 0
1,0 0 0
0
パフォーマンス（秒）
8 ,0 0 0
0
0
5
10
15
20
25
30
35
40
45
50
55
60
M in u te s
経過時間（分）
同時ユーザ数 Us ers
C oncurrent
©2012 Keynote Systems, Inc..
セッション数/時間
S es s ions
per
H our
応答速度度e
T ime
R es pons
2013年 11月 7日
161

162. プライバシー情報 (Cookie) 追跡
WEB PRIVACY TRACKING
©2013 Keynote Systems, Inc..
2013年 11月 7日
162

163. WPT (Web Privacy Tracking)
§
Third Party Cookieによる個⼈人情報が、どこまで参照されているのかを調査します。
2013年 11月 7日
163

164. 世界の殆どのモバイルキャリアが使う携帯網監視
KEYNOTE SIGOS ー SITE
©2013 Keynote Systems, Inc..
2013年 11月 7日
164

165. World-wide customers
Customer
Not yet a
customer

166. Network Topology + SITE
BSC
BTS
CDR
CIMD
GGSN
GMSC
GPRS
GSM
HLR
IP
ISDN
ISUP
LTE
MGW
MMSC
MSC
PBX
PSTN
RNC
SGSN
SITE
SMPP
SMSC
UCP
UMTS
Base Station Controller
Base Transceiver Station
Call Detail Record
Computer Interface to Message Distribution
Gateway GPRS Support Node
Gateway MSC
General Packed Radio Service (2.5G)
Global System for Mobile Communication (2G)
Home Location Record
Internet Protocol
Integrated Service Digital Network
ISDN User Part
Long Term Evolution (4G)
Media Gateway
MMS Centre
Mobile Switching Centre
Private Branch Exchange
Public Switched Telephone Network
Radio Network Control
Serving GPRS Node
SIGOS Integrated Test Environment
Short Message Peer to Peer
Short Message Service Centre
Universal Computer Protocol
Universal Mobile Telecommunications
System (3G)
UTRAN UMTS Terrestrial Access Network
VLR
Visitor Location Register

167. Central SIM Multiplexing
SIM Multiplexer
(Basic) Call
SIM
card
Selectio
n
Central
Unit
LAN /
WAN
Local Units
Interface
s
Core Network
Interfaces
Virtual SIM
Card Transfer
Compact
Local Units
LTE/UMTS/HSPA+ Uu
UMTS/HSPA/HSPA+
Interface
Uu Interface
Radio Interfaces

168. Anywhere + AnytimeCentral Unit
Clients
SIM Multiplexer
permanent IP
connection
LAN /
WAN
Mobile LU
§
Hundreds of static test
locations
Full internal synchronization
§
Central SIM Multiplexing
§
Local Unit
(LU)
Quasi permanent
IP connection
§
Via VPN server
§
Self-sufficient test
execution
§
Drive service testing
Wireless
LU
NomadicW
permanent
IP
connection
Via VPN Server &
GPRS/EDGE/
HSPA modem
NomadicF
Compact
LU

169. Services & Interfaces
S I T E Solution Tests ALL
Network Services
Network Interfaces
SPEECH
DATA
MESSAGING
FIXED
RADIO
IP
CORE
Voice
Data IP (CS/PS)
SMS
ISDN S0
HSPA
WLAN
IuCS / IuPS
Voice Quality
Web / WAP
Browsing
MMS
ISDN PRI S2m
UMTS Uu
DSL
GSM Gb
Suppl. Services
WLAN
Mobile IM
PSTN a/b
GSM Um
Ethernet
GSM A
IVR
E-mail
iPhone
EDGE
MM7
ISUP
Push-to-Talk
Streaming
BlackBerry
CDMA 2000
SMPP,
UCP, CIMP
SS7
VoIP
Video Telephony
GSM-R
SMTP / IMAP
IN / CAMEL
Echo
Video Quality
LTE Uu
SYNERGIES
VAS (Value Added Services),
IREG Scenarios,
Digital Rights Management
MAP (HLR/VLR)
LTE S1

170. Web Portal for SITE Login

171. Graphical User Interface
§ User friendly
§ WEB Interface:
easy access via
internet
§ XML interface:
integration for SITE
Test cases
overview
Tests/reports
in one tree
Reports
overview

172. Reporting and Alarming
§ Tree-oriented
definition and
scheduling
§ Large libraries of
test cases
§ Simple and
convenient dragand-drop option
§ Single or multiple
KPIs in one chart
§ Parallel display of
multiple chart
windows
Report
Editor
Toolbox for
test cases
and reports
Report
status

173. Reporting and Alarming
§ Matrix Report
§ Service Alarm Map (SAM)
§ Dashboard

174. 計測による「可視化」
まとめ

175. 歩留留り（客観的データ）でサイトの品質を診る
§ Webサイトの普及によって、ソフ
トウェア開発に、「⽣生産」のフェ
ーズができた。
§ 今まで、ソフトウェア産業に「
⽣生産」はなかった。
§ 半製品や部品である各種ファイ
ルを、インターネットという「ベ
ルトコンベア」に載せて、ユーザ
の端末上で組み⽴立立てる。
§ エンドユーザサイドでの「歩留留り
」を監視しなければ、⾃自社のサー
ビスが確実に届いているかはわか
らない。
©2013 Keynote Systems, Inc.
2013年 11月 7日
175

176. 彼を知り⼰己を知れば百戦危うからず
（孫⼦子の兵法）
↓
データを持っていない
↓
競合についても、⾃自社についても、知らなさ過ぎる
↓
負けるに決まってる
©2013 Keynote Systems, Inc.
2013年 11月 7日
176

177. お問い合わせ
§ 各サービス詳細資料料については、Slideshareよりダウン
ロード頂けます。
§ http://www.slideshare.net/takehora/presentations
§ ⽇日本語Webサイトにサービス概要を掲載しております。
§ http://www.keynotesystems.jp/
§ Facebookファンページで最新情報をご覧頂けます。
§ https://www.facebook.com/KeynoteSystemsJapan
§ またブログでも記事を配信しています。
§ http://blog.keynotesystems.jp/
§ 価格については、営業窓⼝口までお問い合わせ下さい。
§ （contact@keynotesystems.jp）
2013年 11月 7日
177

178. Q&A
©2013 Keynote Systems, Inc.
2013/11/07
178