Webパフォーマンス計測の勘所 2013-07-05

Webパフォーマンス計測の勘所 2013-07-05
Webパフォーマンス計測の勘所統計分析⼿手法に基づいた「正しい」計測 ©2013 Keynote Systems, Inc. Keynote Systems, Inc. Technical Business Representative ⽵竹洞洞陽⼀一郎郎 Yoichiro.Takehora@keynote.com
⾃自⼰己紹介 §  Keynote Systems…Technical Business Representative §  やってきた事 §  Layer1～7の技術 §  定量化・定性化分析手法（Function Point法、COCOM II） §  システム最適化 §  Lotus Notes → Windowsのシステム構築 → Unix/Linuxのシステム構築 → メール → Webシステム → ユーザビリティ→システム開発見積り・IT不良資産 → 仮想マシン → CDN、Web高速化、ストリーミング、RMT問題 → Webコンサルティング（パフォーマンス、UX） §  配信情報 §  Keynote Systems Japan 公式サイト（http://www.keynotesystems.jp/） §  Keynote Webパフォーマンスコミュニティ（https://www.facebook.com/KeynoteSystemsJapan） §  Keynote Systems Japan公式Blog （http://blog.keynotesystems.jp/） §  各種資料 http://www.slideshare.net/takehora/presentations 2013年 7月 5日 2©2013 Keynote Systems, Inc.
Keynote Systemsについて •  アメリカ合衆国カリフォルニア州サンマテオに本社を置く •  1995年年創業、1999年年NASDAQ上場, 2013年年⾮非上場 •  Web、モバイル、ストリーミングのパフォーマンス計測のサービスを主とする •  計測の分野におけるマーケットリーダー •  顧客数4,000社以上 •  計測拠点275ヵ所 •  計測⽤用コンピュータ7,000台以上 2013年 7月 5日 3©2013 Keynote Systems, Inc.
4 New MediaAutomotive Retail Financial Services Technology & Telecom TravelPortals/Media Business-to-Business Keynoteをご採⽤用頂いているお客様 ©2013 Keynote Systems, Inc. 2013年 7月 5日
あなたの会社のWebサイトが1⽇日1万PVを超えているなら、今⽇日の話は重要です。 2013年 7月 5日 5©2013 Keynote Systems, Inc.
WEBパフォーマンス計測の勘所統計分析⼿手法に基づく 2013年 7月 5日 6©2013 Keynote Systems, Inc.
「進撃の巨⼈人」 2013年 7月 5日 7©2013 Keynote Systems, Inc.
「急所」を狙え！ 2013年 7月 5日 8©2013 Keynote Systems, Inc.
General Rule Book ― 鵜呑みにしない事 2013年 7月 5日 9©2013 Keynote Systems, Inc.
「急所」を判別して改善する §  80:20の法則（パレートの法則）〜～冪乗則 §  全体の数値の大部分は、全体を構成するうちの一部の要素が生み出している 2013年 7月 5日 10©2013 Keynote Systems, Inc..
⾃自社Webシステムの「急所」はどこだ？ 2013年 7月 5日 11©2013 Keynote Systems, Inc.
統計分析⼿手法でWebサイトの「急所」を探り当てる §  データの取り⽅方が⼤大事 §  データは、どのように計測すれば良良いのか？ §  統計学で、⼿手法が確⽴立立している 2013年 7月 5日 12©2013 Keynote Systems, Inc..
実験計画法 §  1920年年代に、統計学の⼤大家、R・A・フィッシャーが確⽴立立 §  効率率率のよい実験⽅方法をデザインし、結果を適切切に解析することを⽬目的とする統計学の応⽤用分野 §  品質管理理のタグチメソッドの基礎 2013年 7月 5日 13©2013 Keynote Systems, Inc.
実験計画法〜～3つの原則 §  3つの原則 §  局所管理化：影響を調べる要因以外のすべての要因を可能な限り一定にする。 §  反復：実験ごとの偶然のバラツキ（誤差）の影響を除くために同条件で反復する。 §  無作為化（ランダム化）：以上でも制御できない可能性のある要因の影響を除き、偏りを小さくするために条件を無作為化する。例えば実験を行う空間的・時間的順序の影響があるかもしれないから、決まった順序でなく実験のたびに無作為に順序を決めるなど。 2013年 7月 5日 14©2013 Keynote Systems, Inc.
「Big Data」より「Actionable Data」 §  「データを何に使いたいのか」という⽬目的が、データの取得⽅方法に⼤大きな影響を与える §  監視したいのか？計測したいのか？ §  要因を固定し、条件を統⼀一する §  コントロール可能な「主変数」にフォーカスする 2013年 7月 5日 15©2013 Keynote Systems, Inc.
コントロール可能な3つの「主変数」 2013年 7月 5日 16 Last Mile First Mile Middle Mile web server エンドユーザ NTT KDDI エンドユーザ１次ISP 1. ネットワーク 2. HTML/CSS/JavaScript 3. システム負荷/性能
Webパフォーマンスの「主成分」 2013年 7月 5日 17©2013 Keynote Systems, Inc.
ボトルネックを考える §  「データベース」が常にボトルネックではない §  インターネット網の不安定さ §  ⾃自社コンテンツだけを⾒見見てはいけない §  サードパーティーコンテンツの不安定さ 2013年 7月 5日 18©2013 Keynote Systems, Inc.
サードパーティーの影響パフォーマンスの劣劣化の原因が、全て⾃自社以外のドメインからの配信 19
Web Content Web Users $ 50X50X 20X20X 6X 6X $$ $$$ $$$ $$$ First Mile Tier 1 ISPs Local ISPs Last Mile Middle Mile インターネットインフラへの投資⽐比率率率 2013年 7月 5日
データの取り⽅方 2013年 7月 5日 21 Last Mile First Mile Middle Mile web server エンドユーザ NTT KDDI エンドユーザ１次ISP RUM （Real User Monitoring） Synthesis Monitoring Systems/Server side Monitoring
3つの計測⽅方法を組み合わせる事で補完し合う §  Systems/Server Side Monitoringの弱点 §  インターネット網の影響がわからない §  サードパーティーコンテンツの影響がわからない §  Synthesis Monitoringの弱点 §  選択された計測拠点の値しかわからない §  選択された合成アクセスのページ遷移でしか値がわからない §  Real User Monitoringの弱点 §  変数がわからない §  計測値が確実に取得できるとは限らないため、データの偏りが生じる 2013年 7月 5日 22©2013 Keynote Systems, Inc.
「観察者効果」の問題 §  観察するという⾏行行為が観察される現象に変化を与えてしまう問題 §  例例えば、電⼦子を⾒見見ようとすると、まず光⼦子がそれと相互作⽤用しなければならず、その相互作⽤用によって電⼦子の軌道が変化する §  エンドユーザを「観察」しようとJavaScriptを⼊入れることで、そのJavaScript⾃自体がパフォーマンスの遅延などの変化をもたらす §  行動解析用ビーコンが表示の遅延をもたらし、離脱率を上げる §  RUMのJavaScriptが、表示速度の遅延をもたらす §  広告効果測定ビーコンが、ページ表示の遅延をもたらす 2013年 7月 5日 23©2013 Keynote Systems, Inc.
Last Mile First Mile Middle Mile 24 2013年 7月 5日 web server モバイルシミュレータ計測Agent SoftBank Gateway docomo Gateway NTT 3G/4G回線インターネット回線モバイル（スマートフォンサイト）の計測
制約の多いモバイルネットワーク §  電波⼲干渉という問題 §  ユーザがそこに多く居るからと言って、電波塔（基地局）は増やせない §  基地局を乱立するとどうなるか? – “Dirty WiFi”と同じ状況に §  電波の「谷間」～基地局と基地局の中間点 §  「繋がる」事と「通信できる」事は、違う §  アンテナの表示が5本中5本立った! → 電波強度が十分というだけ §  携帯基地局は、混雑するとネットワークを守るためにパケットを意図的にドロップする §  レイテンシの問題 §  モバイルネットワークのレイテンシは100～200ms 2013年 7月 5日 25©2013 Keynote Systems, Inc..
郊外の基地局配置⾊色の違い＝チャネルのグループの違い。 NTTドコモの場合、 800MHz帯を使い、 15MHzの幅がある。それを12.5KHz幅で区切切ることで、 15MHz/12.5KHz = 1200チャネルを持つ。もし7つのグルーピングを作るとすると、各基地局は 1200/7≒170チャネルとなる。
都市部の基地局配置
ソフトバンクの「マイクロセル化」 2013年 7月 5日 28©2013 Keynote Systems, Inc..
携帯網のパケットドロップ率率率の影響 §  無線基地局のパケットドロップ率率率が20%、1パケット1KBの場合 1.  全部で100KBのデータを送信する場合 §  失敗回数の期待値＝{100×(1-0.8)}÷0.8=25 §  失敗回数の分散={100×(1-0.8)}÷0.8^2 =31.25 §  失敗回数の標準偏差は、31.25の平方根、約6となります。 §  2σの考え方だと、下値＝失敗回数の期待値－2×失敗回数の分散の平方根上値＝失敗回数の期待値＋2×失敗回数の分散の平方根 §  2σ（シグマ）の範囲を計算すると、(25－2×6, 25+2×6)=(13, 37) 95%の確率で13～37回の失敗（パケットドロップ）が発生します。 2.  全部で1,000KBのデータを送信する場合 §  失敗回数の期待値＝{1,000×(1-0.8)}÷0.8=250 §  失敗回数の分散={1,000×(1-0.8)}÷0.8^2 =312.5 §  失敗回数の標準偏差は、312.5の平方根、約18となります。 §  2σ（シグマ）の範囲を計算すると、(250－2×18, 250+2×18)=(214, 286) 95%の確率で214～286回の失敗（パケットドロップ）が発生します。
歩留留り（客観的データ）でサイトの品質を診る §  Webサイトの普及によって、ソフトウェア開発に、「⽣生産」のフェーズができた。 §  今まで、ソフトウェア産業に「⽣生産」はなかった。 §  半製品や部品である各種ファイルを、インターネットという「ベルトコンベア」に載せて、ユーザの端末上で組み⽴立立てる。 §  エンドユーザサイドでの「歩留留り」を監視しなければ、⾃自社のサービスが確実に届いているかはわからない。 2013年 7月 5日 30©2013 Keynote Systems, Inc.
スマートフォンサイトのSSLの問題点 Googleアナリティクスのビーコンが遅い。広告測定ビーコンが遅延の要因にサイズの⼩小さな画像の多⽤用。これをCSSスプライトにすることで、10秒⾼高速化することが可能に。 HTMLのページ⽣生成で、ディスクアクセスが遅いフォーム⼊入⼒力力チェック⽤用Ajax通信が発⽣生。スマートフォンサイトでは致命傷 SSLが遅延の要因に 31
Mobile E-Commerce Top20 – SoftBank – May29th – June19th 2013年 7月 5日 32©2013 Keynote Systems, Inc.
Mobile E-Commerce Top20 – DoCoMo – May29th – June19th 2013年 7月 5日 33©2013 Keynote Systems, Inc.
2013年 7月 5日 34©2013 Keynote Systems, Inc. Amazon Japan 某社約6倍約10倍 2013年年4⽉月15⽇日 11:11:29 2013年年4⽉月15⽇日 11:05:26
Amazon Japanの場合 2013年 7月 5日 35©2013 Keynote Systems, Inc.
Amazonのパフォーマンス正規分布図 2013年 7月 5日 36©2013 Keynote Systems, Inc. 2013年年4⽉月1⽇日〜～15⽇日
某社の場合 2013年 7月 5日 37©2013 Keynote Systems, Inc.
某社のパフォーマンス正規分布図 2013年 7月 5日 38©2013 Keynote Systems, Inc. 2013年年4⽉月1⽇日〜～15⽇日ここに原因が⾒見見つけられる
モバイル回線品質改善 – DoCoMo VS SoftBank 2013年 7月 5日 39©2013 Keynote Systems, Inc.
モバイルを「知っている」サイトと「知らない」サイトの違い 2013年 7月 5日 40©2013 Keynote Systems, Inc.
ちょっと改善しただけで、アクセス数30%増 41
Amazonの徹底したデータドリブン主義 §  「ミーティングではデータを重視し、データに基づいて発⾔言することを求める。そして、データが⽰示すどんな細かな兆候も⾒見見逃さない。ベゾス⾃自らが顧客のフィードバックに⽬目を通していることもよくあるという。」 ― 東洋経済ONLINE http://toyokeizai.net/articles/-/13212 §  御社は、ミーティングで使う「データ」をお持ちですか？ 2013年 7月 5日 42©2013 Keynote Systems, Inc..
何故、Amazonは速さにこだわるのか？ §  Amazonでは、1秒速くなる毎に、10%売上が向上するから。 2013年 7月 5日 43©2013 Keynote Systems, Inc.
Webパフォーマンスと訪問者数 Internet Explorer、Firefoxの場合 2013年 7月 5日 44©2013 Keynote Systems, Inc.
Webパフォーマンスと訪問者数 iPhone、Androidの場合 2013年 7月 5日 45©2013 Keynote Systems, Inc.
Webパフォーマンスとページビュー数 Internet Explorer、Firefoxの場合 2013年 7月 5日 46©2013 Keynote Systems, Inc.
Webパフォーマンスとページビュー数 iPhone、Androidの場合 2013年 7月 5日 47©2013 Keynote Systems, Inc.
Webパフォーマンスと直帰率率率 Internet Explorer、Firefoxの場合 2013年 7月 5日 48©2013 Keynote Systems, Inc.
Webパフォーマンスとコンバージョンレート Internet Explorer、Firefoxの場合 2013年 7月 5日 49©2013 Keynote Systems, Inc.
Webパフォーマンスとコンバージョンレート iPhone、Androidの場合 2013年 7月 5日 50©2013 Keynote Systems, Inc.
相関図を作ることで、現在の収益への影響の主変数がコンテンツ要因かパフォーマンス要因かがわかる。 2013年 7月 5日 51©2013 Keynote Systems, Inc. パフォーマンスコンバージョン
結果に影響を及ぼす変数を考える 2013年 7月 5日 52©2013 Keynote Systems, Inc. 表⽰示速度度の定量量評価無しでは、 PV、CV、直帰率率率は正しく評価できない
ライリーの⼩小売引⼒力力の法則(W.F.Reilly, 1929) 2013年 7月 5日 53©2013 Keynote Systems, Inc. P=α＊A/D^2 P=購⼊入確率率率、α＝係数、A＝魅⼒力力、D＝距離離（サイト速度度）購⼊入確率率率は、⼈人⼝口ないし品揃えに⽐比例例し、距離離（サイト速度度）の⼆二乗に反⽐比例例する
ログ解析しかやっていないサイトは危ない §  せっかくコンテンツを新しくしても、 §  マーケティングキャンペーンをやっても、 §  新商品を売り出しても、 §  パフォーマンスで⾜足が引っ張られていた場合、正しくそれらの影響を評価できない。 §  商売をしているなら、ちゃんとパフォーマンスは計測しましょう。 2013年 7月 5日 54©2013 Keynote Systems, Inc.
彼を知り⼰己を知れば百戦危うからず（孫⼦子の兵法） ↓ データを持っていない ↓ 競合についても、⾃自社についても、知らなさ過ぎる ↓ 負けるに決まってる 2013年 7月 5日 55©2013 Keynote Systems, Inc.
お問い合わせ §  各サービス詳細資料料については、Slideshareよりダウンロード頂けます。 §  http://www.slideshare.net/takehora/presentations §  ⽇日本語Webサイトにサービス概要を掲載しております。 §  http://www.keynotesystems.jp/ §  Facebookファンページで最新情報をご覧頂けます。 §  https://www.facebook.com/KeynoteSystemsJapan §  またブログでも記事を配信しています。 §  http://blog.keynotesystems.jp/ §  価格については、営業窓⼝口までお問い合わせ下さい。 §  （和泉：maki.izumi@keynotesystems.jp） 2013年 7月 5日 56
Q&A 2013/07/05 57©2013 Keynote Systems, Inc.
参考資料料お時間があるときにでも⾒見見ておいてください 2013年 7月 5日 58©2013 Keynote Systems, Inc.
数学（統計学）の重要性 2013年 7月 5日 59©2013 Keynote Systems, Inc. データを「正しく」分析すれば、未来が予測できる
太っているのか？痩せているのか？ 2013年 7月 5日 60©2013 Keynote Systems, Inc. 60Kg ⾝身⻑⾧長がわからなければ、太っているのか痩せているのかは、わからない
⾒見見るべき数値は⾜足りているのか？ §  訪問者数、ページビュー数、直帰率率率、コンバージョン率率率の数値だけで⼗十分なのか？ ↓ ⾝身⻑⾧長を知らずに体重を眺めるようなもの §  今期の売上の理理由は？ §  マーケティングキャンペーンの影響？ §  時期？ §  コンテンツの改善の影響？ §  新商品の影響？ §  価格改定の影響？ §  ユーザーインターフェース改変の影響？ 2013年 7月 5日 61©2013 Keynote Systems, Inc.
Webパフォーマンスの影響 2013年 7月 5日 62©2013 Keynote Systems, Inc.. 88% 11% 7% 2倍 16% 1秒速くなる毎のブランドイメージアップ 1秒速くなる毎のCVの向上 1秒速くなる毎のPVの向上 1秒遅くなる毎の顧客満⾜足度度低下率率率継続的な計測による顧客満⾜足度度向上
スピード = 価値「今や、250msという速度度が、Webにおける競争⼒力力の強みとなる特別な数字に近い。」 Harry Shum, Microsoft 売上向上 n  10%の売上向上 (1秒⾼高速化される毎に) n  12%の売上向上 (表⽰示速度度が6秒から1.2秒に⾼高速化することによって) n  5%の売上向上 (2秒⾼高速化される毎に) n  最速で表⽰示された場合は50% 以上のPV増加 (最遅表⽰示された場合と⽐比較) n  9%以上のトラフィック増加 (400ms向上される毎に) ⽣生産性向上 n  2%の⽣生産性向上 n  100%の⽣生産性向上 (2.7秒までアプリケーションを⾼高速化した場合) n  エラーが減少、エンジニアリングサイクルが加速、データの統⼀一性の向上 n  25%の⽣生産性向上
Performance Best Practice §  JavaScriptをHTMLの最後に記述する §  CSSをHTMLの最初に記述する §  Keep aliveを使う。Keep aliveの対象数からはみ出るコンテンツがないようにする §  HTMLファイル以外はキャッシュを効かせる §  MIMEが”text/*”か”*javascript*”のものについては圧縮配信する §  CSSを1枚にまとめる §  JavaScriptを1枚にまとめる 2013年 7月 5日 64©2013 Keynote Systems, Inc.
W3C Web Mobile Best Practice http://www.w3.org/TR/mobile-bp/ §  Auto refreshを使わない §  レイアウトのためにTableを使わない §  キャッシュを使う §  フレームを使わない §  テキストフリーにしない（input type=“text”) §  画像のサイズを明⽰示する（height, width） §  画像のALTを明⽰示する §  ポップアップを使わない §  ページタイトルを明⽰示する §  Tableの中にTableを定義しない 2013年 7月 5日 65©2013 Keynote Systems, Inc.

Check these out next

Webパフォーマンス計測の勘所 2013-07-05

Recommended

More Related Content

Similar to Webパフォーマンス計測の勘所 2013-07-05(20)

More from Yoichiro Takehora(16)

Recently uploaded(20)

Webパフォーマンス計測の勘所 2013-07-05