ある朝、こんな電波を受信した( のヮの)   BigDataとセマン         ティックWebですよ!         プロデューサーさん!!         時代はXMLですよ!よし、分かった!
<?xml version="1.0" encoding="UTF-8" ?><presentation><author twid=”muo_jp”>なかざわ けい / KLab Inc. </author><title>キャバァーン!サツバツ...
Google App Engineなど、クラウド系  サービスで気になったセッション
Google Compute Engine   Technical Details  http://www.youtube.com/watch?v=ws2VRHq5ars
まえがきGoogle Compute Engineって何?→Google App Engine(PaaS)に対してIaaSなサービス。Linux仮想マシンを作成して自由にソフトインストールしたり実行したり出来る。つまりはAWSのEC2競合どうや...
GCEの基盤仮想CPU1枚はHyperThreadingのスレッド1本KVM+cgroupsで構成(RedHatと連携)エフェメラルストレージ(インスタンスのローカルディスク)、パーマネントストレージ(ネットワーク越しの永続ストア)共に暗号化し...
超ポイントパーマネントストレージはRead-Onlyで 複数インスタンスからマウント出来る
ネットワーク関連あるプロジェクト内のインスタンス群はVPNで結ばれる プロジェクト内に複数のVPNを作ることも出来る(AWS VPCより はセキュリティグループに近い感じかな…) 他リージョンのインスタンスにもシームレスにアクセス出来るGoog...
Q&Aとか雑多に紹介政府機関で使うためのコンプライアンス規定はクリアしてる?→重要性は認識してるけどまだロードバランサはある?→まだないけど追加する予定複数のインスタンスを起動する際に、なるべく同じ物理マシンに割り当てられるように出来る?→運が...
個人的な使い所なんでもかんでもIaaSにしないで良い∵出来合いの処理を実行するならPaaSのほうが安価で安全データ分析でも、SQLへ落とし込めるならGoogle BigQuery∵自前でデータ構造を作りこむ必要が無いしメンテも不要ここで使うと嬉...
Optimizing YourGoogle App Engine App  http://www.youtube.com/watch?v=zQ5_47zy4bY
まえがき皆さんご存知Google App Engine使い始めてみるとよくある 「あれ?なんか遅くね?」 「あれ?無料枠すぐ無くなるんじゃね?」これ、いくつかポイントを押さえるだけでかなり解消出来るよ。という話
ポイントとにかく、課金を減らすためには実行するインスタンス数とデータストアアクセスを減らすデータストアの設計と使い方を工夫するキャッシュ出来るものはキャッシュするAPI呼び出し回数を減らす(バッチ処理する)可能なものは並列(非同期)処理する
データストアの設計と        使い方を工夫するリクエストごとのコール回数を減らすデータ取得には可能な限りfetchではなくキーのid/nameを使うPythonの場合、fetchではなくrunを使う(メモリ効率が良い)ページングにはカーソ...
キャッシュ出来るものはキャッ              シュするMemcacheを使う よく使われて計算に時間のかかるものを置く ※ただし1MBまでのデータに限る 2ms-5msぐらいはレイテンシがあることに注意インスタンスキャッシュを使う可能...
API呼び出し回数を減らす            (バッチ処理する)API呼び出しのネットワーク遅延を軽減出来る対応しているもの Memcache(get/set) Datastore(put/get/query) Taskqueue(add/...
可能なものは           並列(非同期)処理するCPUがネックとなる処理と、I/Oがネックとなる処理は並列化しやすい安易にやるとアプリケーションの作り方(データ間の依存性)によってはコードを追いづらくなるので要注意対応しているAPI: ...
_人人人人人人人人_> 突然の仕様変更 <   ̄^Y^Y^Y^Y^Y^Y^ ̄
App Engineに”Server”設定が増えるより良く自動スケールさせるためのもの(導入日程未定)フロントエンドサーバ、バックエンドサーバなどのコンポーネント種別によってどのようなスケールをさせるか、という設定は異なるこれをコンポーネント種...
</まえがき>
キャバァーン!サツバツエアアイオー弐〇壱弐    @muo_jp(なかざわ けい) / KLab Inc.
キャバァーン?
ご存知ですか?
特に関係ありません
現地行く?遠隔で観る?  Google I/O
Google I/Oの楽しみ方現地を楽しむ              セッションを聞く  85%        15%
現地の楽しみ方現地企業を訪問する(TwitterとかFacebookとかGoogleとかAppleとか、可能な場合)ベンダー主催のパーティーに参加する観光名所を観てヒャッハーするカニ食べてヒャッハーするクラムチャウダー食べてヒャッハーする現地の...
これだけでも一度行く価値ある
一方セッションは◎ リアルタイムに質問出来る× ネット回線(Wi-Fi)が酷く使えない状態なので関連事項をネットで調べるの辛い× 会場が空いているうちにご飯を食べようと思うと、セッション中座が当たり前× 超人気セッション(ADKとか)になるとか...
☝( ◠◠ )☝ めっちゃストレス
セッション中座が当たり前
なら会期後に動画でおk
でもセッション観るのに  時間かかるよね
問題無い( ー`дー́)キリッ
動画4つぐらいは案外同時に観れる
いやいや無理やで
かといってYouTubeで観るのもシーン飛ばしたり戻したりめんどい
は 屋動画は動画プレイヤー
用意するのは、どのご家庭にもあるVLC(フリー動画プレイヤー)   •再生速度変更機能(x0.5, x1.0, x1.5, x2.0)   •4秒飛ばす/戻すなど、かゆいところに手が届く機能   •豊富なショートカット編集機能
←お勧めショートカット
あと、動画本体のダウンロード。これは合法行為(2012/07/21時点)です
クラウド系(GAE/GCE/GCS)セッションは18本(720pで10GB)
発表準備にあたり観たのは8本
基本x1.5再生 → キーでスキップして興味惹かれるスライドあればちょい戻る
かかったのは3時間弱
なんとかなる
I/O初日I/O Extendedというイベントが
エアI/Oですよ
←気付いたらめっちゃツイートしてたhttp://twilog.org/muo_jp
正直めっちゃ楽しかったっす(*́ω`*)
少しだけその様子を紹介
I/O初日は6/27の深夜スタート
超楽しかった(*́ω`*)
そんなわけで
ものを作って公開するまでがI/Oです  (超意訳)
俺達のI/O(主にO)はまだ始まったばかりだ!! Google先生の次回作にご期待ください
<thanks for=”listening” /></presentation>
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
Upcoming SlideShare
Loading in …5
×

キャバァーン! サツバツエアアイオー弐〇壱弐

1,494 views
1,423 views

Published on

http://atnd.org/events/28303

0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,494
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
5
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • \n
  • キャバァーン! サツバツエアアイオー弐〇壱弐

    1. 1. ある朝、こんな電波を受信した( のヮの) BigDataとセマン ティックWebですよ! プロデューサーさん!! 時代はXMLですよ!よし、分かった!
    2. 2. <?xml version="1.0" encoding="UTF-8" ?><presentation><author twid=”muo_jp”>なかざわ けい / KLab Inc. </author><title>キャバァーン!サツバツエアアイオー弐〇壱弐</title><まえがき>Google I/Oで気になったクラウド系セッションのまとめ
    3. 3. Google App Engineなど、クラウド系 サービスで気になったセッション
    4. 4. Google Compute Engine Technical Details http://www.youtube.com/watch?v=ws2VRHq5ars
    5. 5. まえがきGoogle Compute Engineって何?→Google App Engine(PaaS)に対してIaaSなサービス。Linux仮想マシンを作成して自由にソフトインストールしたり実行したり出来る。つまりはAWSのEC2競合どうやって試せばいいの?→まだ一般公開されてない。 http://cloud.google.com/products/compute-engine.html から事前登録受付中
    6. 6. GCEの基盤仮想CPU1枚はHyperThreadingのスレッド1本KVM+cgroupsで構成(RedHatと連携)エフェメラルストレージ(インスタンスのローカルディスク)、パーマネントストレージ(ネットワーク越しの永続ストア)共に暗号化して保存99.999%以上のデータ保持信頼性
    7. 7. 超ポイントパーマネントストレージはRead-Onlyで 複数インスタンスからマウント出来る
    8. 8. ネットワーク関連あるプロジェクト内のインスタンス群はVPNで結ばれる プロジェクト内に複数のVPNを作ることも出来る(AWS VPCより はセキュリティグループに近い感じかな…) 他リージョンのインスタンスにもシームレスにアクセス出来るGoogleサービス群へのアクセスレイテンシがかなり小さいElastic IPのように、外向けのIPアドレスをアタッチすることで外部向けサービスを運用出来る 外向きのSMTP通信は禁止されている 通るプロトコルはUDP、TCP、ICMPのみ
    9. 9. Q&Aとか雑多に紹介政府機関で使うためのコンプライアンス規定はクリアしてる?→重要性は認識してるけどまだロードバランサはある?→まだないけど追加する予定複数のインスタンスを起動する際に、なるべく同じ物理マシンに割り当てられるように出来る?→運が良ければプロジェクト間の連携はどうやる?→GCEのAPIを使って叩くのが基本他のGoogleサービス(AppEngineとか)との通信レイテンシは?→かなり小さい。びっくりするほど小さいAPIセットがEC2の丸パクらしいので移行簡単みたい(事例だと2週間で運用開始までいけたと)
    10. 10. 個人的な使い所なんでもかんでもIaaSにしないで良い∵出来合いの処理を実行するならPaaSのほうが安価で安全データ分析でも、SQLへ落とし込めるならGoogle BigQuery∵自前でデータ構造を作りこむ必要が無いしメンテも不要ここで使うと嬉しいはず App Engineでは書きにくい、独自の処理が必要 x86/x64ネイティブバイナリを実行したい 既存の構成をそのままGoogle基盤上で動作させたい
    11. 11. Optimizing YourGoogle App Engine App http://www.youtube.com/watch?v=zQ5_47zy4bY
    12. 12. まえがき皆さんご存知Google App Engine使い始めてみるとよくある 「あれ?なんか遅くね?」 「あれ?無料枠すぐ無くなるんじゃね?」これ、いくつかポイントを押さえるだけでかなり解消出来るよ。という話
    13. 13. ポイントとにかく、課金を減らすためには実行するインスタンス数とデータストアアクセスを減らすデータストアの設計と使い方を工夫するキャッシュ出来るものはキャッシュするAPI呼び出し回数を減らす(バッチ処理する)可能なものは並列(非同期)処理する
    14. 14. データストアの設計と 使い方を工夫するリクエストごとのコール回数を減らすデータ取得には可能な限りfetchではなくキーのid/nameを使うPythonの場合、fetchではなくrunを使う(メモリ効率が良い)ページングにはカーソルを使う(LIMIT/OFFSETを使うとめっちゃ遅い)構造化データを格納するには埋め込みエンティティを使う不要なものについてはプロパティのindexed指定をFalseにする不要なカラムまで取得しないようにする
    15. 15. キャッシュ出来るものはキャッ シュするMemcacheを使う よく使われて計算に時間のかかるものを置く ※ただし1MBまでのデータに限る 2ms-5msぐらいはレイテンシがあることに注意インスタンスキャッシュを使う可能なものはcache-controlでブラウザキャッシュを使う
    16. 16. API呼び出し回数を減らす (バッチ処理する)API呼び出しのネットワーク遅延を軽減出来る対応しているもの Memcache(get/set) Datastore(put/get/query) Taskqueue(add/lease_tasks) Full Text Search(index.add)
    17. 17. 可能なものは 並列(非同期)処理するCPUがネックとなる処理と、I/Oがネックとなる処理は並列化しやすい安易にやるとアプリケーションの作り方(データ間の依存性)によってはコードを追いづらくなるので要注意対応しているAPI: Blobstore(create_upload_url_async, delete_async),Memcache(get/set/delete-multi, incr/decr他), URLFetch, Datastoreコールバック処理を自前で書くか、ndb.taskletを使うか ndb.taskletを使うと、ある部分のロジックに限定して並列化が可能 https://developers.google.com/appengine/docs/python/ndb/async コールバックに埋もれて「Σ(゚д゚lll)あぎゃあああ」とならずに済む
    18. 18. _人人人人人人人人_> 突然の仕様変更 <  ̄^Y^Y^Y^Y^Y^Y^ ̄
    19. 19. App Engineに”Server”設定が増えるより良く自動スケールさせるためのもの(導入日程未定)フロントエンドサーバ、バックエンドサーバなどのコンポーネント種別によってどのようなスケールをさせるか、という設定は異なるこれをコンポーネント種別ごとに設定出来るようにするのが"Server"例えば、フロントエンドは小規模のインスタンスを最低25個アイドル状態に、解析用バックエンドは大規模インスタンスを10個固定で、といった設定が出来るようになる
    20. 20. </まえがき>
    21. 21. キャバァーン!サツバツエアアイオー弐〇壱弐 @muo_jp(なかざわ けい) / KLab Inc.
    22. 22. キャバァーン?
    23. 23. ご存知ですか?
    24. 24. 特に関係ありません
    25. 25. 現地行く?遠隔で観る? Google I/O
    26. 26. Google I/Oの楽しみ方現地を楽しむ セッションを聞く 85% 15%
    27. 27. 現地の楽しみ方現地企業を訪問する(TwitterとかFacebookとかGoogleとかAppleとか、可能な場合)ベンダー主催のパーティーに参加する観光名所を観てヒャッハーするカニ食べてヒャッハーするクラムチャウダー食べてヒャッハーする現地の日本食をdisって海原雄山ごっこする
    28. 28. これだけでも一度行く価値ある
    29. 29. 一方セッションは◎ リアルタイムに質問出来る× ネット回線(Wi-Fi)が酷く使えない状態なので関連事項をネットで調べるの辛い× 会場が空いているうちにご飯を食べようと思うと、セッション中座が当たり前× 超人気セッション(ADKとか)になるとかなり前から並ぶのでセッション中座が当たり前× セッション始まって序盤で「これはチョイス外したΣ(゚д゚lll)」と思ったらセッション中座が当たり前
    30. 30. ☝( ◠◠ )☝ めっちゃストレス
    31. 31. セッション中座が当たり前
    32. 32. なら会期後に動画でおk
    33. 33. でもセッション観るのに 時間かかるよね
    34. 34. 問題無い( ー`дー́)キリッ
    35. 35. 動画4つぐらいは案外同時に観れる
    36. 36. いやいや無理やで
    37. 37. かといってYouTubeで観るのもシーン飛ばしたり戻したりめんどい
    38. 38. は 屋動画は動画プレイヤー
    39. 39. 用意するのは、どのご家庭にもあるVLC(フリー動画プレイヤー) •再生速度変更機能(x0.5, x1.0, x1.5, x2.0) •4秒飛ばす/戻すなど、かゆいところに手が届く機能 •豊富なショートカット編集機能
    40. 40. ←お勧めショートカット
    41. 41. あと、動画本体のダウンロード。これは合法行為(2012/07/21時点)です
    42. 42. クラウド系(GAE/GCE/GCS)セッションは18本(720pで10GB)
    43. 43. 発表準備にあたり観たのは8本
    44. 44. 基本x1.5再生 → キーでスキップして興味惹かれるスライドあればちょい戻る
    45. 45. かかったのは3時間弱
    46. 46. なんとかなる
    47. 47. I/O初日I/O Extendedというイベントが
    48. 48. エアI/Oですよ
    49. 49. ←気付いたらめっちゃツイートしてたhttp://twilog.org/muo_jp
    50. 50. 正直めっちゃ楽しかったっす(*́ω`*)
    51. 51. 少しだけその様子を紹介
    52. 52. I/O初日は6/27の深夜スタート
    53. 53. 超楽しかった(*́ω`*)
    54. 54. そんなわけで
    55. 55. ものを作って公開するまでがI/Oです (超意訳)
    56. 56. 俺達のI/O(主にO)はまだ始まったばかりだ!! Google先生の次回作にご期待ください
    57. 57. <thanks for=”listening” /></presentation>

    ×