グリッド協議会の第36回ワークショップの発表資料。 http://www.jpgrid.org/event/2012/workshop36.html

1. 3rd ACM Symposium on Cloud
Computing (SoCC2012) 報告
独立行政法人産業技術総合研究所
情報技術研究部門
小川 宏高
2012/11/30 第36回グリッド協議会 資料

2. SoCC12概要
• 3rd ACM Symposium on Cloud Computing
– October 14th-17th, 2012 – San Jose, CA
– http://www.socc2012.org/
– 第1回はSIGMOD、第2回はSOSPと併設→今年から独立
– 25 papers (21 full-length papers) / 163 submissions≒15.3%
– 評価がしっかりしている論文が多い
• クラウド化・ソーシャル化
– ホームページ → Google Sites
– Proceedings → Dropbox
• おかげでプログラムが２週間前にしか確定しない→旅程が立てづらい
– コンファレンスバッグ→当然省略
– 座席は円卓
• スクール形式に変更するとコストアップ
• 円卓なので自然に隣の人と話す
– Twitter
Day 1
• Keynote Keynote
– Software-Defined Networking: Overview and Implications, Day 2
Scott Shenker (UCB) Day 3 Tutorial
– http://www.slideshare.net/martin_casado/sdn-abstractions とほぼ同じ
• Tutorial
– Designing Good Algorithms for Map-Reduce and Beyond
• 計算と通信のバランス、Reducer skewのマネジメント
– Open Source Cloud Technologies
• OpenStack, CloudStack

3. Day 1
Day 1 (1/3) Day 2
Day 3 Tutorial
• Goal-Oriented Resource Management
– Cake: Enabling High-level SLOs on Shared Storage Systems
• Andrew Wang (UCB), Shivaram Venkataraman (UCB), Sara Alspaugh (UCB), Randy Katz (UCB), and
Ion Stoica (UCB)
• 多数のバッチジョブ、インタラクティブジョブが混在するクラウド環境でSLOを満たすリ
ソーススケジューリングを実現 (2-level scheduling)
• 1st: ラージジョブのチャンキング、2nd: SLOを満たすようにリソース割り当て
– Bridging the Tenant-Provider Gap in Cloud Services
• Virajith Jalaparti (UIUC), Hitesh Ballani (MSR), Paolo Costa (Imperial College London), Thomas
Karagiannis (MSR), and Ant Rowstron (MSR)
• Bazzar: ジョブスペックと完了時間を与えるとリソースタプルを返すスケジューラ (ジョブセ
ントリックインタフェース)
• MRCuTE: Bazzarの性能予測エンジン、MRジョブのジョブスペックとリソースタプルを与え
ると予測完了時刻を返すMRアプリ
– Generalizing Resource Allocation for the Cloud
• Anshul Rai (MSR India), Ranjita Bhagwan (MSR India), and Saikat Guha (MSR India)
• Wrasse: クラウド向けリソース割り当てツール(サービス)
• 「Balls and Bins問題を記述したプログラム」としてリソース要求を記述、GPUソルバーで高
速計算
– True Elasticity in Multi-Tenant Clusters through Amoeba (**)
• Ganesh Anantharanayanan (UCB), Christopher Douglas (Microsoft), Raghu Ramakrishnan (Microsoft),
Sriram Rao (Microsoft), and Ion Stoica (UCB)
• Hadoopでは、MRジョブを耐障害性を持つ複数のタスクに分割して実行→リソースの利用効
率と性能の両立が難しい (elasticではない?)
• Amoebaでは、checkpoint&restartによるプリエンプションを実現し、その上でMRを実行

4. Day 1
Day 1 (2/3) Day 2
Day 3 Tutorial
• Big Data Processing
– Improving Large Graph Processing on Partitioned Graphs in the Cloud
• Rishan Chen (Beijing U.), Xuetian Weng (Beijing U.), Bingsheng He (Nanyang Technological U.), Mao
Yang (MSRA), Byron Choi (Hong Kong Baptist U.), and Xiaoming Li (Beijing U.)
– Sailfish: A Framework For Large Scale Data Processing
• Sriram Rao (Microsoft), Raghu Ramakrishnan (Microsoft), Adam Silberstein (LinkedIn), Mike
Ovsiannikov (Quantcast), and Damian Reeves (Quantcast)
• Sailfish: MR処理系の律速要因である中間データの入出力を最適化
• 中間データの交換をI-fileと呼ばれる一種の分散ファイル抽象を介して行うことでバッチI/Oを
実現
• MRの性質からアペンドに特化したlock-free atomic writeのみをサポート
• Hadoop MRv2にプラガブルな実装
– Themis: An I/O Efficient MapReduce
• Alexander Rasmussen (UCSD), Michael Conley (UCSD), Rishi Kapoor (UCSD), Vinh The Lam
(UCSD), George Porter (UCSD), and Amin Vahdat (UCSD)
• Themis: MRジョブの多くはI/O律速→I/O操作が最小の実装を目指すもの
• タスクレベルの耐故障性機能の除去 (フェイルしたら全体を再実行)
• 中間データのディスクスピルを抑制するためにアプリケーションレベルで動的かつ適用的な
メモリ割り当てを実現
• シャッフルおよびディスクI/Oの集中管理 (ディスクシークを減らすために複数Mapタスクか
らの書き込みをバッファリングしてバッチ書き込みするなど)

5. Day 1
Day 1 (3/3) Day 2
Day 3 Tutorial
• Cloudy Workloads & Management
– Heterogeneity and Dynamicity of Clouds at Scale: Google Trace Analysis
• Charles Reiss (UCB), Alexey Tumanov (CMU), Gregory R. Ganger (CMU), Randy H. Katz (UCB), and
Michael A. Kozuch (Intel Labs)
• Googleクラスタのトレースデータの分析
• リソースの不均一性(cores:RAM)、タスクの不均一性(実行時間、要求リソース量)
→リソースのスロットをタスクに割り当てるスケジューラは不向き
• タスクのリソース利用量は動的に大きく変動
→効率良くリソース割り当てするには高速なスケジューリングが肝要
– More for Your Money: Exploiting Performance Heterogeneity in Public Clouds
• Benjamin Farley (U. of Wisconsin-Madison), Venkatanathan Varadarajan (U. of Wisconsin-Madison), Kevin
Bowers (RSA Laboratories), Ari Juels (RSA Laboratories), Thomas Ristenpart (U. of Wisconsin-Madison),
and Michael Swift (U. of Wisconsin-Madison)
• 同一料金で提供されているAmazon EC2インスタンスでも性能差がある(CPU, Network, Local disk,
EBS)
• Placement Gaming: maximize work/$
• オフラインのプロファイリング結果とオンラインの性能計測結果を用いる戦略
– Untangling Cluster Management With Helix
• Kishore Gopalakrishna (LinkedIn), Shi Lu (LinkedIn), Zhen Zhang (LinkedIn), Adam Silberstein (LinkedIn),
Kapil Surlaker (LinkedIn), Ramesh Subramonian (LinkedIn), Bob Schulman (LinkedIn)
• Helix: LinkedInで開発・採用しているオープンソースのクラスタ管理システム
• KVS (Espresso)、Messaging (Kafka)、Notification (Databus)、Indexing Service (SeaS)、分散グラ
フ処理エンジンなどに統一的にリソース管理、耐故障性、Elasticity, Monitoringを実現する
(c.f.,YARN, Mesos)
– alsched: Algebraic Scheduling of Mixed Workloads in Heterogeneous Clouds
• Alexey Tumanov (CMU), James Cipar (CMU), Michael A. Kozuch (Intel Labs), and Gregory R. Ganger
(CMU)

6. Day 1
Day 2 (1/4) Day 2
Day 3 Tutorial
• I/O Performance
– Using Vector Interfaces to Deliver Millions of IOPS from a Networked Key-value
Storage Server
• Vijay Vasudevan (CMU), Michael Kaminsky (Intel Labs), and David G. Andersen (CMU)
• PCIe SSDをベースにした既存KVS実装ではSWインタフェースで直列化され性能が出ない
• ベクターRPC IF
– multiple get requests → single multiget request
• ベクターストレージIF
– 並列ファイルシステムのPOSIX HPC拡張 readx()/writex() に類似
– 複数のバッファ、ファイルディスクリプタを指定して並列読み書きを実現
• 1.6Mreq/sec、1msec latencyを実現 (14倍以上高速化)
– vBalance: Using Interrupt Load Balance to Improve I/O Performance for SMP Virtual
Machines
• Luwei Cheng (U. of Hong Kong) and Cho-Li Wang (U. of Hong Kong)
• UP VMだとハードウェア割込を受け取る仮想CPUが確定するが、複数の仮想CPUからなる
SMP VMではプリエンプトしている仮想CPUへの割込が発生するとディレイが大きい
• プリエンプトしていない動作中の仮想CPUに割り当てることでI/O性能を向上
– Romano: Autonomous Storage Management using Performance Prediction in Multi-
Tenant Datacenters
• Nohhyun Park (U. of Minnesota), Irfan Ahmad (CloudPhysics), and David J. Lilja (U. of Minnesota)

7. Day 1
Day 2 (2/4) Day 2
Day 3 Tutorial
• Data Consistency
– All Aboard the Databus! LinkedIn's Scalable Consistent Change
Data Capture Platform
• Shirshanka Das (LinkedIn), Chavdar Botev (LinkedIn), Kapil Surlaker (LinkedIn),
Bhaskar Ghosh (LinkedIn), Balaji Varadarajan (LinkedIn), Sunil Nagaraj
(LinkedIn), David Zhang (LinkedIn), Lei Gao (LinkedIn), Jemiah Westerman
(LinkedIn), Phanindra Ganti (LinkedIn), Boris Shkolnik (LinkedIn), Sajid Topiwala
(LinkedIn), Alexander Pachev (LinkedIn), Naveen Somasundaram (LinkedIn) and
Subbu Subramaniam (LinkedIn)
• LinkedInで使われている更新通知フレームワーク
– Logic and Lattices for Distributed Programming
• Neil Conway (UCB), William R. Marczak (UCB), Peter Alvaro (UCB), Joseph M.
Hellerstein (UCB), and David Maier (Portland State U.)
– How Consistent is your Cloud Application?
• Kamal Zellag (McGill U.) and Bettina Kemme (McGill U.)
– The Potential Dangers of Causal Consistency and an Explicit
Solution (**)
• Peter Bailis (UCB), Alan Fekete (U. of Sydney), Ali Ghodsi (UCB), Joseph M.
Hellerstein (UCB), and Ion Stoica (UCB)

8. Day 1
Day 2 (3/4) Day 2
Day 3 Tutorial
• Load Balancing and Scheduling
– Balancing Reducer Skew in MapReduce Workloads using Progressive Sampling
• Smriti R Ramakrishnan (Oracle), Garret Swart (Oracle), and Aleksey Urmanov (Oracle)
• Reducer Skew: 中間キーのReducerへの割り当ての偏り→Reducerが律速に
• 実行時サンプリングデータを元に中間キーの割り当てを平準化
– 頻度の高い中間キーはサブキーに分割して割り当て (Key Chopping)
– 頻度が平均的な中間キーは負荷が平均化するように割り当て (Key Packing = greedy bin packing)
• Oracle Loader for Hadoop (Hadoopの最終出力をOracle DBに高速書き込み) で使われている
– Zeta: Scheduling Interactive Services with Partial Execution (タイトル変更)
• Yuxiong He (MSR), Sameh Elnikety (MSR), James Larus (MSR), and Chenyu Yan (Microsoft Bing)
• インタラクティブサービス(検索エンジン、金融サービス等)のように時間制約の強いスケジュー
リング
• 時間がかかるジョブは途中で実行を止めて結果を返す→他のジョブの割り当て遅延を避ける、プ
リエンプションのコストを避ける
• Bingのバックエンドに組み込んだ実験で検索品質を保ちながらリソースを20%強削減
– Chronos: Predictable Low Latency for Data Center Applications
• Rishi Kapoor (UCSD), George Porter (UCSD), Malveeka Tewari (UCSD), Geoffrey M. Voelker (UCSD),
and Amin Vahdat (UCSD)
• データセンタアプリでは、サービス時間の予測可能性と制御されたレイテンシ(テイルレイテン
シ)が重要
• カーネルでの遅延要因(割込ハンドリング、バッファ管理、ネットワークスタック、データコピー
等々)の除去
→ユーザレベル通信APIを提供
• ユーザアプリスレッド間でのロック競合の解決をNICにオフロード
→パケットにパーティションIDを付番、NIC上でパーティションIDのハッシュ値を計算してCPU
スレッドにマッピング

9. Day 1
Day 2 (4/4) Day 2
Day 3 Tutorial
• Cloudy Pot Pourri
– Using Batteries to Reduce the Power Costs of Internet-scale Distributed Networks
• Darshan S. Palasamudram (Penn. State U.), Ramesh K. Sitaraman (UMass, Amherst & Akamai
Tech.), Bhuvan Urgaonkar (Penn. State U.), and Rahul Urgaonkar (Raytheon BBN Technologies)
• CDN+バッテリー
→電力需要が低いときに充電、高いときに放電しながら電力を賄うことで、ピーク電力需要
を下げる
• 充放電を繰り返すのでバッテリーの寿命が問題
– OS-Sommelier: Memory-Only Operating System Fingerprinting in the Cloud
• Yufei Gu (U. of Texas at Dallas), Yangchun Fu (U. of Texas at Dallas), Aravind Prakash (Syracuse U.),
Zhiqiang Lin (U. of Texas at Dallas), and Heng Yin (Syracuse U.)
– Probabilistic Deduplication for Cluster-Based Storage Systems
• Davide Frey (INRIA Rennes), Anne-Marie Kermarrec (INRIA Rennes), and Konstantinos Kloudas
(INRIA Rennes)
– Dual Stack Virtualization: Consolidating HPC and Commodity Applications in the
Cloud (**),
• Brian Kocoloski (U. of Pittsburgh), Jiannan Ouyang (U. of Pittsburgh), and John Lange (U. of
Pittsburgh)
• HPCアプリとStandardアプリのコンソリデーションをしたい
• Palacios VMM (HPC VMM)、KVMを同一ノードで並列に動作させ、その上でHPCアプリ、
Standardアプリを実行する

10. まとめ
• クラウドコンピューティングに関する国際会議は非常に多い
– IEEE Cloud
– IEEE CloudCom
– ACM SoCC
– USENIX ATC, HotCloud
– ISC Cloud
– …
• この中でSoCCとUSENIXは比較的技術
Centric
– スケジューリング
– I/O性能
– Data Intensive Computing
– ミドルウェア
– セキュリティ
• HPC業界との違い
– Bay AreaのIndustryからのコミットが目立つ
– アプリケーションとインタークラウドの話はほとんど語られない