クラウドアプリケーションのマルチプロセス・プログラミングモデルを実現する「Data Center Kernel」

クラウドアプリケーションのマルチプロセス・プログラミングモデルを実現する「Data Center Kernel」
NII dodai-deploy2.0 project クラウドアプリケーションのマルチプロセス・プログラミングモデルを実現する「Data Center Kernel」 Ver1.1 2013/02/21 Etsuji Nakai
NII dodai-deploy2.0 project $ who am i  Etsuji Nakai – Senior solution architect and cloud evangelist at Red Hat. – Working for NII (National Institute of Informatics Japan) as a cloud technology consultant. – The author of “Professional Linux Systems” series. • Available only in Japanese. Translation offering from publishers are welcomed ;-) Professional Linux Systems Technology for Next Decade 2 Professional Linux Systems Deployment and Management Professional Linux Systems Network Management
「クラウドアプリケーション」の３形態
NII dodai-deploy2.0 project クラウドアプリケーション = PaaS上のアプリケーション？  PaaSの特徴 – 開発者にはクラウドを（なるべく）意識しないプログラミングモデルを提供 – 実行環境の最適化はPaaS基盤が自動管理 • ユーザによるコントロールの自由度は少ない – つまり「トラディショナルなアプリケーション開発者」を支える自動化機構オートスケール / 負荷分散など実行コンテナ実行コンテナアプリケーションコードアプリケーションコード PaaS基盤クラウド基盤 4 開発者が用意するのは「クラウドを意識しない」アプリケーションコード実行環境の最適化は PaaS基盤が自動管理
NII dodai-deploy2.0 project クラウドアプリケーション = クラウド管理ツール？  RightScale/Scalar/CloudFormsなどのクラウド管理ツールの特徴 – クラウド管理者に実行環境の自動化/最適化ロジックを実装するためのDSLを提供 – 管理者はVMインスタンス内のアプリケーションコードの開発には関わらない – つまり、「開発済みのアプリケーション」に対する運用の効率化を支える自動化機構クラウド管理者は、 VMインスタンス内のアプリケーションの開発には関わらないオートスケール / 負荷分散など VMインスタンスアプリケーションコードクラウド管理ツール自動化スクリプト VMインスタンスアプリケーションコードクラウド基盤 5 実行環境の最適化ロジックをクラウド管理者がプログラミングクラウドAPI
NII dodai-deploy2.0 project 本当の意味のクラウドアプリケーションとは？  PaaSモデルとクラウド管理ツールモデルは、考え方が分断されており、これらを融合/選択する包括的な利用モデルはまだ見当たらない。 – より汎用的で、どちらの使い方もできて、さらに、今までにない使い方を生み出すようなモデルは無いのだろうか？  ヒント – PaaS基盤よりも汎用的なクラウド基盤自動化/管理層を用意して、このレイヤーでクラウド上のリソース（VMイメージ/ VMインスタンス等）を抽象化する。 – 専用の管理ツールから自動化を行うのではなく、汎用的なプログラムコードからの自動化を実現するAPI/ライブラリを用意する。 – このプログラムコードの実行場所は任意に選択可能。 • 専用マシンで実行してもよい → クラウド管理ツール的利用法 • アプリケーションが実行されるVMインスタンス内で実行してもよい → 「クラウドをあえて意識したプログラミングモデル」を提供するPaaS的な利用法 6
NII dodai-deploy2.0 project 汎用的な「クラウドアプリケーション」のモデルイメージアプリケーションコード内部にも自動化の機構を組み込んでしまう管理サーバオートスケール / 負荷分散などクラウド管理ツール VMインスタンス VMインスタンスアプリケーションコードアプリケーションコード自動化Library 自動化Library 自動化Library クラウド管理ツール的な自動化自立分散的な自動化汎用的なクラウド基盤自動化/管理層自立分散のために、VMインスタンスリストなどのグローバル情報はこの層で保持するクラウドAPI クラウド基盤 7 それぞれの利用方式に対して必要なAPIの種類は異なる
「Data Center Kernel」とは？
NII dodai-deploy2.0 project 提案  「自立分散的な自動化」を咀嚼して理解しやすくするように、リソースの抽象化をトラディショナルなOS（オペレーティングシステム）のリソースモデルにマッピングしてみる。 – 汎用的なクラウド基盤自動化/管理層 → Linuxカーネル – VMインスタンス → プロセス – 自動化ライブラリ → glibc – 自動化ライブラリからの呼び出し → システムコール – クラウドAPI → デバイスドライバ呼び出し 9
NII dodai-deploy2.0 project つまりこんな感じ？管理サーバ fork / fork&exec クラウド管理ツール VMインスタンス VMインスタンス libdck アプリケーションコードアプリケーションコード libdck libdck システムコールシステムコール Data Center Kernel デバイスドライバクラウド基盤 10
NII dodai-deploy2.0 project さらに類推を進めると・・・  この類推のもとで、DC Kenrelに必要な機能 / APIを洗い出してみる。 – マシンイメージのビルドデータ → ソースコード – マシンイメージ → バイナリ実行ファイル • ビルドデータを「make」するとマシンイメージができる • lsコマンドでマシンイメージ一覧が取得できる – VMインスタンス → プロセス • psコマンドでVMインスタンス一覧が取得できる • fork / fork&exec命令でVMインスタンスの起動ができる • upstart/initスクリプトで関連するVMインスタンスの連携起動ができる – VMの稼働状況/負荷状況 → プロセス負荷 • topコマンドでVMの負荷情報が取得できる – etc.....  つまり、DC Kernelに必要な機能は・・・ – vmイメージ作成/管理機能、VMインスタンス起動/管理機能、VMインスタンスのモニタリング機能、etc... 11 • 結果的には従来の自動化ツールが持っている/今後実装されるであろう機能にほぼ一致 • しかしながら、従来の自動化ツールをベースに機能追加するよりも、こちらの方がより自然なモデルで汎用的なプラットホームを実装できるはず。
NII dodai-deploy2.0 project Data Center Kernelモデルの可能性  VMインスタンス内部のアプリケーションコードからオートスケールなどの処理が実施可能 – VMインスタンス内部でしか取れない負荷情報に基づいたより精緻なリソース配分 – 単なる負荷状況ではなく、アプリケーションロジックから推定される必要リソース量に基づく「プロアクティブ」なリソース配分 • Hadoop MapReduceは、データ量の均等割による分散しかできないが、これであれば、アプリケーションコードがデータを解析中に自発的にスケールすることも可能  プログラミングモデルが、従来のOS上の「マルチプロセス/マルチスレッドプログラミング」に近くなる。 – このモデルから見ると、従来のクラウド上の自動化は、「シングルタスクシステム用のアプリを擬似マルチタスク化していた」ような制限があるように思える。このモデルでしか実現できない、新しいクラウドアプリケーションのパラダイムが開けると素晴らしい。 12
NII dodai-deploy2.0 project Data Center Kernelモデルの可能性  自動化ライブラリ（glibc）の改変による抽象度の高い自動化を提供可能 – DC Kernel自体に埋め込まないので、アプリケーションごとにライブラリの差し替えが可能。 • アプリケーションの特性に応じて最適なライブラリを選択可能 • より「インテリジェント」な自動化機構を研究／開発する共通プラットホームとなり得る  複数クラウドをDC Kernelで束ねることで、「場所を意識しないアプリケーション実行」が可能に – 適切なクラウドの選択ロジックなどは、自動化ライブラリのレイヤで実装可能 13
NII dodai-deploy2.0 project その他のアイデア  VMイメージの提供モデル – アプリケーションとVMイメージが蜜結合するので、VMイメージは、全世界共通の UUIDで管理する必要がある。 – 利用するクラウドに必要UUIDのイメージがあればそれを利用。 – ない場合は、ビルドデータから自前でmakeして配置するか、「イメージストア」からバイナリを購入して、利用するクラウドに配置する。  クラウド管理ツール的な使い方の例〜複数VM連携デプロイ機能の実装 – Upstartのようなイベントベースのフロー管理ツールで、イベントの発生に応じてアクションを発生する。 – イベントの種類やアクションの種類は、さらなる検討が必要。  クラウド管理ツール的な使い方の例〜 DC Kernel専用シェルの実装 – DC KernelのAPI（システムコール）を直接呼ぶ代わりに、シェルのように、コマンドラインで各種操作ができるツールがあると便利。クラウド自動化の「シェルスクリプト」が書けるようになると良い。 14
NII dodai-deploy2.0 project コンポーネントスタックの整理ユーザ DCKを前提としたアプリケーション DCKを容易に利用するためのツール dckapp DCKのAPIを呼び出すライブラリ dcktool libdck libdck Data Center Kernel本体 dck dckemu IaaS Infra 15 本来はIaaS基盤が提供するべきだが、既存のIaaSでは未実装の機能を代替として提供するモジュール AWS / OpenStack / Eucalyputus / Wakame VDCなどの既存の IaaS基盤を前提とする
NII dodai-deploy2.0 project 各コンポーネントスタックで実装するもののアイデア  dcktool – dcksh – dckinit  dckapp – Autoscale httpd – Autoscale echo server  dkclib – Ontology based resource assignment library  dck –  dckemu – Shared memory service – Network virtualization service  IaaS – AWS/OpenStack/Eucalyptus/Wakame VDC/etc... 16
NII dodai-deploy2.0 project Thank You! Etsuji Nakai Twitter @enakai00

クラウドアプリケーションのマルチプロセス・プログラミングモデルを実現する「Data Center Kernel」

Check these out next

クラウドアプリケーションのマルチプロセス・プログラミングモデルを実現する「Data Center Kernel」

Recommended

More Related Content

Slideshows for you(20)

Similar to クラウドアプリケーションのマルチプロセス・プログラミングモデルを実現する「Data Center Kernel」(20)

More from Etsuji Nakai(20)

Recently uploaded(20)