• Like
DCK Server プロトタイプ
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

DCK Server プロトタイプ

  • 503 views
Published

 

Published in Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
503
On SlideShare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
6
Comments
0
Likes
1

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. NII dodai-deploy2.0 project DCK Server プロトタイプ Ver1.0 2013/08/08 Etsuji Nakai
  • 2. NII dodai-deploy2.0 project 前回までのアイデア 2
  • 3. NII dodai-deploy2.0 project コンポーネントスタックの整理 ユーザ DCKを前提としたアプリケーション DCKを容易に利用するためのツール dckapp DCKのAPIを呼び出す ライブラリ dcktool libdck libdck Data Center Kernel本体 dck dckemu IaaS Infra 3 本来はIaaS基盤が提供するべきだが、 既存のIaaSでは未実装の機能を 代替として提供するモジュール AWS / OpenStack / Eucalyputus / Wakame VDCなどの既存の IaaS基盤を前提とする
  • 4. NII dodai-deploy2.0 project dcinitとは?  複数VM間で連携するサービスを自立分散的に起動する仕組み  dckが提供するインフラ機能を利用して、VM間の連携を実現する  ここでは、dcinitを実現するために必要なdckのインフラ機能を考える 4
  • 5. NII dodai-deploy2.0 project VM間の連携方法  一般的な分類 – Fork • 新しいVMを起動して、実行中コードの指定関数の実行を開始する – Messaging • pub/subモデルでイベント情報を交換する – Shared memory • 複数VM間で情報共有するWhite Board機能 • hostnameなどの基本情報をVM間で共有することができる – Signal • 指定VMのイベントハンドラを起動する • Tomcatが追加されたらApacheに通知して負荷分散設定を変更する、など の使い方ができる 5
  • 6. NII dodai-deploy2.0 project 擬似コードイメージ # dcinit web3tier start fork apache install apache fork tomcat install apache fork postgresql install apache main { global id = $$ # Uniq job ID shmget(id) shm_write(id, “controller:hostname”, $HOSTNAME) fork apache fork tomcat fork postgresql shm_read(id, “apache:ready”) # Blocking read shm_read(id, “tomcat:ready”) # Blocking read shm_read(id, “postgres:ready”) # Blocking read while (1) { fork tomcat if scaleout_is_required } } apache { install apache shm_write(id, “apache:hostname”, $HOSTNAME) shm_write(id, “apache:reday”, true) event_loop } # signal handler to modify apache conf for new tomcat add_tomcat { tomcat_hosts=shm_read(id, “tomcat:hostlist”) update_apache_config(tomcat_hosts) } tomcat { install tomcat shm_append(id, “tomcat:hostlist”, $HOSTNAME) pgsql=shm_read(id, “pgsql:hostname”) apache=shm_read(id, “apache:hostname”) notify “add_tomcat” $apache shm_write(id, “tomcat:ready”, true) event_loop } 6 postgres { install postgres shm_write(id, “postgres:hostname”, $HOSTNAME) shm_write(id, “postgres:ready”, true) event_loop }
  • 7. NII dodai-deploy2.0 project プロトタイプ実装 DCK Server 7
  • 8. NII dodai-deploy2.0 project 目的  とにかく一度、p.6のような擬似コードが実際に実行できる環境を作ってみる。 8
  • 9. NII dodai-deploy2.0 project 構成 管理用PC VMインスタンス REST API REST API DCKサーバ 9 OpenStack
  • 10. NII dodai-deploy2.0 project 「User Data」「メタデータ」「UUID」について  OpenStackでは、VM起動時にテキストの「User Data」を受け渡すことができま す。特にスクリプトファイルを渡すと、ゲストOS起動後に自動実行されます。 – DCK Serverでは、「User Data」を利用して、VM連携処理の「ブートスト ラップ」を実施しています。  OpenStackでは、各VMに対して、「Key=Value」形式のメタデータを複数セッ トすることができます。 – DCK Serverでは、VM間でメタデータを相互参照することで、VM間のメッ セージ伝達を行います。  OpenStackでは、起動中のVMにユニークなUUIDがアサインされます。 – DCK Serverでは、UUIDをVMの識別子(プロセスID)として使用します。 10
  • 11. NII dodai-deploy2.0 project DCK ServerがREST APIで提供する機能  exec – 新規VMを起動する。 • 親VMのUUID、OSイメージ、User Dataを指定する。  fork – 既存VMの「User Data」を再利用して、新規VMを起動する。 • forkされたVMは、メタデータに「forked=true」がセットされる。  ps – 起動中VMの情報を取得する  ppid – 指定VMの親VMのUUIDを取得する  cpid – 指定VMの子VMのUUID(複数)を取得する  poke – 指定VMに指定のメタデータをセットする  peek – 指定VMのメタデータを取得する  delete – 指定VM(および、子VM)を停止・削除する 11
  • 12. NII dodai-deploy2.0 project libdck.shについて  DCK ServerのREST APIを簡便なコマンドで利用するためのライブラリ(シェルスクリプトの関数群) – User Dataなどから次のようにインクルードして使用する。 – # curl -s http://<dckserver>:5000/dck/api/v1.0/libdck > /tmp/libdck.sh – # . /tmp/libdck.sh  exec  fork # dck-exec <親VM UUID> <新規VM名> <イメージID> <User Dataファイル>  ps  ppid # dck-ps / # dck-ps <UUID>  cpid  poke # dck-cpid <UUID>  peek  delete # dck-peek <UUID> / # dck-peek <UUID> <key> # dck-fork <親VM UUID> <新規VM名> # dck-ppid <UUID> # dck-poke <UUID> <key> <value> # dck-delete <UUID>  その他補助関数 – JSONから特定キーの値を取り出す # json_elem <key> <JSON> 12
  • 13. NII dodai-deploy2.0 project forkを利用した簡単なUser Dataの例 #!/bin/bash curl -s http://192.168.101.9:5000/dck/api/v1.0/libdck > /tmp/libdck.sh . /tmp/libdck.sh pid=$( json_elem "uuid" "$(curl -s http://169.254.169.254/openstack/latest/meta_data.json )" ) # 自分のUUID forked=$(dck-peek $pid "forked") # forkした子VMか判断するためのメタデータ function child { echo "I'm child" > /etc/motd dck-poke $pid "child_setup" "true" } # 子VMの場合の処理 # 処理完了を自身のメタデータに記録 function parent { # 親VMの場合の処理 for i in 1 2; do result=$(dck-fork $pid "child$i")       # 子VMをfork cpids[i]=$(json_elem "pid" "$result") done for cpid in ${cpids[@]}; do # 子VMの処理完了をループで待つ while [[ ! $(dck-peek $cpid "child_setup") == "true" ]]; do sleep 10 done done echo "I'm parent" > /etc/motd } # main if [[ $forked == "true" ]]; then # 親VMと子VMで処理を分岐 child else parent fi exit 13
  • 14. NII dodai-deploy2.0 project Forkを利用したスケールアウトWebサーバの例 (1/2) #!/bin/bash curl -s http://192.168.101.9:5000/dck/api/v1.0/libdck > /tmp/libdck.sh . /tmp/libdck.sh pid=$( json_elem "uuid" "$(curl -s http://169.254.169.254/openstack/latest/meta_data.json )" ) forked=$(dck-peek $pid "forked") function reload_lb { webservers_bak="" while [[ true ]]; do # 自身のメタデータから子VMのIPを取得して、ロードバランサに登録 webservers=$(dck-peek $pid | awk -F ': ' '/^ +"web/ { print $2 }' | sed 's/[",]//g') if [[ $webservers != $webservers_bak ]]; then cat <<EOF > /etc/httpd/conf.d/proxy.conf <IfModule proxy_module> ProxyRequests Off ProxyPass /balancer_test balancer://mycluster lbmethod=byrequests timeout=1 <Proxy balancer://mycluster> BalancerMember http://127.0.0.1 loadfactor=1 EOF for s in $webservers; do echo "BalancerMember http://$s loadfactor=1" >> /etc/httpd/conf.d/proxy.conf done cat <<EOF >> /etc/httpd/conf.d/proxy.conf </Proxy> </IfModule> EOF このUser DataでVMを起動するとロードバラン webservers_bak=$webservers サーとなる。 systemctl reload httpd.service fi その後、このVMをforkすると、Webサーバー sleep 10 done になって、ロードバランス対象に登録される。 } 14
  • 15. NII dodai-deploy2.0 project Forkを利用したスケールアウトWebサーバの例 (2/2) function prepare_httpd { setenforce 0 yum install -y httpd systemctl stop iptables systemctl start httpd.service hostname > /var/www/html/index.html } function parent { prepare_httpd reload_lb } # 親VMは、ロードバランサーとして動作 # 子VMを定期的にチェックして、新規の子VMをロードバランス先に登録 function child { # 子VMは、Webサーバとして動作 prepare_httpd   parent=$(dck-ppid $pid) ip=$(dck-pip $pid) dck-poke $parent "web-$ip" "$ip" # 親VMのメタデータの自身のIPアドレスを登録 } # main if [[ $forked == "true" ]]; then child else parent fi exit 15
  • 16. NII dodai-deploy2.0 project Thank You! Etsuji Nakai Twitter @enakai00