Wakame-VDC

                 Wakame Software Foundation
                         Axsh Co.
                     Yasuhiro Yamazaki


2012年11月17日土曜日
Agenda
                 • The   Goal of Wakame-VDC

                 • Demo

                  • Installing

                  • Virtual   Network

                  • Other   Features
                 • Source   Code Overview


2012年11月17日土曜日
Q. How to Install?




2012年11月17日土曜日
Everything on
     github

       https://github.com/axsh/wakame-vdc/
                 Easy to Install.




2012年11月17日土曜日
Try 1-2-3


     • Prepare      the VirtualBox

     • Create      CentOS 6.3 Image

     • Use       RPM on it



                                          > Demo
2012年11月17日土曜日
Q. I Have No Time to Try




2012年11月17日土曜日
Download VM Version
                     Let me know if you want.




2012年11月17日土曜日
Automation Process
                      Push to github


                      Generate RPM


                      Create VM Image


                          Install


                           Test
                                        > Demo
2012年11月17日土曜日
Q. Where Is AWS Compatible
                          WebAPI?



2012年11月17日土曜日
THAT




       Please Use THAT If You Need AWS
               Compatible WebAPI
2012年11月17日土曜日
• It
                    is easy to reproduce a compatible interface only.
                  Anyone can do it.

                 • Theissue is compatible behavior.
                  It would affect grand design and core implementation.




2012年11月17日土曜日
Q. What is Our Goal?




2012年11月17日土曜日
Virtual Data Center




2012年11月17日土曜日
2009
       Wakame-VDC Project Began.




2012年11月17日土曜日
Cloud
                 “Computing”



2012年11月17日土曜日
Virtualization Made
                   High Portability




2012年11月17日土曜日
Virtual Machine


                    Copy / Move




2012年11月17日土曜日
Virtual Data Center


                                                                   Copy / Move




 http://www.flickr.com/photos/traftery/5596941479/   CC BY-SA 2.0
2012年11月17日土曜日
2012年11月17日土曜日
Backup &
 Deployment




2012年11月17日土曜日
What’s Missing?


2012年11月17日土曜日
Everything Inside of Data Center
           Should Be Virtualized.



2012年11月17日土曜日
Virtual
  ! Server
  ! Network
  ! Storage


2012年11月17日土曜日
Virtual
                 Network



                      > Demo
2012年11月17日土曜日
Wakame-VDC System Overview

                              User
                  Browser

       html/JSON


                 GUI Server
                 (Web UI)




2012年11月17日土曜日
Wakame-VDC System Overview

                              User
                  Browser
                              Data Center Manager
       html/JSON                   (DCMGR)



                 GUI Server          DCMGR
                 (Web UI)            Web API




2012年11月17日土曜日
Wakame-VDC System Overview

                              User
                  Browser
                              Data Center Manager
       html/JSON                   (DCMGR)



                 GUI Server          DCMGR           Queue
                 (Web UI)            Web API        (AMQP)




2012年11月17日土曜日
Wakame-VDC System Overview

                              User
                  Browser
                              Data Center Manager
       html/JSON                   (DCMGR)



                 GUI Server          DCMGR           Queue
                 (Web UI)            Web API        (AMQP)




                                     DCMGR
                                     Collector



2012年11月17日土曜日
Wakame-VDC System Overview

                              User
                  Browser
                              Data Center Manager
       html/JSON                   (DCMGR)

                                                                           Physical Machine


                 GUI Server          DCMGR           Queue   Hyper Visor
                 (Web UI)            Web API        (AMQP)     Agent
                                                               (HVA)



                                     DCMGR
                                     Collector



2012年11月17日土曜日
Wakame-VDC System Overview

                              User
                  Browser
                              Data Center Manager
       html/JSON                   (DCMGR)

                                                                           Physical Machine
                                                                                              Instance
                 GUI Server          DCMGR           Queue   Hyper Visor
                 (Web UI)            Web API        (AMQP)     Agent               VM
                                                               (HVA)



                                     DCMGR
                                     Collector



2012年11月17日土曜日
Wakame-VDC System Overview

                              User
                  Browser
                              Data Center Manager
       html/JSON                   (DCMGR)

                                                                           Physical Machine
                                                                                              Instance
                 GUI Server          DCMGR           Queue   Hyper Visor
                 (Web UI)            Web API        (AMQP)     Agent               VM
                                                               (HVA)


                                                                                              Block
                                     DCMGR                    Storage                         Device
                                     Collector                 Target            Indelible
                                                               Agent                FS
                                                               (STA)

2012年11月17日土曜日
Wakame-VDC System Overview

                              User
                  Browser
                              Data Center Manager
       html/JSON                   (DCMGR)

                                                                           Physical Machine
                                                                                              Instance
                 GUI Server          DCMGR           Queue   Hyper Visor
                 (Web UI)            Web API        (AMQP)     Agent               VM
                                                               (HVA)
                                                                                 iSCSI
                                                                                              Block
                                     DCMGR                    Storage                         Device
                                     Collector                 Target            Indelible
                                                               Agent                FS
                                                               (STA)

2012年11月17日土曜日
Wakame-VDC System Overview

                              User
                  Browser
                              Data Center Manager
       html/JSON                   (DCMGR)

                                                                           Physical Machine
                                                                                              Instance
                 GUI Server          DCMGR           Queue   Hyper Visor
                 (Web UI)            Web API        (AMQP)     Agent               VM
                                                               (HVA)
                                                                                 iSCSI
                                                                                              Block
                                     DCMGR                    Storage                         Device
                                     Collector                 Target            Indelible
                                                               Agent                FS
                                                               (STA)

2012年11月17日土曜日
Wakame-VDC System Overview

                              User
                                                                                                IP
                                                              Naming              DHCP
                  Browser                                     Service                         hostname
                              Data Center Manager              Agent
       html/JSON                   (DCMGR)                    (NSA)              DNS
                                                                           Physical Machine
                                                                                              Instance
                 GUI Server          DCMGR           Queue   Hyper Visor
                 (Web UI)            Web API        (AMQP)     Agent               VM
                                                               (HVA)
                                                                                 iSCSI
                                                                                              Block
                                     DCMGR                    Storage                         Device
                                     Collector                 Target            Indelible
                                                               Agent                FS
                                                               (STA)

2012年11月17日土曜日
Wakame-VDC System Overview
                                                    ssh
                              User
                                                                                                 IP
                                                               Naming              DHCP
                  Browser                                      Service                         hostname
                              Data Center Manager               Agent
       html/JSON                   (DCMGR)                     (NSA)              DNS
                                                                            Physical Machine
                                                                                               Instance
                 GUI Server          DCMGR            Queue   Hyper Visor
                 (Web UI)            Web API         (AMQP)     Agent               VM
                                                                (HVA)
                                                                                  iSCSI
                                                                                               Block
                                     DCMGR                     Storage                         Device
                                     Collector                  Target            Indelible
                                                                Agent                FS
                                                                (STA)

2012年11月17日土曜日
Wakame-VDC System Overview



                                              Physical Machine
                                                                 Instance
                                Hyper Visor
                                  Agent               VM
                                  (HVA)
                                                    iSCSI
                                                                 Block
                                 Storage                         Device
                                  Target            Indelible
                                  Agent                FS
                                  (STA)

2012年11月17日土曜日
Networking Structure
                               Physical Machine



                 Hyper Visor
                   Agent




2012年11月17日土曜日
Networking Structure
                               Physical Machine



                 Hyper Visor
                   Agent




                                    NIC



2012年11月17日土曜日
Networking Structure
                               Physical Machine



                 Hyper Visor
                   Agent




                                    NIC           NIC



2012年11月17日土曜日
Networking Structure
                               Physical Machine



                 Hyper Visor         VM
                   Agent          NIC NIC




                                    NIC           NIC



2012年11月17日土曜日
Networking Structure
                               Physical Machine



                 Hyper Visor         VM
                   Agent          NIC NIC




                                    NIC           NIC



2012年11月17日土曜日
Networking Structure
                               Physical Machine



                 Hyper Visor         VM
                   Agent          NIC NIC



                                        OpenFlow Switch

                                    NIC               NIC



2012年11月17日土曜日
Networking Structure
                               Physical Machine



                 Hyper Visor         VM
                   Agent          NIC NIC
                   Trema

                                        OpenFlow Switch

                                    NIC               NIC



2012年11月17日土曜日
Networking Structure
                               Physical Machine



                 Hyper Visor         VM               VM
                   Agent          NIC NIC           NIC NIC
                   Trema

                                        OpenFlow Switch

                                    NIC               NIC



2012年11月17日土曜日
Networking Structure
                               Physical Machine



                 Hyper Visor         VM               VM
                   Agent          NIC NIC           NIC NIC
                   Trema
                                Virtual Network Layer

                                        OpenFlow Switch

                                    NIC               NIC
                               Physical Network Layer


2012年11月17日土曜日
Basic Idea of Virtual Network


                                VM              VM
                              NIC NIC         NIC NIC
                             Virtual Network Layer

                                  OpenFlow Switch

                               NIC              NIC
                            Physical Network Layer


2012年11月17日土曜日
Basic Idea of Virtual Network


                                   VM              VM
                                 NIC NIC         NIC NIC
                                Virtual Network Layer

                                     OpenFlow Switch

                                  NIC              NIC
                               Physical Network Layer


2012年11月17日土曜日
Basic Idea of Virtual Network

                 VM generates a packet for our virtual
                 network.
                                                            VM                VM
                                                          NIC NIC           NIC NIC
                                                         Virtual Network Layer

                                                                OpenFlow Switch
                                                            Packet



                                                            NIC               NIC
                                                         Physical Network Layer


2012年11月17日土曜日
Basic Idea of Virtual Network

                 VM generates a packet for our virtual
                 network.
                                                            VM                VM
                 The OpenFlow Switch loads a packet
                 for transportation through physical      NIC NIC           NIC NIC
                 networks.                               Virtual Network Layer

                                                                OpenFlow Switch
                                                            Packet



                                                            NIC               NIC
                                                         Physical Network Layer


2012年11月17日土曜日
Basic Idea of Virtual Network

                 VM generates a packet for our virtual
                 network.
                                                            VM                  VM
                 The OpenFlow Switch loads a packet
                 for transportation through physical      NIC NIC           NIC NIC
                 networks.                               Virtual Network Layer
                 The packet is sent to the target NIC
                 via the physical network.
                                                              OpenFlow Switch Packet

                                                            NIC                NIC
                                                         Physical Network Layer


2012年11月17日土曜日
Basic Idea of Virtual Network

                 VM generates a packet for our virtual                           Packet

                 network.
                                                             VM              VM
                 The OpenFlow Switch loads a packet
                 for transportation through physical       NIC NIC         NIC NIC
                 networks.                                Virtual Network Layer
                 The packet is sent to the target NIC
                 via the physical network.
                                                               OpenFlow Switch
                 The packet is finally unloaded to
                 finish its journey to the target VM on      NIC             NIC
                 the virtual network.                     Physical Network Layer


2012年11月17日土曜日
Other Features




2012年11月17日土曜日
Advanced
     Security Groups



                       > Demo
2012年11月17日土曜日
Alive Monitor



                           > Demo
2012年11月17日土曜日
Instance Backup



                       > Demo
2012年11月17日土曜日
Future Work




2012年11月17日土曜日
Log Collector


2012年11月17日土曜日
Scheduled Features

                 • DC   Level Snapshot (Virtual Storage)

                 • VDC   Deployment Engine

                 • Windows    Instance Support (Coming Soon)

                 • Abuse   Patrol




2012年11月17日土曜日
De
          Wakame-VDC Supports




                                   vO
         Development &




                                  ps
         Operation




                                    Pla
                                       t fo
                                        rm
2012年11月17日土曜日
Source Code Overview

                      • Related   Projects

                      • Directory   Structure

                      • Modules




2012年11月17日土曜日
Related Projects on github

                 • axsh/isono   (Fundamental Framework)

                 • axsh/trema   (OpenFlow Controller Framework)

                 • axsh/eventmachine   (Event Driven Engine)




2012年11月17日土曜日
Services / Daemons
     • frontend    (GUI)
         • vdc-webui   (User’s Interface)
         • vdc-admin   (Operator’s Interface)
     • dcmgr     (Core)
         • vdc-dcmgr   / vdc-collector / vdc-hva / vdc-sta / vdc-nsa
         • vdc-metadata    (Metadata Server)
         • vdc-nwmongw      (Alive Monitoring)
         • vdc-manage     (Command Line Interface)

2012年11月17日土曜日
Directory Structure

     • dcmgr/lib/dcmgr   (Core Source Code)

     • dcmgr/bin   (Startup Scripts)

     • frontend/dcmgr_gui   (User’s Interface)

     • frontend/admin   (Operator’s Interface)

     • rpmbuild   (RPM Specs)

                                                 > Exploring...
2012年11月17日土曜日
Let’s Change Our World Together



                 https://github.com/axsh/wakame-vdc

                   Wakame Software Foundation




2012年11月17日土曜日

DevOps Platform for Agile Cloud Application - Wakame-VDC Overview

  • 1.
    Wakame-VDC Wakame Software Foundation Axsh Co. Yasuhiro Yamazaki 2012年11月17日土曜日
  • 2.
    Agenda • The Goal of Wakame-VDC • Demo • Installing • Virtual Network • Other Features • Source Code Overview 2012年11月17日土曜日
  • 3.
    Q. How toInstall? 2012年11月17日土曜日
  • 4.
    Everything on github https://github.com/axsh/wakame-vdc/ Easy to Install. 2012年11月17日土曜日
  • 5.
    Try 1-2-3 • Prepare the VirtualBox • Create CentOS 6.3 Image • Use RPM on it > Demo 2012年11月17日土曜日
  • 6.
    Q. I HaveNo Time to Try 2012年11月17日土曜日
  • 7.
    Download VM Version Let me know if you want. 2012年11月17日土曜日
  • 8.
    Automation Process Push to github Generate RPM Create VM Image Install Test > Demo 2012年11月17日土曜日
  • 9.
    Q. Where IsAWS Compatible WebAPI? 2012年11月17日土曜日
  • 10.
    THAT Please Use THAT If You Need AWS Compatible WebAPI 2012年11月17日土曜日
  • 11.
    • It is easy to reproduce a compatible interface only. Anyone can do it. • Theissue is compatible behavior. It would affect grand design and core implementation. 2012年11月17日土曜日
  • 12.
    Q. What isOur Goal? 2012年11月17日土曜日
  • 13.
  • 14.
    2009 Wakame-VDC Project Began. 2012年11月17日土曜日
  • 15.
    Cloud “Computing” 2012年11月17日土曜日
  • 16.
    Virtualization Made High Portability 2012年11月17日土曜日
  • 17.
    Virtual Machine Copy / Move 2012年11月17日土曜日
  • 18.
    Virtual Data Center Copy / Move http://www.flickr.com/photos/traftery/5596941479/ CC BY-SA 2.0 2012年11月17日土曜日
  • 19.
  • 20.
  • 21.
  • 22.
    Everything Inside ofData Center Should Be Virtualized. 2012年11月17日土曜日
  • 23.
    Virtual !Server ! Network ! Storage 2012年11月17日土曜日
  • 24.
    Virtual Network > Demo 2012年11月17日土曜日
  • 25.
    Wakame-VDC System Overview User Browser html/JSON GUI Server (Web UI) 2012年11月17日土曜日
  • 26.
    Wakame-VDC System Overview User Browser Data Center Manager html/JSON (DCMGR) GUI Server DCMGR (Web UI) Web API 2012年11月17日土曜日
  • 27.
    Wakame-VDC System Overview User Browser Data Center Manager html/JSON (DCMGR) GUI Server DCMGR Queue (Web UI) Web API (AMQP) 2012年11月17日土曜日
  • 28.
    Wakame-VDC System Overview User Browser Data Center Manager html/JSON (DCMGR) GUI Server DCMGR Queue (Web UI) Web API (AMQP) DCMGR Collector 2012年11月17日土曜日
  • 29.
    Wakame-VDC System Overview User Browser Data Center Manager html/JSON (DCMGR) Physical Machine GUI Server DCMGR Queue Hyper Visor (Web UI) Web API (AMQP) Agent (HVA) DCMGR Collector 2012年11月17日土曜日
  • 30.
    Wakame-VDC System Overview User Browser Data Center Manager html/JSON (DCMGR) Physical Machine Instance GUI Server DCMGR Queue Hyper Visor (Web UI) Web API (AMQP) Agent VM (HVA) DCMGR Collector 2012年11月17日土曜日
  • 31.
    Wakame-VDC System Overview User Browser Data Center Manager html/JSON (DCMGR) Physical Machine Instance GUI Server DCMGR Queue Hyper Visor (Web UI) Web API (AMQP) Agent VM (HVA) Block DCMGR Storage Device Collector Target Indelible Agent FS (STA) 2012年11月17日土曜日
  • 32.
    Wakame-VDC System Overview User Browser Data Center Manager html/JSON (DCMGR) Physical Machine Instance GUI Server DCMGR Queue Hyper Visor (Web UI) Web API (AMQP) Agent VM (HVA) iSCSI Block DCMGR Storage Device Collector Target Indelible Agent FS (STA) 2012年11月17日土曜日
  • 33.
    Wakame-VDC System Overview User Browser Data Center Manager html/JSON (DCMGR) Physical Machine Instance GUI Server DCMGR Queue Hyper Visor (Web UI) Web API (AMQP) Agent VM (HVA) iSCSI Block DCMGR Storage Device Collector Target Indelible Agent FS (STA) 2012年11月17日土曜日
  • 34.
    Wakame-VDC System Overview User IP Naming DHCP Browser Service hostname Data Center Manager Agent html/JSON (DCMGR) (NSA) DNS Physical Machine Instance GUI Server DCMGR Queue Hyper Visor (Web UI) Web API (AMQP) Agent VM (HVA) iSCSI Block DCMGR Storage Device Collector Target Indelible Agent FS (STA) 2012年11月17日土曜日
  • 35.
    Wakame-VDC System Overview ssh User IP Naming DHCP Browser Service hostname Data Center Manager Agent html/JSON (DCMGR) (NSA) DNS Physical Machine Instance GUI Server DCMGR Queue Hyper Visor (Web UI) Web API (AMQP) Agent VM (HVA) iSCSI Block DCMGR Storage Device Collector Target Indelible Agent FS (STA) 2012年11月17日土曜日
  • 36.
    Wakame-VDC System Overview Physical Machine Instance Hyper Visor Agent VM (HVA) iSCSI Block Storage Device Target Indelible Agent FS (STA) 2012年11月17日土曜日
  • 37.
    Networking Structure Physical Machine Hyper Visor Agent 2012年11月17日土曜日
  • 38.
    Networking Structure Physical Machine Hyper Visor Agent NIC 2012年11月17日土曜日
  • 39.
    Networking Structure Physical Machine Hyper Visor Agent NIC NIC 2012年11月17日土曜日
  • 40.
    Networking Structure Physical Machine Hyper Visor VM Agent NIC NIC NIC NIC 2012年11月17日土曜日
  • 41.
    Networking Structure Physical Machine Hyper Visor VM Agent NIC NIC NIC NIC 2012年11月17日土曜日
  • 42.
    Networking Structure Physical Machine Hyper Visor VM Agent NIC NIC OpenFlow Switch NIC NIC 2012年11月17日土曜日
  • 43.
    Networking Structure Physical Machine Hyper Visor VM Agent NIC NIC Trema OpenFlow Switch NIC NIC 2012年11月17日土曜日
  • 44.
    Networking Structure Physical Machine Hyper Visor VM VM Agent NIC NIC NIC NIC Trema OpenFlow Switch NIC NIC 2012年11月17日土曜日
  • 45.
    Networking Structure Physical Machine Hyper Visor VM VM Agent NIC NIC NIC NIC Trema Virtual Network Layer OpenFlow Switch NIC NIC Physical Network Layer 2012年11月17日土曜日
  • 46.
    Basic Idea ofVirtual Network VM VM NIC NIC NIC NIC Virtual Network Layer OpenFlow Switch NIC NIC Physical Network Layer 2012年11月17日土曜日
  • 47.
    Basic Idea ofVirtual Network VM VM NIC NIC NIC NIC Virtual Network Layer OpenFlow Switch NIC NIC Physical Network Layer 2012年11月17日土曜日
  • 48.
    Basic Idea ofVirtual Network VM generates a packet for our virtual network. VM VM NIC NIC NIC NIC Virtual Network Layer OpenFlow Switch Packet NIC NIC Physical Network Layer 2012年11月17日土曜日
  • 49.
    Basic Idea ofVirtual Network VM generates a packet for our virtual network. VM VM The OpenFlow Switch loads a packet for transportation through physical NIC NIC NIC NIC networks. Virtual Network Layer OpenFlow Switch Packet NIC NIC Physical Network Layer 2012年11月17日土曜日
  • 50.
    Basic Idea ofVirtual Network VM generates a packet for our virtual network. VM VM The OpenFlow Switch loads a packet for transportation through physical NIC NIC NIC NIC networks. Virtual Network Layer The packet is sent to the target NIC via the physical network. OpenFlow Switch Packet NIC NIC Physical Network Layer 2012年11月17日土曜日
  • 51.
    Basic Idea ofVirtual Network VM generates a packet for our virtual Packet network. VM VM The OpenFlow Switch loads a packet for transportation through physical NIC NIC NIC NIC networks. Virtual Network Layer The packet is sent to the target NIC via the physical network. OpenFlow Switch The packet is finally unloaded to finish its journey to the target VM on NIC NIC the virtual network. Physical Network Layer 2012年11月17日土曜日
  • 52.
  • 53.
    Advanced Security Groups > Demo 2012年11月17日土曜日
  • 54.
    Alive Monitor > Demo 2012年11月17日土曜日
  • 55.
    Instance Backup > Demo 2012年11月17日土曜日
  • 56.
  • 57.
  • 58.
    Scheduled Features • DC Level Snapshot (Virtual Storage) • VDC Deployment Engine • Windows Instance Support (Coming Soon) • Abuse Patrol 2012年11月17日土曜日
  • 59.
    De Wakame-VDC Supports vO Development & ps Operation Pla t fo rm 2012年11月17日土曜日
  • 60.
    Source Code Overview • Related Projects • Directory Structure • Modules 2012年11月17日土曜日
  • 61.
    Related Projects ongithub • axsh/isono (Fundamental Framework) • axsh/trema (OpenFlow Controller Framework) • axsh/eventmachine (Event Driven Engine) 2012年11月17日土曜日
  • 62.
    Services / Daemons • frontend (GUI) • vdc-webui (User’s Interface) • vdc-admin (Operator’s Interface) • dcmgr (Core) • vdc-dcmgr / vdc-collector / vdc-hva / vdc-sta / vdc-nsa • vdc-metadata (Metadata Server) • vdc-nwmongw (Alive Monitoring) • vdc-manage (Command Line Interface) 2012年11月17日土曜日
  • 63.
    Directory Structure • dcmgr/lib/dcmgr (Core Source Code) • dcmgr/bin (Startup Scripts) • frontend/dcmgr_gui (User’s Interface) • frontend/admin (Operator’s Interface) • rpmbuild (RPM Specs) > Exploring... 2012年11月17日土曜日
  • 64.
    Let’s Change OurWorld Together https://github.com/axsh/wakame-vdc Wakame Software Foundation 2012年11月17日土曜日