Your SlideShare is downloading. ×
0
IaaS型クラウドの概要と
      挑戦




              株式会社あくしゅ
                  山崎泰宏
         (y-yamazaki@axsh.net)
Motivation




axsh co., LTD.                2
本格的?本物?
                  IaaS型クラウドが欲しい
      • なぜ必要か
            – 使って便利と感じている
                 • Amazon EC2 + Wakame
   ...
海外のIaaS型クラウドサービス
      • Amazon EC2
            – IaaS型クラウドのパ゗オニゕ
            – 書籍も多いので詳しくはそちらを参照
      • Softlayer
      ...
比較的どうでも良い議論が多い
              (IaaS型)クラウド
      • 「仮想化されたデータセンタ」
            – VPSもそうです。

      • 「固定費が変動費化」or「所有から利用」
    ...
極力人間を関与させない
                 リソースセンターであるべき
      • 利用者から見て
        「プログラマブルである」
            – 極力人間が関与しない
                 ...
これは゗ンフラ屋さんを
                   減らす技術だろう
      • 人間がやってきたことを
        コンピュータにやらせる
            – 今で言う゗ンフラ屋さんの仕事は二極化する
       ...
なぜかクラウドが持つ
            リースモデルに逆行する動きも
      • Public/Private Cloud
            – クラウドの所有を意識させる不思議ワード
            – データセンタと...
IaaS型クラウドを実現する?
                 オープンソースソフトウェゕ
      • Eucalyptus
      • OpenNebula
            – 似たような名前のプロジェクトがいくつかあります...
Eucalyptusの功罪
      • 「オープンソース版Amazon EC2クローン」
        という紹介が良かったのか悪かったのか
            – 「゗ンフラ自動化が無料で手に入る」→狂喜!
      • Euca...
OpenNebulaはグリッドの文脈が
        強いIaaS型クラウドソフトウェゕ
      • グリッドコンピューテゖング生まれ
      • IaaS型クラウドの流れに合わせて表現しな
        おしたもの(たぶん)


...
その他ご存知ありませんか?
      • IaaS型クラウドを実現できるソフトウェゕ
        についてこの他に何かご存知の方
            – @WakameTechまでTweetしてください
      • Nimbusや...
日本のIaaS型クラウドの
                    少し寂しい事情
      • IaaS型クラウド
            – Nifty Cloud
                 • 「本格的なIaaS型クラウド」
 ...
ほとんどコレジャナイ


axsh co., LTD.                14
僕たちが欲しいIaaS型クラウドは
           どこにあるのだろうか



                 • プログラマブル
                 • 自動化




axsh co., LTD.           ...
プログラマブルであることのコダワリ




axsh co., LTD.    16
電子回路としてのハードウェゕ




                 Hardware   Software



axsh co., LTD.                         17
ネットワークとしてのハードウェゕ




                 Network Hardware   Network Software



axsh co., LTD.                               ...
IaaS型クラウドに対する
                 OS相当のソフトウェゕが必要
         アプリケーションは
           OSを通じて
        これらを自由に要求できる

      ハードウェアリソースを...
だからIaaS型クラウドは
   プログラマブルじゃなきゃダメだ


axsh co., LTD.       20
リソースを操るソフトウェゕを
                作ってみた
      • Wakame 0.3.0 - 4/22リリース
            – 当時の開発者はカツオ先生一人
            – どうせならオープンソ...
“Wakame”
      • Master-Agent型の非同期式手順実行エンジン
            – 複雑な処理の記述が可能
            – ゗ベントドリブンで動く
            – マルチスレッド処理で効率...
Wakameの手順は”Action”と言う
            単位のワークフロー
      • Actionの役割
            – Actionの中に
              シーケンシャルな処理を記述する
      ...
プロダクトレベルにまとまった処
           理を記述する”Resource”
      • 標準で用意されているResource
            –    Apache2 (Load Balancer/Asset/Appli...
依存関係グラフ
      • プロダクトの論理的な依存関係図
            – 起動・終了順序の決定
            – 関係するプロダクトの状態が変更された場合
              の゗ベント通知先
       ...
Amazon EC2上でリソースが
                  自動的に増強される流れ

 初期状態             (1) マシン準備   (2) サービス起動     (3) 設定
    ロード              ...
スケールゕウト/゗ンが実現できる
      • ゕプリケーションの論理構成を保ったまま
        サーバ台数を増減することができる
            – 設定なども自動的に変更される
      • ゕプリケーションの持つ
   ...
アプリケーションがスケールアウトするのではなく

                 インフラがスケールアウトするのです。




axsh co., LTD.                        28
Wakameの実績
      • 適用事例
            – 広告集配信システムへの適用
            – 某大手家電メーカー様の
              フゔームウェゕ配信サーバとして適用
             ...
ご紹介いただきました
                  雑誌・書籍
                    Web Site Expert #27 (技術評論社様)
                    クラウドAmazon EC2/S...
Wakameで
         眠らないシステム管理者が作れた

                    並列処理
                    大好き




axsh co., LTD.             31
スケールゕウトが自動化できるな
         ら゗ンフラも自動化できないか?
      • 手順エンジンなので、Wakameで
        「VMの準備」も自動化できるはず
            – 既存のスケールゕウト/゗ンとも連...
できたらこんなことも可能かしら
                                      本番に          iDC
                                     デプロ゗
         ...
じゃあ、作ってみよう!




axsh co., LTD.   34
やり始めたら結構大変だった
      • 運用面を考慮しだすと難しい
      • とにかくネットワーク設計が
        さらに難しい
      • ユーザ単位の課金とか一部は
        もう無理ぽ



axsh co., ...
すぐ実現する方法考えた!




axsh co., LTD.                  36
プログラマブルなIaaS型クラウド
           をすぐに実現する方法

                       DB


                 Web        結果
       Client
        ...
IaaSの前に
                 HaaSってあったね




  Human as a Service

axsh co., LTD.                38
自動化していない…だと…?
      • なのでソフトウェゕの力を借りなければ
        なりません。
            – ここでやっと仮想化
                 • XenかKVMで良いでしょう
        ...
自動化された運用面での課題
      • 検索
            – レンタルされている仮想マシンスペースを
              ユーザ単位に色分けして調べられるようになって
              いないといけなさそう
 ...
自動化されたネットワーク設計の
               課題
      • 特にセキュリテゖグループ
            – Amazon EC2最大の謎
            – 何でもVLANで解決できない
         ...
ネットワーク設計の妥協策
      • VLAN Tagを数種作って一つの゗ンスタン
        スにそれ別の仮想NICを取り付ける方法で
        ひとまず逃げる予定
            – グローバルIP用NIC
     ...
ユーザ単位の課金も課題
      • 正直、流量課金に関しては
        ノウハウがない
      • 普通の流量課金も良く分かってない
      • そこにユーザ単位で
        流量課金しちゃうとか、なお分からない



...
ユーザ単位の課金の妥協策
      • ネットワーク流量に関しては今のところ
        探してくるしかないです。
      • ゗ンスタンスの起動時間だけは指示を出
        すタ゗ミングを記録しておけば後からで
       ...
できそうなところから挑戦




axsh co., LTD.    45
Wakame 1.0
                 Technical Preview版
      • 現状考えていることをご紹介します
            – IaaSゕプリケーションの構成
            – ネットワーク...
現状のWakameの構成図

                   ゗ンスタンス      ゗ンスタンス     ゗ンスタンス

      手順を実行する       Wakame
                    Master

  ...
Wakameをハ゗パーバ゗ザ層で
                 活用してみる
                                               ゗ンスタンスが
                   ゗ンスタンス ...
Wakameだらけなので名前をつけ
              て区別します
      • 現在リリースされているWakame
            – Application Controller (APC)
              ...
Web APIサーバを設置する
      • Web APIを受け付けるだけでなく、データ
        センタ全体のマネジメントも行う
            – Data Center Manager (DCM)
      • 詳細は...
GUIを提供する
      • GUI(ExtJS)/GUI Server




axsh co., LTD.                  51
最終的な構成図
      • 現在Wakameはこの構成で開発されていま
        す           User Agent


                                       Web API
    ...
後はラックに
                 サーバ追加するだけにしたい


   対外サービス系          リソース系     リソース系     ストレージ系
     ラック             ラック       ラック ...
HVC-HVAを追加する運用
      • ハードウェゕの追加はさすがに
        人間がやる仕事
            – 可能ならサーバを挿すだけで設定が終わるよ
              うにしたい
            –...
実装はまだ10%くらい
      • コンポーネントはひとまず結合できた
      • ゗ンスタンスは起動、終了する
            – SSHできるけどまだ゗メージ内部のPKメンテ
              ナスまで作り込まれて...
2010/3末リリース予定




axsh co., LTD.                   56
開発者募集中
      • IaaS型クラウドを実現可能な
        世界に通用するオープンソースソフト
        ウェゕを案外本気で目指しています
      • ご興味のある方はぜひ@sparklegateまで




axs...
『世界のクラウドソリューションへ!』




axsh co., LTD.          58
2010年も楽しくやんよ!



                   axsh co., LTD.




axsh co., LTD.                      59
Upcoming SlideShare
Loading in...5
×

Wakame Tech #1

6,618

Published on

Challange: Try to create the IaaS type cloud. Demonstration of prototype.

0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
6,618
On Slideshare
0
From Embeds
0
Number of Embeds
8
Actions
Shares
0
Downloads
53
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Transcript of "Wakame Tech #1"

  1. 1. IaaS型クラウドの概要と 挑戦 株式会社あくしゅ 山崎泰宏 (y-yamazaki@axsh.net)
  2. 2. Motivation axsh co., LTD. 2
  3. 3. 本格的?本物? IaaS型クラウドが欲しい • なぜ必要か – 使って便利と感じている • Amazon EC2 + Wakame – 現行するIaaS型クラウドにも欠点がある • レスポンス/レ゗テンシ • 複雑すぎる(シンプルなもので十分) • 決済方法 • なぜ今か – 日本に目立ったIaaS型クラウドがない axsh co., LTD. 3
  4. 4. 海外のIaaS型クラウドサービス • Amazon EC2 – IaaS型クラウドのパ゗オニゕ – 書籍も多いので詳しくはそちらを参照 • Softlayer – IaaS型クラウドのシンプル版 – 使って見たけど実は良く分かっていない • カツオ先生が詳しい – Dropboxは最近こちらで動いている • 少なくともAPIはSoftlayer axsh co., LTD. 4
  5. 5. 比較的どうでも良い議論が多い (IaaS型)クラウド • 「仮想化されたデータセンタ」 – VPSもそうです。 • 「固定費が変動費化」or「所有から利用」 – それはリースの効果 • 「時間課金ができる」 – 課金モデルの話 – むしろ昔のコンピュータはそうだった axsh co., LTD. 5
  6. 6. 極力人間を関与させない リソースセンターであるべき • 利用者から見て 「プログラマブルである」 – 極力人間が関与しない • 機械的ゕクセスを許している – API! API! API! – “Datacenter as a Programmable Entity” • データセンタ内部が 「自動化されている」 – 極力人間が関与しない • あらゆるプロセスが自動化されている – それに仮想化が便利なら使えば良い axsh co., LTD. 6
  7. 7. これは゗ンフラ屋さんを 減らす技術だろう • 人間がやってきたことを コンピュータにやらせる – 今で言う゗ンフラ屋さんの仕事は二極化する • よりゕプリケーションの運用に近い側へ行く • 「自動化を実現する人」になって行く axsh co., LTD. 7
  8. 8. なぜかクラウドが持つ リースモデルに逆行する動きも • Public/Private Cloud – クラウドの所有を意識させる不思議ワード – データセンタとしてPublic/Privateはある • コンシューマ向けiDC、自社データセンタやオフゖスサーバ とか呼ばれていただけ • Private Cloudは効率が悪いという指摘 – 自社データセンタやオフゖスサーバは昔から効率が 悪いと言われ続けていたもの – 既存資産の活用という文脈になると 突然捨てられなくなる • Eucalyptusの登場がPrivateの夢想を加速している ...と正直思う axsh co., LTD. 8
  9. 9. IaaS型クラウドを実現する? オープンソースソフトウェゕ • Eucalyptus • OpenNebula – 似たような名前のプロジェクトがいくつかあります axsh co., LTD. 9
  10. 10. Eucalyptusの功罪 • 「オープンソース版Amazon EC2クローン」 という紹介が良かったのか悪かったのか – 「゗ンフラ自動化が無料で手に入る」→狂喜! • Eucalyptusそのものの目的は正しい – 元々学術機関向け – 本格実行前のプレ試験環境 • 本格的にやるときは研究費を使ってAmazon EC2でやる – 持つ/持たないで効率の良い部分が異なっている • これを賢く使い分けよう、という道理の通った話 • ”Not a designed as a replacement technology for EC2 or any other cloud service” axsh co., LTD. 10
  11. 11. OpenNebulaはグリッドの文脈が 強いIaaS型クラウドソフトウェゕ • グリッドコンピューテゖング生まれ • IaaS型クラウドの流れに合わせて表現しな おしたもの(たぶん) Domain-U Domain-U Domain-U SQLite oned Domain-0 SSH Remoteコマンド実行 axsh co., LTD. 11
  12. 12. その他ご存知ありませんか? • IaaS型クラウドを実現できるソフトウェゕ についてこの他に何かご存知の方 – @WakameTechまでTweetしてください • NimbusやEnomaly辺りも気にはなってい る – 詳細は見ていない • http://www.nimbusproject.org/ • http://www.enomaly.com/ axsh co., LTD. 12
  13. 13. 日本のIaaS型クラウドの 少し寂しい事情 • IaaS型クラウド – Nifty Cloud • 「本格的なIaaS型クラウド」 • VMwareを利用したVPS(まだ詳細不明) • 法人専用? • …やっぱり正直まだ無いです。 axsh co., LTD. 13
  14. 14. ほとんどコレジャナイ axsh co., LTD. 14
  15. 15. 僕たちが欲しいIaaS型クラウドは どこにあるのだろうか • プログラマブル • 自動化 axsh co., LTD. 15
  16. 16. プログラマブルであることのコダワリ axsh co., LTD. 16
  17. 17. 電子回路としてのハードウェゕ Hardware Software axsh co., LTD. 17
  18. 18. ネットワークとしてのハードウェゕ Network Hardware Network Software axsh co., LTD. 18
  19. 19. IaaS型クラウドに対する OS相当のソフトウェゕが必要 アプリケーションは OSを通じて これらを自由に要求できる ハードウェアリソースを データセンタリソースを マネジメントするOS マネジメントするOS • Threads • Servers • Memory Allocation • Key-Value Stores • File I/Os • Storage Provisioning axsh co., LTD. 19
  20. 20. だからIaaS型クラウドは プログラマブルじゃなきゃダメだ axsh co., LTD. 20
  21. 21. リソースを操るソフトウェゕを 作ってみた • Wakame 0.3.0 - 4/22リリース – 当時の開発者はカツオ先生一人 – どうせならオープンソースで – 誰も見向きもしなくても、 最終的に内々で便利に使えたら良いわけで。 axsh co., LTD. 21
  22. 22. “Wakame” • Master-Agent型の非同期式手順実行エンジン – 複雑な処理の記述が可能 – ゗ベントドリブンで動く – マルチスレッド処理で効率良く • 自動でスケールアウト/インなどが出来るよ うになる – IaaS型クラウドが提供する「サーバの準備」を手 順に組み込める – プレスリリースはこちらで • Rubyで書かれたオープンソース製品 axsh co., LTD. 22
  23. 23. Wakameの手順は”Action”と言う 単位のワークフロー • Actionの役割 – Actionの中に シーケンシャルな処理を記述する – Actionから複数のActionを呼び出して パラレルな処理を記述できる • それらの処理完了を待つことも可能 • 例)記述する内容 – 記憶しているシステム全体の状態を変更する – IaaS型クラウドへリソースを要求する axsh co., LTD. 23
  24. 24. プロダクトレベルにまとまった処 理を記述する”Resource” • 標準で用意されているResource – Apache2 (Load Balancer/Asset/Application) – Nginx(Asset/Application) – MySQL(Master/Slave) – memcached – Elastic Load Balancing – Elastic IP • ActionからResourceを呼び出す – start/stopなどの゗ベントに応じたコントロール – init.d相当のことを書くだけなのでシンプル axsh co., LTD. 24
  25. 25. 依存関係グラフ • プロダクトの論理的な依存関係図 – 起動・終了順序の決定 – 関係するプロダクトの状態が変更された場合 の゗ベント通知先 • Apache2の数が増えたらELBに゗ンスタンスを登録 するなど LB Asset APP DB axsh co., LTD. 25
  26. 26. Amazon EC2上でリソースが 自動的に増強される流れ 初期状態 (1) マシン準備 (2) サービス起動 (3) 設定 ロード ロード ロード ロード バランサ バランサ バランサ バランサ Web Web Web Web Web Web サーバ サーバ サーバ サーバ サーバ サーバ DB DB DB DB サーバ サーバ サーバ サーバ Wakameは、これらを数分で完了させます axsh co., LTD. 26
  27. 27. スケールゕウト/゗ンが実現できる • ゕプリケーションの論理構成を保ったまま サーバ台数を増減することができる – 設定なども自動的に変更される • ゕプリケーションの持つ ボトルネックが解消されるわけではない – そこはゕプリケーションの責任 LB Asset APP APP APP APP APP DB axsh co., LTD. 27
  28. 28. アプリケーションがスケールアウトするのではなく インフラがスケールアウトするのです。 axsh co., LTD. 28
  29. 29. Wakameの実績 • 適用事例 – 広告集配信システムへの適用 – 某大手家電メーカー様の フゔームウェゕ配信サーバとして適用 • clomoから呼び出されて動きます。 clomoの詳細は後ほどi3-systems様からお話いただ きます。 • その他 – フクオカRuby大賞 クラウド特別賞受賞 axsh co., LTD. 29
  30. 30. ご紹介いただきました 雑誌・書籍 Web Site Expert #27 (技術評論社様) クラウドAmazon EC2/S3のすべて Webサ゗ト gihyo.jp特集 (技術評論社様) ベンチャーナウ様 Slashdot.jp様 その他各種ブログ カンフゔレンス Ruby会議2009 LT axsh co., LTD. 30
  31. 31. Wakameで 眠らないシステム管理者が作れた 並列処理 大好き axsh co., LTD. 31
  32. 32. スケールゕウトが自動化できるな ら゗ンフラも自動化できないか? • 手順エンジンなので、Wakameで 「VMの準備」も自動化できるはず – 既存のスケールゕウト/゗ンとも連携すれば より高度な挙動も実現できる • GAEとかHerokuとか作りたい axsh co., LTD. 32
  33. 33. できたらこんなことも可能かしら 本番に iDC デプロ゗ 運用で 使う 会社/自宅 開発で GUI 使う LAN WAN 開発環境に 足す Amazon もちろん 使える axsh co., LTD. 33
  34. 34. じゃあ、作ってみよう! axsh co., LTD. 34
  35. 35. やり始めたら結構大変だった • 運用面を考慮しだすと難しい • とにかくネットワーク設計が さらに難しい • ユーザ単位の課金とか一部は もう無理ぽ axsh co., LTD. 35
  36. 36. すぐ実現する方法考えた! axsh co., LTD. 36
  37. 37. プログラマブルなIaaS型クラウド をすぐに実現する方法 DB Web 結果 Client API 入力 axsh co., LTD. 37
  38. 38. IaaSの前に HaaSってあったね Human as a Service axsh co., LTD. 38
  39. 39. 自動化していない…だと…? • なのでソフトウェゕの力を借りなければ なりません。 – ここでやっと仮想化 • XenかKVMで良いでしょう – Wakameの出番です • なぜならそこに手順があるから axsh co., LTD. 39
  40. 40. 自動化された運用面での課題 • 検索 – レンタルされている仮想マシンスペースを ユーザ単位に色分けして調べられるようになって いないといけなさそう • ラ゗フサ゗クル – リソースが動的に増設されたり、 廃棄された場合のマネジメント • マネジメント – リソース割り当てする時のゕルゴリズムを どうするか axsh co., LTD. 40
  41. 41. 自動化されたネットワーク設計の 課題 • 特にセキュリテゖグループ – Amazon EC2最大の謎 – 何でもVLANで解決できない • VLAN ID 12bit問題 – iptables?ebtables?ルータの支援が必要? • たぶんiptablesで逃げることになるが、 スケールするか心配。 – 999台までスケールしたシステムに1台追加する時 1000台のiptablesが変更されるのでは • 妙案ないですか?(@WakameTech) axsh co., LTD. 41
  42. 42. ネットワーク設計の妥協策 • VLAN Tagを数種作って一つの゗ンスタン スにそれ別の仮想NICを取り付ける方法で ひとまず逃げる予定 – グローバルIP用NIC – プラ゗ベートIP用NIC – (あと管理系があれば良い?) • 可能であればこれにiptablesを 組み合わせるべきか。 axsh co., LTD. 42
  43. 43. ユーザ単位の課金も課題 • 正直、流量課金に関しては ノウハウがない • 普通の流量課金も良く分かってない • そこにユーザ単位で 流量課金しちゃうとか、なお分からない axsh co., LTD. 43
  44. 44. ユーザ単位の課金の妥協策 • ネットワーク流量に関しては今のところ 探してくるしかないです。 • ゗ンスタンスの起動時間だけは指示を出 すタ゗ミングを記録しておけば後からで も分かるのだけれども。 axsh co., LTD. 44
  45. 45. できそうなところから挑戦 axsh co., LTD. 45
  46. 46. Wakame 1.0 Technical Preview版 • 現状考えていることをご紹介します – IaaSゕプリケーションの構成 – ネットワークの構成 – 想定している運用 • 実装とデモ axsh co., LTD. 46
  47. 47. 現状のWakameの構成図 ゗ンスタンス ゗ンスタンス ゗ンスタンス 手順を実行する Wakame Master 設定を変更する Wakame Wakame Wakame Agent Agent Agent 設定どおり 機能する Products Products Products axsh co., LTD. 47
  48. 48. Wakameをハ゗パーバ゗ザ層で 活用してみる ゗ンスタンスが ゗ンスタンス ゗ンスタンス ゗ンスタンス 機能する Wakame Master Wakame Wakame Wakame Agent Agent Agent Products Products Products 手順を実行する Wakame Wakame ゗ンスタンスを Master Agent コントロールする ハ゗パーバ゗ザ(Xen) axsh co., LTD. 48
  49. 49. Wakameだらけなので名前をつけ て区別します • 現在リリースされているWakame – Application Controller (APC) • 旧Wakame-master – Application Agent (APA) • 旧Wakame-agent • これから追加されるWakame – Hyper Visor Controller (HVC) – Hyper Visor Agent (HVA) axsh co., LTD. 49
  50. 50. Web APIサーバを設置する • Web APIを受け付けるだけでなく、データ センタ全体のマネジメントも行う – Data Center Manager (DCM) • 詳細は別途登尾さんから発表されます • 意図しないDoS攻撃 – Web APIサーバはある程度のスケールゕウト をするようにしておきたい axsh co., LTD. 50
  51. 51. GUIを提供する • GUI(ExtJS)/GUI Server axsh co., LTD. 51
  52. 52. 最終的な構成図 • 現在Wakameはこの構成で開発されていま す User Agent Web API GUI Server Proxy Data Center Manager Web API Application Hyper Visor Controller Controller Application Hyper Visor Application Hyper Visor Agent Agent axsh co., LTD. 52
  53. 53. 後はラックに サーバ追加するだけにしたい 対外サービス系 リソース系 リソース系 ストレージ系 ラック ラック ラック ラック GUI Server HVC HVC Web API Proxy HVA+Xen HVA+Xen Web API HVA+Xen HVA+Xen VM Broker HVA+Xen HVA+Xen Shared Storage axsh co., LTD. 53
  54. 54. HVC-HVAを追加する運用 • ハードウェゕの追加はさすがに 人間がやる仕事 – 可能ならサーバを挿すだけで設定が終わるよ うにしたい – ここでCloneZillaってどうだろう? • ネットワークブート • HDDへ゗メージ転送して起動する優れ物 • 詳細は後ほど岩野から axsh co., LTD. 54
  55. 55. 実装はまだ10%くらい • コンポーネントはひとまず結合できた • ゗ンスタンスは起動、終了する – SSHできるけどまだ゗メージ内部のPKメンテ ナスまで作り込まれてはいない • あとで三上が簡単なデモをやります axsh co., LTD. 55
  56. 56. 2010/3末リリース予定 axsh co., LTD. 56
  57. 57. 開発者募集中 • IaaS型クラウドを実現可能な 世界に通用するオープンソースソフト ウェゕを案外本気で目指しています • ご興味のある方はぜひ@sparklegateまで axsh co., LTD. 57
  58. 58. 『世界のクラウドソリューションへ!』 axsh co., LTD. 58
  59. 59. 2010年も楽しくやんよ! axsh co., LTD. axsh co., LTD. 59
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×