クラウド開発に役立つ OSS あれこれ

【19-E-4】】クラウド開発に役立つ OSS あれこれ 2010.2.19 水野正隆 / 奥垣内喬

自己紹介水野正隆 (みずのまさたか) – 1999 年株式会社オージス総研入社 – 開発・保守の現場を渡り歩くおっさん • 出身: OODB (Objectivity DB) • 母国語: C/C++ • ひとこと: OO厨じゃないよ奥垣内喬 (おくがうちたかし) – 後ほど出てきます。

オブジェクトの広場 http://www.ogis-ri.co.jp/otc/hiroba/ – OO/UML, モデリングなどを扱う – オンラインマガジン – もう11年目 – 継続は力なり

今回のデブサミのキャッチコピー世界は変わった。開発の現場はどうか？

こんなことを考えてみる。。企業内システムをクラウドサービスで再構築する。

話したいこと 1. クラウドでアプリを開発するときの疑問・課題：「クラウドではどうするの？」 2. 課題を解決する OSS

クラウドで開発するときのどうするの? 注) しばし、SIer 的な話にお付き合いください…

よくある議論ですが、「世の中のシステム全部がクラウドになるわけではない」と言われています。

なぜか? (大きな)会社では、社内のシステムが既にある。

データは社内にある！社内システムが主で、従業員スキル管理クラウド上のアプリが従の関係にあるシステムの場合人事DB ・従業員情報

つなげなくちゃ。社内システムとクラウド上のアプリを連携させる。

クラウド – オンプレミス連携オンプレミス【on-premise】】 • 原義は「構内の」などの意 • 情報サービスを，自社内のハードウエアとソフトウエアによって運用する方式。自社運用型。「—型」 -- goo 辞書より

どうするの? 1 簡単に連携したい。サービスに依存するおまじないやアラビンドビン …じゃなかった。決まった手順をアブラいちいち実装したくない。カタブラ…

だけど、話はそれだけじゃない…

嫌よ。あんまり仲良くなくてもつなげなくちゃいけない。

たとえば、プロトコルにギャップ連携しようとしたものの • 社内システムが独自のプロトコルでしか通信できない。 • クラウドは SOAP/WSDL を話す。

さらに… クラウドサービス毎に得意分野は違う。 • 向き・不向きがある。 • 用途に応じてクラウドを使い分ける。

クラウドを組み合わせるいくつかのクラウドサービスを統合したシステムを構築することになるでしょう。

クラウドインテグレーション = オンプレミス連携 + クラウド間連携

どうするの? 2 クラウドインテグレーション厄介な問題が多い。 • プロトコルにギャップ • 接続数が多い

システム開発ってそれだけじゃない。 • 共同開発 • テスト • デプロイ …

共同開発！どうやったら一緒にやっていけるかしら？

どうするの? 3 クラウド環境で共同開発意外な盲点はないか？実例 – チームの責任者が代表として AWS の契約をした。チームメンバがサービスを利用するときに困った。 • ID & シークレットキー共有でなんとかしたけど…

テスト！どうやってテストする気よ？

どうするの? 4 クラウド環境でテストするこれまでのプラクティスは使える？ • 雲の向こうにありますが… – SaaS をカスタマイズしたアプリ – PaaS 環境に作ったアプリ • ローカルで同じ環境を作ればOK？ – IaaS 環境に作ったアプリ

よい子のテストの習慣は？ (1/2) 転ばぬ先 “自分”のテスト環境を持つの杖ね。 • 本番と同じ環境は作れそう。 • 単体テスト環境？ • テストスイート？実例社内にもテスト環境が欲しかった。 • テスト実行にお金かかるし。

よい子のテストの習慣は？ (2/2) コードはいつでもテストの自動化リリース可能？ • これまでのように、ビルド・テストをバックグラウンドでやるような仕掛けはクラウド環境で作れる？実例 – PaaS で CI が困った。

デプロイ！どうやってデプロイする気よ？

どうするの? 5 デプロイを簡単にしたいうまい方法を見つけないと失敗しそう。 • デプロイ先が多い – 異なるクラウドサービス – 複数の仮想マシン • 仮想マシンの増減

よい子のデプロイの習慣は？１クリックが嬉しいな。デプロイを自動化する • 最新のテストされたコードを、簡単にデプロイするにはどうすれば良い？ • 沢山ある環境に対して、人の手でデプロイしていくなんて怖くてできない。

まとめると

状況 • 連携が避けられないケースがある – 社内にデータがある • 連携は 1 対 1 とは限らない • 我々の仕事の一番泥臭いところ – 共同開発、テスト、デプロイ – やはりクラウド環境にもつきまとう

どうするの? 1. 手軽に連携したい 2. 複数のサービスの連携 3. 共同開発 4. テスト 5. デプロイを簡単に

課題を解決する OSS

あらためて自己紹介 - 先に出てきました。 - ２００６年株式会社オージス総研入社 - 調査・企画、OSS製品のプリセールスなどに従事出身: MIDI 母国語: AppleScript ひとこと: OOってなんですか？

課題を解決する OSS 部品はいっぱいそろっている！

連携? とりあえずつながる - サービス/プラットフォーム毎に要求される固有のメッセージ交換手順や　　データの型を扱える。 - とりあえず相手と話ができる能力があるかどうか。エレガントにつなげる - 相手の(またはこちらの)都合に合わせて臨機応変に対応しなければ　いけない部分を、如何に労力をかけずに実現できるか。 - 再利用可能な、または移植可能な部品化を促進するインフラや　アーキテクチャがあるかどうか。

「とりあえずつながる」分類としてこんなものが… ▼サービス / プラットフォームの API を使いやすく WSDL などを入力とする自動生成された静的型付け言語用のサービスコンシューマやメッセージのテンプレートが同梱されてたりとか DSLっぽく文法が定義されてたり、マクロが定義されてたり ▼目的・用途別のツール主に上記の「使いやすく」系ツールキットを利用して作られた、特定用途向けのアプリケーションとか。UI があったり逆に既存の便利ツールがクラウド環境にも対応しました、など。

「とりあえずつながる」 boto Beatbox rforce SWDC-WSC salesforcealchemy ActiveSalesforce Salesforce Three Sharp Python Toolkit AWS::S3 netflexity-* lits3 amazon-cxf WWW::Salesforce Amazon * PHP Class Wakame cloud loader fabulatr s3funnel Puppet …すごくたくさんある！

サービス / プラットフォームのAPI を使いやすく調査時のバージョン： 0.4β rforce 実行環境 : Ruby 1.8.x, 1.9.x / クロスプラットフォームライセンス : MIT/X Consortium Licence Ｗｅｂ : http://rforce.rubyforge.org/ 概要・ユースケース Force.com の Web サービス API (Partner API)を容易に扱える Ruby ライブラリ。SOQL のクエリをコマンドラインで実行して結果を確認するなどの、ちょっとしたツールを作成するのに有用そう。なかみ WSDL の operation をメソッド名に、引数として SOAP の BODY に格納される XML と等価な構造の、入れ子になった Hash を指定して実行する。method_missing でテンプレートの文字列中にそれらの情報を埋め込んで送信しているだけというシンプルな作りなので送信時の諸々の妥当性の検証は利用者におまかせです。

目的・用途別のツール調査時のバージョン： 0.0.1 実行環境 : Python 2.6.x 以上 / クロスプラットフォームライセンス : BSD Software Licence Ｗｅｂ : http://code.google.com/p/fabulatr/ 概要・ユースケース Amazon EC2 を、代表者のAWSアカウント１つで多人数で利用する際に有用なツール。Web ページのフォームよりメールアドレスを入力すると、 AMI 起動ボタンのあるページへのリンクとそのユーザー用の秘密鍵が添付されたメールが届く。クレジットカード情報と紐づいた AWS アカウントや、各種クレデンシャル情報を末端の利用者に一切知らせることなく運用可能。なかみ boto というプラットフォーム特化型ライブラリと、 Pylons という Web フレームワークに依存。easy_install でのインストールの際には、Pylons が依存する webhelpers のバージョンを 0.6.4 に指定しないと動かない。 SMTP サーバとして指定できるのは GMail の SMTP サーバだけっぽい。

設定自動化調査時のバージョン： 0.25.4 実行環境 : Ruby 1.8.7 / OS X, POSIX ライセンス : GPL v2 Ｗｅｂ : http://reductivelabs.com/trac/puppet 概要・ユースケースシステム管理を自動化するツール。管理対象である複数台のマシンに対してOS/ミドルウェア/アプリケーション等の設定を自動更新するのに有用なツール。設定のためのスクリプトを書くのではなく、環境のあるべき姿をマニフェストとして書くのが特徴。抽象化レイヤの存在により、OSやディストリビューションの違いを意識することなくマニフェストを記述することができる。なかみクライアント/サーバ構成になっていて、クライアントが定期的にサーバにあるマニフェストと自分の環境との差分を見て、環境を更新する仕掛け。

設定自動化調査時のバージョン： 0.5.0 実行環境 : Ruby 1.8.7 / POSIX ライセンス : Apache Software License Ｗｅｂ : http://wakame.axsh.jp/ 概要・ユースケース Amazon EC2 のインスタンス数を自動的に増減させるのに有用なツール。Ruby で書かれた日本製のエンジン。負荷状況に応じてシステムをスケールするよりも (Reactive Scaling)、あらかじめ計画したようにスケールさせる (Proactive Scaling) 方を重要視しているのが特徴的。名前は“ふえるわかめ○ゃん“からきている？なかみ Master と Agent と呼ばれるクライアント/サーバ構成で、ノード間を AMQP (Advanced Message Queuing Protocol) によるメッセージングハブでつないでスケール時の処理の同期を取っている。あらかじめ Wakame をフルセットでセットアップしておいた AMI を作っておき、そこから役割に応じた Agent が生成されるしかけ。

「エレガントにつなげる」分類としてこんなものが... ▼雲の向こうに理想的なインタフェースをつくるための　　フレームワークプラットフォームの制約がある中で、雲の向こう側にがんばって理想的な（こちら側に都合の良い）インタフェースをこしらえたり ▼プロキシとかフィルタとかそれっぽいサービスの実行基盤サービスやプラットフォーム毎に異なる制約を意識させないための中継層をこしらえ、それらの諸々の処理を分離・独立させて隔離し、再利用可能にする仕組みがあったり ▼プライベートクラウド構築の素こちら側の資産を、雲の向こう側にあわせる形で互換性を持たせたり

「エレガントにつなげる」 Restlet GAE-json-rest Atomosphere OpenSocial Java Reflex AppEngine Gifts framework OpenESB SnapLogic mule ESB Synapse Camel JBoss Enterprise Tuscany SOA Platform Eucalyptus Nimbus OpenNebula AppScale APSales …そこそこある

都合の良い？インタフェースをつくれるかも調査時のバージョン： 0.5.2 実行環境 : Java 5.0 以上/クロスプラットフォーム Atomosphere ライセンス : GPL v2 Ｗｅｂ : https://atmosphere.dev.java.net/ 概要・ユースケース Servlet 3.0 仕様による非同期 IO の標準化を待たずに実装された様々なComet (Ajax サーバプッシュ)関連ＡＰＩを抽象化するライブラリ GAE/J 上でも動く。なかみ GAEのサンドボックスって制約上スレッドの操作ができないのでは？という素人な疑問を、Non-Brocking IO 非対応なサーバ向けの実装および java.util.concurrent.CountDownLatch の利用による力技？で回避。

プロキシ？　フィルタ？とりあえずエレガント権力１アド・ホックで 2 コンポーネント化 3 共通処理の分離カオス分散 λ. . . . . 集中配備

プロキシ？フィルタ？サービスの実行基盤調査時のバージョン： 3.0 M1 Community Edition 実行環境 : Java SE 5.0 以上ライセンス : Common Public Attribution License 1.0 Ｗｅｂ : http://www.mulesoft.org/display/MULE/Home 概要・ユースケースその名の通り、SOA における中核インフラらしい「ESB」として利用できる POJO サービスコンテナ。プロトコルブリッジング/ルーティング/データ変換などの機能を持ち、書籍 “Enterprise Integration Pattern” にある主要なパターンを実装することができる。OSS ESB としては最古の部類。なかみ Spring frameworkを利用して設定を行う、SEDA(Staged Event-Driven Architecture)実装。内部に配置された各サービスには独立したスレッドとイベントのキューが割り当てられ、複数サービスのシーケンシャルな処理を最適化する。

パブリックな IaaS と API 互換のインフラを構築する調査時のバージョン： 1.6.2 実行環境 : Linux 　　　　　(+ ディストリビューションにより Xen または KVM) ライセンス : GPL v3 Ｗｅｂ : http://eucalyptus.cs.ucsb.edu/ 概要・ユースケース Amazon EC2, S3, EBS互換のインフラサービスを構築可能なツール。コマンドラインツールに加え、設定管理用の Web アプリケーションも利用できる。NASA での採用実績がある。なかみ API まわりの実装など、結構な部分が Java で書かれており、mule ESB、 Drools、Axis2、Jetty などが利用されてたりする。

まとめ • 企業システムとクラウドと SI – 連携必須。 – 現場的には、テストやデプロイ等にも見通しを持ちたい。 • OSS と SI – ツールの仕組みを読み解くのは、クラウドとの付き合い方を模索するのに好都合かも。 – 成熟度の高い一部のツールに淘汰されきってない今だからこそできることがきっとあるはず。それが SI のネタになりそう。

ご清聴ありがとうございました

http://www.ogis-ri.co.jp	92
http://www.slideshare.net	35
http://kumo.tk-bay.ogis-ri.co.jp	2
http://www.tk-bay.ogis-ri.co.jp	1
http://static.slidesharecdn.com	1

クラウド開発に役立つ OSS あれこれ

by Masataka MIZUNO on Feb 21, 2010

Accessibility

Tags

Upload Details

Usage Rights

5 Embeds 131

Statistics

クラウド開発に役立つ OSS あれこれ — Presentation Transcript