Weave Clouds Together ～マルチクラウドで織りなす、エンジニア魂！

Weave Clouds Together
マルチクラウドで織りなす、エンジニア魂♡

What’s cloud?
クラウドって？

クラウドは広がる
 今や、クラウドベンダーは、様々なサービスを提供してくれている
 自由に使えるサーバーインフラはもちろん
 用途に特化したサービスも充実してきた
 容量無制限のストレージサービス
 デプロイするだけで運用できるPaaS (Platform as a Service)
 ユーザー認証や管理を一元化できるサービス
 動画を利用環境に合わせて変換、ストリーミング配信するサービス
 ビッグデータの蓄積、解析の基盤となるデータウェアハウス
 IoT (Internet of Things) を視野に入れたデータストリームや実行環境の提供
 機械学習の複雑なアルゴリズムの設計や実施をもサービス化

クラウドで広がる？エンジニアの夢
 何か作りたい
 使ってもらいたい
 私はプログラムが書ける
 Webなら…！
 Webなら、みんなに届くかも！

クラウドを織り合わせて
 思い立ったが吉日、すぐ使えるインフラ
 苦手や複雑な部分はいくらでもサービスで補える
 作りたいところに専念できる！
 リリース後のアップデートもWebなら可能
 リリース後の運用でも活用できるサービスたくさん

大平かづみ
 現職: アイレット株式会社 cloudpack事業部
 クラウドエンジニア見習い中！
 過去の経歴
 SIer でガラケーやカーナビのミドルウェア開発 (C/C++)
 Web系開発 (Ruby on Rails, Phalcon PHP Framework)
 お世話になっているコミュニティ
 Japan AWS User Group (JAWSUG)
 Japan Azure User Group (JAZUG) や qpstudy 、DevLOVE 、PHP界隈など、他多数
 [JAWSUGでは恒例] 好きなAWSサービス
 AWS Lambda もしくは Amazon Cognito と言えるようになりたい！（語感が好き）

Let’s construct! :)
作ってみた！

クラウドとクラウドをつなげたい！
 今日の主役はもちろん、！
 そしていつもお世話になっているも使いたい
 最近構築できるようになったロギングツール
 2台の間でログを転送してみたり
 突貫工事でどこまでできるか？

構成図 (1)
EC2 S3Virtual Servers

構成図 (2) セキュアに通信
EC2 S3Virtual Servers
IAM
Fluentd の secure_forward プラグイン
を利用してセキュアに
IAMロールを利用して
セキュアに

構築環境
 今日の主役:
 Virtual Servers / 仮想サーバー
http://www.softlayer.com/jp/virtual-servers
 いつも使ってる: (AWS)
 Amazon EC2
http://aws.amazon.com/jp/ec2/
 Amazon S3
http://aws.amazon.com/jp/s3/

作業環境
 愛機:
http://www.microsoft.com/surface/ja-jp/products/surface-2
 強力な助っ人:
 Virtual Machines
http://azure.microsoft.com/ja-jp/services/virtual-machines/

使用アプリケーション
 ロギングツール: (td-agent)
http://www.fluentd.org/
 入力
 in_secure_forward プラグイン
 in_tail プラグイン
 出力
 out_secure_forward プラグイン
 out_s3 プラグイン

仮想サーバー
 SoftLayer の IaaS (Infrastructure as a Service)
 SoftLayer といえばベア・メタル・サーバーですが、こちらの仮想サーバーは
お値段もお安く、無料利用枠があるので今回利用しました！
 ベア・メタル・サーバーのお値段: $0.47/時間
 仮想サーバーのお値段: $0.04/時間（ベアメタルの10分の1！）
 今回使ったリージョン: 東京リージョン (TOK02 – Tokyo – Japan)
 今回使ったOS: CentOS 6.x – Minimal Install (64 bit)

仮想サーバー無料利用枠
 月額 $27.60 が無料に！
 リージョンとOSは選べます
 スペック
 CPU: 1 x 2.0 GHz Core
 RAM: 1GB
 ストレージ: 25GB (ローカル)
 Public Bandwidth: 5000 GB
Bandwidth
 プライマリ IP アドレス: 1アドレス
 Uplink Port Speeds: 100 Mbps
Public & Private Network Uplinks

Amazon EC2
 お馴染み、Amazon が提供する IaaS
 4年前？私の初めてのクラウドはここからでした！
 今回使ったリージョン: 東京リージョン
 今回使ったOS: CentOS 6.5
 CentOS.org が公開するコミュニティAMIを利用

Amazon S3
 お馴染み、Amazon が提供するストレージサービス
 AWS内のセキュリティコントロール機構である AWS IAM を利用して、EC2 から
のアクセスをセキュアに実現
 この方法を使うと、設定ファイルなどにクレデンシャルを記載しなくていいのでセ
キュア
 作業記録はこちら
Check! はじめての Fluentd 〜 IAMロールで Amazon EC2 と S3 間をセキュアに

Virtual Machines
 Microsoft が提供する IaaS
 [余談] 経緯
 愛機は、Pro版と違い、軽量さとバッテリー容量と引き換えに、自由にソ
フトウェアをインストールできません
 そこで、外部のWindowsインスタンスにリモートデスクトップで接続することで、
あたかも自マシンで操作している感覚！
 自宅は固定回線引いてないので、多少お金かかりますけどIaaSでインスタンス調達
でなくてもでもでも、Windowsインスタンスは使えます♪
 1年前くらいからこの方法で使ってますが、普通に便利です！

 Treasure Data, Inc 製のロギングツール
 たかがログ、されどログ
 ログは、サービス運用を支える命綱（と改めて思いました）
 多くの入出力に対応
 プラグインとして実装されており、独自のプラグインの作成も可能
 フィルタリングやバッファリングの機構も
 日本人が開発してることもあり、日本での導入事例も多い

Let’s try! :)
デモしてみます

実演の流れ
仮想サーバーで syslog にログを入力 (loggerコマンド)
が syslog の追記分を検知
が追記分のログを、 EC2 のへ転送
EC2 のが S3 へログを転送

つまづいたところ
 つまづき: からにログが届かない！
の secure_forward プラグインは、まずコネクションを確立するのですが、
しない…
内での実験なら成功しているが…
側の Security Group は解放しているのに、Ping や DNS解決はできてるのに、
telnet ポート指定では接続できない…
→ は届くのに！
 きーーーー！

つまづいたところ: 答え
 つまづき: SoftLayer から AWS にログが届かない！
 同僚からのアドバイスにより、iptables を確認
 答え: Amazon EC2 インスタンスの iptables がポートをさえぎっておりました… orz

さて、デモの様子は？
S3にちゃんと届いたかな？

Thank you! Enjoy Cloud! :)
最後まで聞いてくださり、ありがとうございました！

Weave Clouds Together ～マルチクラウドで織りなす、エンジニア魂！

Recommended

Recommended

More Related Content

More from Kazumi IWANAGA

More from Kazumi IWANAGA (20)

Recently uploaded

Recently uploaded (9)