Programming AWS with Python
•
19 likes•6,078 views
PyCon APAC 2013 で使った資料です。資料中に、デモで使ったスクリプトへのリンクもあります。
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Programming AWS with Python
Similar to Programming AWS with Python (20)
More from Yasuhiro Matsuo
More from Yasuhiro Matsuo (13)
Recently uploaded
Recently uploaded (9)
Programming AWS with Python
- 2. Who am I ? 名前 • 松尾康博 ( @understeer ) 所属 • アマゾンデータサービスジャパン株式会社 • ソリューションアーキテクト • ビッグデータ、HPCのお客様を担当 Python歴 • BASIC, C, C++, Perl, Ruby, Java, PHP • Python 半年
- 4. 今日の本当のスピーカーは・・・ 堀内 康弘 AWS テクニカルエバンジェリスト @horiuchi 10+ years web engineer in startups • Director of V-cube (perl), 2001 - 2006 • CTO of FlipClip (perl), 2006 - 2009 • CTO of gumi (python), 2009 - 2012
- 5. ç
- 6. 今日の話 AWS で Python を 使う
- 7. 今日の話 AWS で Python を 使う AWS を Python で 使う
- 8. Agenda AWS API / SDK 概要 Boto Botoの応用例 まとめ
- 11. これらの裏側では・・・ 各サービスの各操作にAPIが定義されている AWSでは・・・ • 人間がGUIまたはCUI越しに叩く • プログラミングしてそれを自動化・簡易化・カスタ マイズ • 人間が手でやらなくてはいけない事をプログラミングして自 動化できる、これがSDKで簡単に実現可能 AWSの実は最も優れた一面
- 14. APIの例 ( EC2起動 : RunInstances) http://docs.aws.amazon.com/AWSEC2/latest/APIReference/ApiRefere nce-query-RunInstances.html https://ec2.amazonaws.com/?Action=RunInstances &ImageId=ami-60a54009 &MaxCount=3 &MinCount=1 &KeyName=my-key-pair &Placement.AvailabilityZone=us-east-1d &AUTHPARAMS
- 15. AWS SDKとは AWSのサービスをプログラムで操作できる関数群 • http://aws.amazon.com/jp/tools/ • REST/SOAP APIのラッパー
- 18. Webアプリでの利用例
- 19. FOR PYTHON
- 20. Boto Python用のAWS SDK http://aws.amazon.com/jp/sdkforpython/ Botoの作者が中の人になって公式化 最新版は2.13.0 (2013年9月12日現在) Python 2.6.6, 2.7.1 on Mac OSX and Ubuntu Maverick で動作確認している。 Python 2.5での互換性もなるべく考慮しているが保証外 Python 3.xユーザーはneoブランチをお試しください
- 21. Botoのゴール Amazon Web Serviceを幅、深さの面で全てをサポートす る。 他のパブリックサービスもサポート • Google Storage プライベートクラウドもサポート • Eucalyptus • OpenStack • Open Nebula
- 22. 対応サービス 33個 (2013年9月現在) • Simple Storage Service (S3) • SimpleQueue Service (SQS) • Elastic Compute Cloud (EC2) • Mechanical Turk • SimpleDB • CloudFront • CloudWatch • AutoScaling • Elastic Load Balancer (ELB) • Virtual Private Cloud (VPC) • Elastic Map Reduce (EMR) • Relational Data Service (RDS) • AWS Opsworks • Redshift • Simple Notification Server (SNS) • Google Storage • Identity and Access Management (IAM) • Route53 DNS Service (route53) • Simple Email Service (SES) • Flexible Payment Service (FPS) • CloudFormation • Amazon DynamoDB • Amazon SimpleWorkflow • Elastic Transcoder • Simple Workflow Service (SWF) • CloudSearch • Marketplace Web Services • Support • Amazon Glacier
- 23. botoに関するリソース SDK for Python http://aws.amazon.com/jp/sdkforpython/ ソースコードリポジトリ • https://github.com/boto/boto PyPI • http://pypi.python.org/pypi/boto オンラインドキュメント • http://docs.pythonboto.org/ リファレンス • http://boto.readthedocs.org/en/latest/#
- 24. インストール $pip install boto $git clone git://github.com/boto/boto.git
- 25. 初期設定 設定ファイルの作成 /etc/boto.cfg - グローバルな設定を記述 ~/.boto ユーザー毎の設定を記述 もしくは、環境変数の設定 • AWS_ACCESS_KEY_ID • AWS_SECRET_ACESS_KEY http://boto.readthedocs.org/en/latest/boto_config_tut.html
- 26. 設定ファイルの例 [Credentials] aws_access_key_id = AKIOISTHEMOSTSUBERUARCHITECT aws_secret_access_key = Question1sWhyAr5Th5yCall5dSliXXXX [Boto] debug = 0 num_retries = 10 [DynamoDB] region = ap-northeast-1
- 27. EC2の操作例 >>> from boto import ec2 >>> con = ec2.connect_to_region('ap-northeast-1') #全てのインスタンス取得 >>> con.get_all_instances() #スナップショットの作成 >>> con.create_snapshot(‘vol-xxxxxxxxx’)
- 28. AWS の完全マネージド・サービス 完全マネージド型で、セットアップ、運用、拡張が 不要なメッセージングサービス Amazon SQS Amazon DynamoDB 完全マネージド型で、高速なパフォーマンス、シー ムレスな拡張性と信頼性をNoSQLサービス
- 29. DynamoDBの操作例 # コネクション作成 conn = boto.connect_dynamodb() # スキーマを定義 (ハッシュキー) table_schema = conn.create_schema( hash_key_name='frame_no', hash_key_proto_value=12345, ) # テーブルの作成 table = conn.create_table( name='Table Name', schema=table_schema, read_units=10, write_units=10, )
- 30. DynamoDBの操作例 # テーブルにアイテムをインサート for x in xrange(1000): item = table.new_item( hash_key=x, attrs={'comment': 'xxxxx'}) item.put()
- 31. デモ EC2一覧取得 conn = boto.ec2.connect_to_region(REGION) reslist = conn.get_all_instances() for res in reslist: for ins in res.instances: print ins.instance_type デモスクリプトはこちら https://gist.github.com/understeer/6559792
- 32. Virtual Private Cloud クラウド内に、専用のネットワークを構築 既存の設備を活かしたハイブリッドクラウド環境が構築 可能 プライベート サブネット VPC Subnet パブリック サブネット VPC Subnet InternetGW オンプレミス 専用NW領域 Internet 専用線 InternetVP N VPN GW Region ハイブリッドクラウド
- 33. リージョン名: us-east-1VPC ID: CIDR: 10.0.0.0/16 Zone: us-east-1a subnet id: CIDR: 10.0.0.0/25 Route table: Network ACL:Internet Gateway id: Web サーバー パブリックIP プライベートIP デモ: VPCから一気に作ってみます https://gist.github.com/understeer/6559805 デモスクリプトはこちら
- 34. SDKの応用例
- 35. Dynamic DNS 仮想 サーバ マシン イメージ EIP EC2 インスタンス EIP EC2起動時に、EIP(固定IP)を DNSエントリに登録 Amazon Route 53 Hosted Zone
- 37. Scale Up EC2 インスタンス 冗長 構成 EC2 インスタンス オリジ ナル MySQL DB インスタンス ロードバランサ Amazon Route 53 ec.clouddesignpattern.org Amazon CloudWatch EC2 インスタンス EIP MySQL DB インスタンス 冗長 構成 監視サーバが障害を検知したら SDKでサーバ入れ替え処理を自動実行
- 38. まとめ
- 39. SDKを使うことでAWSをアプリのバックエンドとして利 用可 • バックエンド側の開発コストを最小化 • バックエンド側の運用コストを最小化 • スケーラビリティの心配なし • 金額面でもコスト削減に AWSはコーディングする方の力を最大限に引き出すイン フラ • その恩恵はサーバ側だけでなくクライアントアプリにも！ • HAPPY CODING!! まとめ
- 40. 最後に
- 41. AWS 無料使用枠（12ヵ月） Amazon EC2 750時間/月のLinux マイクロインスタンス • 複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当 Amazon EC2 750時間/月のWindows Server マイクロインスタンス • 複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当 Amazon EBS • 30 GB に加え、200万 I/O、スナップショット ストレージ 1 GB Elastic Load Balancing • 750時間に加え 15 GB 分のデータ処理 帯域幅「送信（アウト）」15 GB Amazon S3 ストレージ • 5 GBの容量、20,000 Get リクエスト、2,000 Put リクエスト DynamoDB、SimpleDB、SWF、SQS、SNS、CloudWatch http://aws.amazon.com/jp/free/
- 42. 9/28 JAWS FESTA Kansai 2013 9/28 (土) 京セラドームにて開催 AWSのユーザーグループ (JAWS-UG)主催のイベント http://jfk2013.jaws-ug.jp/
- 43. 175を超えるセッション! Gameday! Hackathon! Boot Camp! ラボ! 展示会! パーティー! re:Invent 2013 参加ツアーの申し込みはこちら! http://bit.ly/reinvent2013japan 11月12日 (火) 〜 11月15日 (金) の4日間 !ラスベ ガス・ベネチアンホテルで開催! 基調講演 日本語同時通訳! 日本専用トラック! 懇親ディナー! シアトルオフィス訪問! ※ツアー参加の特典です。
Editor's Notes
- 14:00-14:45 前半 Storage Gateway概要 20分 後半ハンズ事例紹介 20分