![設定ファイルの例
[Credentials]
aws_access_key_id = AKIOISTHEMOSTSUBERUARCHITECT
aws_secret_access_key = Question1sWhyAr5Th5yCall5dSliXXXX
[Boto]
debug = 0
num_retries = 10
[DynamoDB]
region = ap-northeast-1](https://image.slidesharecdn.com/20130914pyconapacawspublic-130914030653-phpapp02/75/Programming-AWS-with-Python-26-2048.jpg)
Uploaded byYasuhiro Matsuo
Programming AWS with Python
PyCon APAC 2013 で使った資料です。資料中に、デモで使ったスクリプトへのリンクもあります。
More Related Content
![[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話](https://cdn.slidesharecdn.com/ss_thumbnails/thestorythatbecamehappyaftermovinglegacysystemtoaws-190911051101-thumbnail.jpg?width=640&height=640&fit=bounds)
![[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_](https://cdn.slidesharecdn.com/ss_thumbnails/tittle-180330034333-thumbnail.jpg?width=640&height=640&fit=bounds)
![[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス](https://cdn.slidesharecdn.com/ss_thumbnails/2018bcu30slide-180422164418-thumbnail.jpg?width=640&height=640&fit=bounds)
![[JAWSBigData#11]Cloudera on AWSと Amazon EMRを両方本番運用し 3つの観点から比較してみる](https://cdn.slidesharecdn.com/ss_thumbnails/dljawsbigdata11clouderaonawsamazonemr3-180207013607-thumbnail.jpg?width=640&height=640&fit=bounds)
![[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験](https://cdn.slidesharecdn.com/ss_thumbnails/faasrps-171104115940-thumbnail.jpg?width=640&height=640&fit=bounds)
![[JAWS-UG AI支部] AWS AIアップデート](https://cdn.slidesharecdn.com/ss_thumbnails/20170220jawsai-170220105810-thumbnail.jpg?width=640&height=640&fit=bounds)
![[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)](https://cdn.slidesharecdn.com/ss_thumbnails/2fre-dashawsathenaembulk-171126175231-thumbnail.jpg?width=640&height=640&fit=bounds)
![[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返る](https://cdn.slidesharecdn.com/ss_thumbnails/data-190410013754-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Programming AWS with Python
![[AWSマイスターシリーズ] AWS SDK for PHP / Ruby / boto(Python) / JavaScript in Node.js](https://cdn.slidesharecdn.com/ss_thumbnails/20131218aws-meister-regenerate-awssdkforruby-php-python-node-public20131218-131218175831-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
![[AWSマイスターシリーズ] AWS SDK for Java / .NET](https://cdn.slidesharecdn.com/ss_thumbnails/20131210aws-meister-regenerate-awssdkforjavaanddotnet-public-131218175521-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
![[AWS Developers Meetup 2017] Developerのための ライブAWSウォークスルー 〜 AWS SDKの使い方 〜](https://cdn.slidesharecdn.com/ss_thumbnails/20171207awsdevelopersmeetuplivewalkthrogh-171213024216-thumbnail.jpg?width=640&height=640&fit=bounds)
Programming AWS with Python
- 1.
- 2. Who am I? 名前 • 松尾康博 ( @understeer ) 所属 • アマゾンデータサービスジャパン株式会社 • ソリューションアーキテクト • ビッグデータ、HPCのお客様を担当 Python歴 • BASIC, C, C++, Perl, Ruby, Java, PHP • Python 半年
- 3.
- 4. 今日の本当のスピーカーは・・・ 堀内 康弘 AWS テクニカルエバンジェリスト @horiuchi 10+years web engineer in startups • Director of V-cube (perl), 2001 - 2006 • CTO of FlipClip (perl), 2006 - 2009 • CTO of gumi (python), 2009 - 2012
- 5.
- 6.
- 7. 今日の話 AWS で Pythonを 使う AWS を Python で 使う
- 8. Agenda AWS API /SDK 概要 Boto Botoの応用例 まとめ
- 9.
- 10.
- 11. これらの裏側では・・・ 各サービスの各操作にAPIが定義されている AWSでは・・・ • 人間がGUIまたはCUI越しに叩く • プログラミングしてそれを自動化・簡易化・カスタ マイズ •人間が手でやらなくてはいけない事をプログラミングして自 動化できる、これがSDKで簡単に実現可能 AWSの実は最も優れた一面
- 12.
- 13.
- 14. APIの例 ( EC2起動: RunInstances) http://docs.aws.amazon.com/AWSEC2/latest/APIReference/ApiRefere nce-query-RunInstances.html https://ec2.amazonaws.com/?Action=RunInstances &ImageId=ami-60a54009 &MaxCount=3 &MinCount=1 &KeyName=my-key-pair &Placement.AvailabilityZone=us-east-1d &AUTHPARAMS
- 15. AWS SDKとは AWSのサービスをプログラムで操作できる関数群 • http://aws.amazon.com/jp/tools/ •REST/SOAP APIのラッパー
- 17.
- 18.
- 19.
- 20. Boto Python用のAWS SDK http://aws.amazon.com/jp/sdkforpython/ Botoの作者が中の人になって公式化 最新版は2.13.0 (2013年9月12日現在) Python2.6.6, 2.7.1 on Mac OSX and Ubuntu Maverick で動作確認している。 Python 2.5での互換性もなるべく考慮しているが保証外 Python 3.xユーザーはneoブランチをお試しください
- 21. Botoのゴール Amazon Web Serviceを幅、深さの面で全てをサポートす る。 他のパブリックサービスもサポート •Google Storage プライベートクラウドもサポート • Eucalyptus • OpenStack • Open Nebula
- 22. 対応サービス 33個 (2013年9月現在) •Simple Storage Service (S3) • SimpleQueue Service (SQS) • Elastic Compute Cloud (EC2) • Mechanical Turk • SimpleDB • CloudFront • CloudWatch • AutoScaling • Elastic Load Balancer (ELB) • Virtual Private Cloud (VPC) • Elastic Map Reduce (EMR) • Relational Data Service (RDS) • AWS Opsworks • Redshift • Simple Notification Server (SNS) • Google Storage • Identity and Access Management (IAM) • Route53 DNS Service (route53) • Simple Email Service (SES) • Flexible Payment Service (FPS) • CloudFormation • Amazon DynamoDB • Amazon SimpleWorkflow • Elastic Transcoder • Simple Workflow Service (SWF) • CloudSearch • Marketplace Web Services • Support • Amazon Glacier
- 23. botoに関するリソース SDK for Python http://aws.amazon.com/jp/sdkforpython/ ソースコードリポジトリ •https://github.com/boto/boto PyPI • http://pypi.python.org/pypi/boto オンラインドキュメント • http://docs.pythonboto.org/ リファレンス • http://boto.readthedocs.org/en/latest/#
- 24. インストール $pip install boto $gitclone git://github.com/boto/boto.git
- 25. 初期設定 設定ファイルの作成 /etc/boto.cfg - グローバルな設定を記述 ~/.botoユーザー毎の設定を記述 もしくは、環境変数の設定 • AWS_ACCESS_KEY_ID • AWS_SECRET_ACESS_KEY http://boto.readthedocs.org/en/latest/boto_config_tut.html
- 26. 設定ファイルの例 [Credentials] aws_access_key_id = AKIOISTHEMOSTSUBERUARCHITECT aws_secret_access_key= Question1sWhyAr5Th5yCall5dSliXXXX [Boto] debug = 0 num_retries = 10 [DynamoDB] region = ap-northeast-1
- 27. EC2の操作例 >>> from botoimport ec2 >>> con = ec2.connect_to_region('ap-northeast-1') #全てのインスタンス取得 >>> con.get_all_instances() #スナップショットの作成 >>> con.create_snapshot(‘vol-xxxxxxxxx’)
- 28. AWS の完全マネージド・サービス 完全マネージド型で、セットアップ、運用、拡張が 不要なメッセージングサービス Amazon SQS AmazonDynamoDB 完全マネージド型で、高速なパフォーマンス、シー ムレスな拡張性と信頼性をNoSQLサービス
- 29. DynamoDBの操作例 # コネクション作成 conn =boto.connect_dynamodb() # スキーマを定義 (ハッシュキー) table_schema = conn.create_schema( hash_key_name='frame_no', hash_key_proto_value=12345, ) # テーブルの作成 table = conn.create_table( name='Table Name', schema=table_schema, read_units=10, write_units=10, )
- 30. DynamoDBの操作例 # テーブルにアイテムをインサート for xin xrange(1000): item = table.new_item( hash_key=x, attrs={'comment': 'xxxxx'}) item.put()
- 31. デモ EC2一覧取得 conn = boto.ec2.connect_to_region(REGION) reslist= conn.get_all_instances() for res in reslist: for ins in res.instances: print ins.instance_type デモスクリプトはこちら https://gist.github.com/understeer/6559792
- 32. Virtual Private Cloud クラウド内に、専用のネットワークを構築 既存の設備を活かしたハイブリッドクラウド環境が構築 可能 プライベート サブネット VPCSubnet パブリック サブネット VPC Subnet InternetGW オンプレミス 専用NW領域 Internet 専用線 InternetVP N VPN GW Region ハイブリッドクラウド
- 33. リージョン名: us-east-1VPC ID: CIDR:10.0.0.0/16 Zone: us-east-1a subnet id: CIDR: 10.0.0.0/25 Route table: Network ACL:Internet Gateway id: Web サーバー パブリックIP プライベートIP デモ: VPCから一気に作ってみます https://gist.github.com/understeer/6559805 デモスクリプトはこちら
- 34.
- 35.
- 36.
- 37. Scale Up EC2 インスタンス 冗長 構成 EC2 インスタンス オリジ ナル MySQL DB インスタンス ロードバランサ Amazon Route53 ec.clouddesignpattern.org Amazon CloudWatch EC2 インスタンス EIP MySQL DB インスタンス 冗長 構成 監視サーバが障害を検知したら SDKでサーバ入れ替え処理を自動実行
- 38.
- 39. SDKを使うことでAWSをアプリのバックエンドとして利 用可 • バックエンド側の開発コストを最小化 • バックエンド側の運用コストを最小化 •スケーラビリティの心配なし • 金額面でもコスト削減に AWSはコーディングする方の力を最大限に引き出すイン フラ • その恩恵はサーバ側だけでなくクライアントアプリにも！ • HAPPY CODING!! まとめ
- 40.
- 41. AWS 無料使用枠（12ヵ月） Amazon EC2750時間/月のLinux マイクロインスタンス • 複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当 Amazon EC2 750時間/月のWindows Server マイクロインスタンス • 複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当 Amazon EBS • 30 GB に加え、200万 I/O、スナップショット ストレージ 1 GB Elastic Load Balancing • 750時間に加え 15 GB 分のデータ処理 帯域幅「送信（アウト）」15 GB Amazon S3 ストレージ • 5 GBの容量、20,000 Get リクエスト、2,000 Put リクエスト DynamoDB、SimpleDB、SWF、SQS、SNS、CloudWatch http://aws.amazon.com/jp/free/
- 42. 9/28 JAWS FESTAKansai 2013 9/28 (土) 京セラドームにて開催 AWSのユーザーグループ (JAWS-UG)主催のイベント http://jfk2013.jaws-ug.jp/
- 43. 175を超えるセッション! Gameday! Hackathon! BootCamp! ラボ! 展示会! パーティー! re:Invent 2013 参加ツアーの申し込みはこちら! http://bit.ly/reinvent2013japan 11月12日 (火) 〜 11月15日 (金) の4日間 !ラスベ ガス・ベネチアンホテルで開催! 基調講演 日本語同時通訳! 日本専用トラック! 懇親ディナー! シアトルオフィス訪問! ※ツアー参加の特典です。
Editor's Notes
- #2 14:00-14:45 前半 Storage Gateway概要 20分 後半ハンズ事例紹介 20分