Asakusa on AWS<br />第9回 AWS User Group - Japan 東京勉強会<br />Shingo Furuyama<br />@marblejenka<br />
自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
@marblejenka<br />自己紹介<br />
キャリア<br />[2007/4~2010/6] SimplexTechnology, Inc.<br />金利デリバティブに関するシステム開発<br />Treasury Risk Managementに関するシステム開発<br />[20...
自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
MapReduceによる分散計算ができる<br />HDFSでデータインテンシブな計算をサポート<br />Disk I/Oを分散させてスループットを高めるアーキテクチャ<br />Hadoopについて<br />
業務システムの複雑さのレベルに比して変更耐性が弱い<br />HDFSにトランザクションという概念が存在しない<br />単体テスト・結合テストの仕組みがそれほど考えられているものではない<br />Hadoopについて<br />Hadoop...
自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
Apache License, Version 2.0で公開されているOSS<br />https://github.com/asakusafw/<br />http://asakusafw.s3.amazonaws.com/documents...
Asakusa Frameworkの概要<br />AsakusaによるHadoopの補完<br />変更耐性が低い<br />DSL/Generic Data Flow<br />DMDL/DMTL<br />トランザクションがない<br /...
みてわかるクラウドマガジン vol.3<br /><ul><li>Asakusaの紹介記事が掲載されている
 AsakusaFrameworkの概要の解説
 Cloudera 配布のVMware仮想マシンによるQuick Startの解説/ハンズオン</li></ul>Asakusa Frameworkの概要<br />買ってね!<br />
自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
スタンドアロンモードで動作する開発環境向けのAMIを提供中<br />https://github.com/asakusafw/asakusafw/wiki/Asakusa-SDK-AMI-ja<br />Asakusa on EC2<br />
Asakusa FrameworkのCIはAWS上で実行<br />http://ec2-175-41-241-89.ap-northeast-1.compute.amazonaws.com/jenkins/<br />Asakusa on E...
aws-toos<br />HadoopのクラスタをEC2上に自動生成するツール<br />	Private IPで通信したいので、起動後に設定ファイルのwiringを行う<br />諸般の事情により未公開<br />AWSでのHadoop完全...
自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
Upcoming SlideShare
Loading in...5
×

Askusa on aws

941

Published on

第9回 AWS User Group - Japan 東京勉強会

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
941
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Askusa on aws"

  1. 1. Asakusa on AWS<br />第9回 AWS User Group - Japan 東京勉強会<br />Shingo Furuyama<br />@marblejenka<br />
  2. 2. 自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
  3. 3. 自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
  4. 4. @marblejenka<br />自己紹介<br />
  5. 5. キャリア<br />[2007/4~2010/6] SimplexTechnology, Inc.<br />金利デリバティブに関するシステム開発<br />Treasury Risk Managementに関するシステム開発<br />[2010/7~2011/2] Self Employee<br />Hadoopの金融領域における利用についてのPoC<br />EMRを基盤とするログ解析アプリケーションの開発<br />[2011/3~2011/9] UL Systems, Inc.<br />Asakusa Framework/Hadoopインフラ検証・設定<br />分散処理のアプリケーションに関するPoC/開発<br />[2011/10~]Nautilus Technologies, Inc.<br />分散処理のアプリケーションに関するPoC/開発など<br />自己紹介<br />http://www.facebook.com/profile.php?id=1762939167&sk<br />http://www.linkedin.com/in/shingofuruyama<br />
  6. 6. 自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
  7. 7. MapReduceによる分散計算ができる<br />HDFSでデータインテンシブな計算をサポート<br />Disk I/Oを分散させてスループットを高めるアーキテクチャ<br />Hadoopについて<br />
  8. 8. 業務システムの複雑さのレベルに比して変更耐性が弱い<br />HDFSにトランザクションという概念が存在しない<br />単体テスト・結合テストの仕組みがそれほど考えられているものではない<br />Hadoopについて<br />Hadoopを業務システムに適用する際の問題点<br />Asakusa Frameworkはこれらの弱点を補うレイヤとして機能する<br />
  9. 9. 自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
  10. 10. Apache License, Version 2.0で公開されているOSS<br />https://github.com/asakusafw/<br />http://asakusafw.s3.amazonaws.com/documents/0.2/develop/ja/html/index.html<br />業務処理をJavaをホスト言語とするDSLで記述し、JavaのコンパイラとAsakusaのMapReduceコンパイラでコンパイルし、バッチアプリケーションを生成する<br />コンパイルされたバッチアプリケーションを制御する薄いラッパーを経由してHadoopのジョブを実行するため、Hadoopに対する追加のセットアップは不要<br />Asakusa Frameworkの概要<br />
  11. 11. Asakusa Frameworkの概要<br />AsakusaによるHadoopの補完<br />変更耐性が低い<br />DSL/Generic Data Flow<br />DMDL/DMTL<br />トランザクションがない<br />ThunderGate<br />(RDBMSとの連携)<br />テスト支援が弱い<br />TestDriver<br />
  12. 12. みてわかるクラウドマガジン vol.3<br /><ul><li>Asakusaの紹介記事が掲載されている
  13. 13. AsakusaFrameworkの概要の解説
  14. 14. Cloudera 配布のVMware仮想マシンによるQuick Startの解説/ハンズオン</li></ul>Asakusa Frameworkの概要<br />買ってね!<br />
  15. 15. 自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
  16. 16. スタンドアロンモードで動作する開発環境向けのAMIを提供中<br />https://github.com/asakusafw/asakusafw/wiki/Asakusa-SDK-AMI-ja<br />Asakusa on EC2<br />
  17. 17. Asakusa FrameworkのCIはAWS上で実行<br />http://ec2-175-41-241-89.ap-northeast-1.compute.amazonaws.com/jenkins/<br />Asakusa on EC2<br />
  18. 18. aws-toos<br />HadoopのクラスタをEC2上に自動生成するツール<br /> Private IPで通信したいので、起動後に設定ファイルのwiringを行う<br />諸般の事情により未公開<br />AWSでのHadoop完全分散モードによる実行環境について<br />東京リージョンではClusterCompute Instanceにできないため、HadoopのShuffleフェーズの性能が問題になる<br />別にお試しならClusterComputeでなくてもよいが・・・<br />EMRが使えるべきだが、Hadoopのバージョンの違いがあり、動作しない<br />Asakusa on EC2<br />
  19. 19. 自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
  20. 20. 実案件でAWSの使用を検討中<br />案件化後、汎用的に使えるProofedなソースをOSSにしていく<br />EMR対応を本格検討中で、本番・ステージング・研究開発に使用する<br />今後の展開など<br />
  21. 21. Thank You!!<br />

×