Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Askusa on aws

1,157 views

Published on

第9回 AWS User Group - Japan 東京勉強会

  • Be the first to comment

  • Be the first to like this

Askusa on aws

  1. 1. Asakusa on AWS<br />第9回 AWS User Group - Japan 東京勉強会<br />Shingo Furuyama<br />@marblejenka<br />
  2. 2. 自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
  3. 3. 自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
  4. 4. @marblejenka<br />自己紹介<br />
  5. 5. キャリア<br />[2007/4~2010/6] SimplexTechnology, Inc.<br />金利デリバティブに関するシステム開発<br />Treasury Risk Managementに関するシステム開発<br />[2010/7~2011/2] Self Employee<br />Hadoopの金融領域における利用についてのPoC<br />EMRを基盤とするログ解析アプリケーションの開発<br />[2011/3~2011/9] UL Systems, Inc.<br />Asakusa Framework/Hadoopインフラ検証・設定<br />分散処理のアプリケーションに関するPoC/開発<br />[2011/10~]Nautilus Technologies, Inc.<br />分散処理のアプリケーションに関するPoC/開発など<br />自己紹介<br />http://www.facebook.com/profile.php?id=1762939167&sk<br />http://www.linkedin.com/in/shingofuruyama<br />
  6. 6. 自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
  7. 7. MapReduceによる分散計算ができる<br />HDFSでデータインテンシブな計算をサポート<br />Disk I/Oを分散させてスループットを高めるアーキテクチャ<br />Hadoopについて<br />
  8. 8. 業務システムの複雑さのレベルに比して変更耐性が弱い<br />HDFSにトランザクションという概念が存在しない<br />単体テスト・結合テストの仕組みがそれほど考えられているものではない<br />Hadoopについて<br />Hadoopを業務システムに適用する際の問題点<br />Asakusa Frameworkはこれらの弱点を補うレイヤとして機能する<br />
  9. 9. 自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
  10. 10. Apache License, Version 2.0で公開されているOSS<br />https://github.com/asakusafw/<br />http://asakusafw.s3.amazonaws.com/documents/0.2/develop/ja/html/index.html<br />業務処理をJavaをホスト言語とするDSLで記述し、JavaのコンパイラとAsakusaのMapReduceコンパイラでコンパイルし、バッチアプリケーションを生成する<br />コンパイルされたバッチアプリケーションを制御する薄いラッパーを経由してHadoopのジョブを実行するため、Hadoopに対する追加のセットアップは不要<br />Asakusa Frameworkの概要<br />
  11. 11. Asakusa Frameworkの概要<br />AsakusaによるHadoopの補完<br />変更耐性が低い<br />DSL/Generic Data Flow<br />DMDL/DMTL<br />トランザクションがない<br />ThunderGate<br />(RDBMSとの連携)<br />テスト支援が弱い<br />TestDriver<br />
  12. 12. みてわかるクラウドマガジン vol.3<br /><ul><li>Asakusaの紹介記事が掲載されている
  13. 13. AsakusaFrameworkの概要の解説
  14. 14. Cloudera 配布のVMware仮想マシンによるQuick Startの解説/ハンズオン</li></ul>Asakusa Frameworkの概要<br />買ってね!<br />
  15. 15. 自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
  16. 16. スタンドアロンモードで動作する開発環境向けのAMIを提供中<br />https://github.com/asakusafw/asakusafw/wiki/Asakusa-SDK-AMI-ja<br />Asakusa on EC2<br />
  17. 17. Asakusa FrameworkのCIはAWS上で実行<br />http://ec2-175-41-241-89.ap-northeast-1.compute.amazonaws.com/jenkins/<br />Asakusa on EC2<br />
  18. 18. aws-toos<br />HadoopのクラスタをEC2上に自動生成するツール<br /> Private IPで通信したいので、起動後に設定ファイルのwiringを行う<br />諸般の事情により未公開<br />AWSでのHadoop完全分散モードによる実行環境について<br />東京リージョンではClusterCompute Instanceにできないため、HadoopのShuffleフェーズの性能が問題になる<br />別にお試しならClusterComputeでなくてもよいが・・・<br />EMRが使えるべきだが、Hadoopのバージョンの違いがあり、動作しない<br />Asakusa on EC2<br />
  19. 19. 自己紹介<br />Asakusa Frameworkの概要<br />Asakusa on EC2<br />今後の展開など<br />Hadoopについて<br />
  20. 20. 実案件でAWSの使用を検討中<br />案件化後、汎用的に使えるProofedなソースをOSSにしていく<br />EMR対応を本格検討中で、本番・ステージング・研究開発に使用する<br />今後の展開など<br />
  21. 21. Thank You!!<br />

×