• Save
Askusa on aws
Upcoming SlideShare
Loading in...5
×
 

Askusa on aws

on

  • 1,146 views

第9回 AWS User Group - Japan 東京勉強会

第9回 AWS User Group - Japan 東京勉強会

Statistics

Views

Total Views
1,146
Views on SlideShare
1,146
Embed Views
0

Actions

Likes
0
Downloads
0
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Askusa on aws Askusa on aws Presentation Transcript

  • Asakusa on AWS
    第9回 AWS User Group - Japan 東京勉強会
    Shingo Furuyama
    @marblejenka
  • 自己紹介
    Asakusa Frameworkの概要
    Asakusa on EC2
    今後の展開など
    Hadoopについて
  • 自己紹介
    Asakusa Frameworkの概要
    Asakusa on EC2
    今後の展開など
    Hadoopについて
  • @marblejenka
    自己紹介
  • キャリア
    [2007/4~2010/6] SimplexTechnology, Inc.
    金利デリバティブに関するシステム開発
    Treasury Risk Managementに関するシステム開発
    [2010/7~2011/2] Self Employee
    Hadoopの金融領域における利用についてのPoC
    EMRを基盤とするログ解析アプリケーションの開発
    [2011/3~2011/9] UL Systems, Inc.
    Asakusa Framework/Hadoopインフラ検証・設定
    分散処理のアプリケーションに関するPoC/開発
    [2011/10~]Nautilus Technologies, Inc.
    分散処理のアプリケーションに関するPoC/開発など
    自己紹介
    http://www.facebook.com/profile.php?id=1762939167&sk
    http://www.linkedin.com/in/shingofuruyama
  • 自己紹介
    Asakusa Frameworkの概要
    Asakusa on EC2
    今後の展開など
    Hadoopについて
  • MapReduceによる分散計算ができる
    HDFSでデータインテンシブな計算をサポート
    Disk I/Oを分散させてスループットを高めるアーキテクチャ
    Hadoopについて
  • 業務システムの複雑さのレベルに比して変更耐性が弱い
    HDFSにトランザクションという概念が存在しない
    単体テスト・結合テストの仕組みがそれほど考えられているものではない
    Hadoopについて
    Hadoopを業務システムに適用する際の問題点
    Asakusa Frameworkはこれらの弱点を補うレイヤとして機能する
  • 自己紹介
    Asakusa Frameworkの概要
    Asakusa on EC2
    今後の展開など
    Hadoopについて
  • Apache License, Version 2.0で公開されているOSS
    https://github.com/asakusafw/
    http://asakusafw.s3.amazonaws.com/documents/0.2/develop/ja/html/index.html
    業務処理をJavaをホスト言語とするDSLで記述し、JavaのコンパイラとAsakusaのMapReduceコンパイラでコンパイルし、バッチアプリケーションを生成する
    コンパイルされたバッチアプリケーションを制御する薄いラッパーを経由してHadoopのジョブを実行するため、Hadoopに対する追加のセットアップは不要
    Asakusa Frameworkの概要
  • Asakusa Frameworkの概要
    AsakusaによるHadoopの補完
    変更耐性が低い
    DSL/Generic Data Flow
    DMDL/DMTL
    トランザクションがない
    ThunderGate
    (RDBMSとの連携)
    テスト支援が弱い
    TestDriver
  • みてわかるクラウドマガジン vol.3
    • Asakusaの紹介記事が掲載されている
    • AsakusaFrameworkの概要の解説
    • Cloudera 配布のVMware仮想マシンによるQuick Startの解説/ハンズオン
    Asakusa Frameworkの概要
    買ってね!
  • 自己紹介
    Asakusa Frameworkの概要
    Asakusa on EC2
    今後の展開など
    Hadoopについて
  • スタンドアロンモードで動作する開発環境向けのAMIを提供中
    https://github.com/asakusafw/asakusafw/wiki/Asakusa-SDK-AMI-ja
    Asakusa on EC2
  • Asakusa FrameworkのCIはAWS上で実行
    http://ec2-175-41-241-89.ap-northeast-1.compute.amazonaws.com/jenkins/
    Asakusa on EC2
  • aws-toos
    HadoopのクラスタをEC2上に自動生成するツール
    Private IPで通信したいので、起動後に設定ファイルのwiringを行う
    諸般の事情により未公開
    AWSでのHadoop完全分散モードによる実行環境について
    東京リージョンではClusterCompute Instanceにできないため、HadoopのShuffleフェーズの性能が問題になる
    別にお試しならClusterComputeでなくてもよいが・・・
    EMRが使えるべきだが、Hadoopのバージョンの違いがあり、動作しない
    Asakusa on EC2
  • 自己紹介
    Asakusa Frameworkの概要
    Asakusa on EC2
    今後の展開など
    Hadoopについて
  • 実案件でAWSの使用を検討中
    案件化後、汎用的に使えるProofedなソースをOSSにしていく
    EMR対応を本格検討中で、本番・ステージング・研究開発に使用する
    今後の展開など
  • Thank You!!