関西オープンソース 2008 30days Albumの裏側

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

関西オープンソース 2008 （株） paperboy&co. 宮下剛輔 2008/11/7

アジェンダ <ul><li>自己紹介 </li></ul><ul><li>30days Album 紹介 </li></ul><ul><li>サーバソフトウェアまわりの話 </li></ul><ul><li>運用まわりの話 </li></ul>

自己紹介 <ul><li>宮下剛輔と申します </li></ul><ul><li>（株） paperboy&co. で技術責任者というのをやってます </li></ul><ul><ul><li>ナウでヤングなレンタルサーバロリポップ！の会...

30days Album <ul><li>http://30d.jp/ </li></ul><ul><li>オンラインアルバムサービス </li></ul><ul><li>30 日間限定 </li></ul><ul><ul><li>30 日経過...

30days Album 誕生の経緯 <ul><li>社内プレゼン大会で優勝したアイデア </li></ul><ul><li>プロジェクトキックオフ飲み会でホルモン喰いながらドメイン名（ 30d.jp ）を決定して即取得（もちろんムームードメ...

30days Album の開発体制 <ul><li>デザイナ 1 人 </li></ul><ul><li>開発 3 人 </li></ul><ul><ul><li>フロント Web アプリ </li></ul></ul><ul><ul><...

30days Album 全体構成リバースプロキシ Web アプリ画像ストレージジョブサーバデータベース

リバースプロキシリバースプロキシ Web アプリ画像ストレージジョブサーバデータベース

リバースプロキシ <ul><li>サービスの入り口 </li></ul><ul><li>Perlbal </li></ul><ul><ul><li>Perl 製のリバースプロキシ / ロードバランサー </li></ul></ul><ul><u...

リバースプロキシリバースプロキシ Web アプリ画像ストレージジョブサーバデータベース http://30d.jp/img へのアクセス http://30d.jp/img 以外へのアクセス

Web アプリリバースプロキシ Web アプリ画像ストレージジョブサーバデータベース

Web アプリ <ul><li>サービスの中心部分 </li></ul><ul><ul><li>アルバム作成 / 閲覧 / 投稿 </li></ul></ul><ul><ul><li>認証（メールアドレス / パスワード、合言葉） </li><...

なぜ Ruby on Rails なのか？ <ul><li>うちは PHP がメイン </li></ul><ul><li>初の Ruby を使ったサービス </li></ul><ul><li>なぜ Ruby なのか？ </li></ul><...

画像ストレージリバースプロキシ Web アプリ画像ストレージジョブサーバデータベース

画像ストレージ <ul><li>MogileFS + 独自のストレージ API </li></ul><ul><li>MogileFS </li></ul><ul><ul><li>Perl 製の分散ストレージシステム </li></ul></u...

ストレージ API ＋ MogileFS ストレージ API tracker (mogilefsd) トラッカー DB (MySQL) storage node (mogstored) storage node (mogstored) ス...

Perlbal 経由の画像取得（通常）ストレージノードストレージノード Perlbal ストレージ API ストレージノードファイルリクエストファイル取得ファイルの内容を返す

X-REPROXY-URL ヘッダ <ul><li>画像の取得をストレージ API 経由でやるのは効率が悪い </li></ul><ul><ul><li>FastCGI プロセスを画像転送だけで占有してしまう </li></ul></ul><u...

X-REPROXY-URL ヘッダを使う場合ストレージノードストレージノード Perlbal ストレージ API ストレージノードファイルリクエスト X-REPROXY-URL: http://storage_node/dev1/0...

画像ストレージのディスク構成 <ul><li>500GBx2 本 </li></ul><ul><li>/boot は RAID1 </li></ul><ul><li>swap, / は RAID1+LVM </li></ul><ul><li>/...

画像ストレージのサーバ構成 <ul><li>リリース時はサーバ 2 台 </li></ul><ul><li>API 、トラッカー（ mogilefsd ）、ストレージノード（ mostored ）が共存 </li></ul><ul><li>Mo...

画像ストレージのサーバ構成 <ul><li>現在は 4 台 </li></ul><ul><li>追加した 2 台はストレージノードとしての役割のみ </li></ul><ul><li>アプリケーションの修正やサービスの再起動を全くせずに拡張でき...

画像のアクセスコントロール <ul><li>Web アプリ </li></ul><ul><ul><li>最初の認証は必ずここ </li></ul></ul><ul><ul><li>メールアドレス / パスワード </li></ul></ul><...

画像のアクセスコントロール Perlbal Web アプリ画像ストレージ memcached 認証時に、セッションキーとアクセス可能なアルバム名をセットセッションキーを元に、アクセス可能なアルバム名を取得して、リクエストを許可 / 拒否認...

ジョブサーバリバースプロキシ Web アプリ画像ストレージジョブサーバデータベース

ジョブサーバ <ul><li>Gearman ＋ TheSchwartz ＋独自のジョブ API </li></ul><ul><li>Gearman </li></ul><ul><ul><li>Perl でできたジョブキュー </li></ul...

ジョブサーバの構成ジョブ API gearmand gearman worker TheSchwartz worker MySQL

ジョブの種類 <ul><li>Gearman </li></ul><ul><ul><li>リアルタイム性の高い処理 </li></ul></ul><ul><ul><li>アルバムを表すサムネイル </li></ul></ul><ul><ul><...

Ruby + memcached <ul><li>Ruby Memcache Client が、 memcached にデータをセットする際に、デフォルトで marshal する </li></ul><ul><li>Perlbal で memc...

mogstored + lighttpd <ul><li>mogstored は WebDAV サーバ </li></ul><ul><ul><li>デフォルトは Perlbal がバックエンド </li></ul></ul><ul><ul><...

mogstored + lighttpd （つづき） <ul><li>Perlbal がバックエンドの時は、存在しないディレクトリにファイルを PUT しても、勝手につくってくれる </li></ul><ul><li>Apache や ligh...

Perlbal の Out of memory <ul><li>リバースプロキシの Perlbal が頻繁に落ちる </li></ul><ul><ul><li>ログには Out of memory! のみ </li></ul></ul><ul...

Puppet <ul><li>Ruby 製のシステム管理ツール </li></ul><ul><li>クライアント / サーバ型 </li></ul><ul><li>サーバの状態を独自言語で定義 </li></ul><ul><ul><li>マニフ...

Puppet マニフェスト <ul><li>package { </li></ul><ul><li>‘ MogileFS-Server’: </li></ul><ul><li>ensure => present ; </li></ul><...

Puppet の構成 Puppet サーバ (puppetmasterd) Puppet クライアント (puppetd) Puppet クライアント (puppetd) Puppet クライアント (puppetd) マニフェストの取得と適用...

Puppet によるサーバ構築 <ul><li>OS インストール </li></ul><ul><li>ネットワーク設定 </li></ul><ul><li>Puppet インストール </li></ul><ul><li>Puppet 実行 <...

Puppet マニフェスト <ul><li>独自の宣言型言語でサーバの状態を記述 </li></ul><ul><ul><li>プログラミング言語ほどの自由度はない </li></ul></ul><ul><ul><li>自由度がないぶん、人による...

Archer <ul><li>Perl 製のデプロイツール </li></ul><ul><ul><li>Capistrano みたいなやつ </li></ul></ul><ul><li>モバイルファクトリの松野徳大さん (id:tokuhiro...

Archer 設定ファイル <ul><li>tasks : </li></ul><ul><li>init: </li></ul><ul><li>- module: SVN::Update </li></ul><ul><li>process: ...

Archer の動作イメージ対象サーバ対象サーバ Subversion デプロイサーバ対象サーバ ① archer.pl –c days.conf ② svn up ③ 前処理 ④ rsync ⑤ 対象サーバ上で後処理（ SSH...

Days での Archer の使い方 <ul><li>プログラムのアップデート </li></ul><ul><ul><li>プログラム修正して svn co </li></ul></ul><ul><ul><li>archer.pl –c pr...

OpenLDAP <ul><li>社内で利用 </li></ul><ul><ul><li>SSH ログイン </li></ul></ul><ul><ul><li>Subversion 認証 </li></ul></ul><ul><ul><li>...

OpenSSH + LPK patch <ul><li>LDAP Public Key patch </li></ul><ul><li>$HOME/.ssh/authorized_keys の代わりに、 LDAP 内の sshPublicK...

LPK patch 用 LDIF <ul><li>dn: uid=mizzy, ou=people, o=paperboy </li></ul><ul><li>objectclass : ldapPublicKey </li></ul><ul...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

Inside Sqale's Backend at RubyConf ... by Gosuke Miyashita 3127 views

View on Slideshare

1 of 58 Ad

View on Slideshare

1 of 58 Ad