はてなのインフラ いまむかし 株式会社はてな 田中 慎司
目次 <ul><li>はてなのサービスを支えるインフラ </li></ul><ul><li>創業時からこれまでの変遷 </li></ul><ul><ul><li>2001 年~ 2008 年  7 年の歴史 </li></ul></ul><ul...
( いまさら )  はてな紹介
はてな
株式会社はてな <ul><li>2001 年創業 @ 京都 </li></ul><ul><li>従業員  35 名  (+  インターン 10 名 )‏ </li></ul><ul><li>ウェブのサービス提供会社 </li></ul><ul>...
はてなのインフラの規模 <ul><li>サーバ  350 台 -> 仮想化して 500 台 </li></ul><ul><li>14 ラック、ピーク時  240Mbps </li></ul>
インフラ初期 2001 年~ 2002 年
2001 年当時の「はてな」
サーバー構成  2001 年 <ul><li>Pentium III  の自作 PC </li></ul>Apache PostgreSQL ※ ネットワーク機器は省略 Perl CGI Apache PostgreSQL
問題発生 -> 解決の積み重ね <ul><li>CGI では激重 </li></ul><ul><ul><li>CGI -> Apache::Registry  に変更 </li></ul></ul><ul><li>mod_perl の負荷が問題...
サーバー構成  2002 年 <ul><li>Reverse Proxy  で切り分け </li></ul>アンテナ 人力検索 proxy mod_perl MySQL mod_perl MySQL クローラ
はてなの初期 (2001 ~ 2002)‏ <ul><li>試行錯誤により徐々に三層構造へ </li></ul><ul><li>フレームワークにより開発が効率化 -> はてなアンテナ </li></ul><ul><li>はてなアンテナのヒットに...
インフラ拡大期 2002 年後半~ 2005 年
サーバーケースを設計 <ul><li>ケースを設計、サーバーは自作 </li></ul><ul><ul><li>自作サーバーの利点 </li></ul></ul><ul><ul><ul><li>早い、うまい、安い </li></ul></ul>...
サーバー構成  2002 年終り頃 アンテナ 人力検索 proxy mod_perl MySQL slave mod_perl MySQL#1 slave クローラ #1 クローラ #2 MySQL#2 mod_perl MySQL maste...
2003 年 3 月 はてなダイアリー
はてなダイアリーのバックエンド <ul><li>過去の反省を活かしたテーブル設計 </li></ul><ul><ul><li>開始当初からパーティショニング </li></ul></ul><ul><li>サーバー増加ペースも増加 </li></...
当時のネットワーク図
2004 年 2 月 東京へ移転  <ul><li>サービスを一日停止してトラックで運搬 </li></ul><ul><li>当時のサーバー台数 : 50 台 </li></ul>
サーバー構成  2004 年 <ul><li>mod_proxy_balancer  の導入 </li></ul><ul><ul><li>フェイルオーバー / バック </li></ul></ul>Apache 2.2 mod_proxy_ba...
2005 年 サービスリリースラッシュ <ul><li>2 月 はてなブックマーク </li></ul><ul><ul><li>2 泊 3 日の合宿で開発 </li></ul></ul><ul><li>サーバーは 200 台規模へ </li><...
当時の運用の問題点 <ul><li>SPOF 多数 </li></ul><ul><ul><li>まともにフェイルオーバーしていたのは  mod_proxy_balancer  のみ </li></ul></ul><ul><ul><li>Reve...
はてなインフラ  2.0  (C)id:naoya 2006 年後半~ 2007 年
2006 年夏  KLab さんとの出会い <ul><li>DSAS  ・・・ オープンソースで完璧な可用性 </li></ul><ul><li>&quot; こんなに簡単!  Linux でロードバランサ &quot; </li></ul>
LVS (IPVS) + keeplived <ul><li>Linux  でロードバランサ </li></ul>ipvs + keepalived#1 Real Server#1 Real Server#2 Real Serve#3 ipvs...
サーバー構成  2006 年 9 月 <ul><li>MySQL の手前に  LVS  を導入 </li></ul>LVS#1 mod_perl mod_perl mod_perl LVS#2 MySQL MySQL MySQL ACTIVE ...
LVS の導入効果 <ul><li>多数の SPOF が解消される </li></ul><ul><ul><li>Reverse Proxy </li></ul></ul><ul><ul><li>MySQL  サーバー群 </li></ul></...
2007 年 1 月 さくらインターネット iDC へ <ul><li>DC 分の収益は確保できるまでに成長 </li></ul><ul><li>電力、場所、回線問題を解決 </li></ul><ul><li>一年がかりのプロジェクト </li...
データセンター移転に伴い <ul><li>インフラチームを発足、体制強化 </li></ul><ul><ul><li>最終的に  6 名  ( アルバイト 2 名 )‏ </li></ul></ul><ul><ul><li>ちなみに、私もこのあ...
移転プロジェクトの変遷 <ul><li>2007 年 1 月 新 DC オープン </li></ul><ul><li>2007 年 2 月 フォトライフ </li></ul><ul><li>2007 年 4 月 グループ </li></ul><...
サーバー構成  2007 年半ば  LVS 三層 proxy proxy LVS LVS mod_perl mod_perl mod_perl mod_perl LVS MySQLl MySQL LVS LVS LVS
一部商用サーバーの利用 <ul><li>故障後のリカバリが面倒な箇所を商用に </li></ul><ul><ul><li>DB マスタや  LVS  など基幹部分 </li></ul></ul>
64bit  の追い風 <ul><li>メモリ 4GB  の壁を突破 </li></ul><ul><ul><li>8GB, 16GB ... </li></ul></ul><ul><li>DB  のデータの大部分を  OS  がキャッシュできる...
マルチマスタ化 <ul><li>MySQL マスタが  SPOF </li></ul><ul><li>お互いに互いのスレーブの関係 </li></ul><ul><li>ACTIVE - BACKUP </li></ul><ul><li>Keep...
2008 年 1 月  DC 移転完了
インフラ 2.0  (C) id:naoya ができるまで <ul><li>はてなインフラのターニングポイント </li></ul><ul><ul><li>KLab  さんに感謝 </li></ul></ul><ul><li>チーム体制で役割分...
はてなのインフラの今 2008 年 8 月
「守り」から「攻め」へ <ul><li>インフラが強い  =  企業の強み・足腰 </li></ul><ul><ul><li>サービス開発との両輪 </li></ul></ul>
仮想化技術の導入 <ul><li>Xen </li></ul><ul><ul><li>1 台のハードウェアで複数の  OS </li></ul></ul><ul><ul><li>現在  500 ホスト中  150  ホストが仮想ホスト </li...
Xen  でディスクレスサーバ- <ul><li>仮想ホストをディスクレスサーバーで </li></ul><ul><li>中央のファイルサーバから  OS  のイメージを取得して  boot </li></ul><ul><ul><li>ファイル...
Hadoop  の導入 <ul><li>Google  の  MapReduce  の  OSS  版 </li></ul><ul><ul><li>分散ファイルシステム </li></ul></ul><ul><ul><li>並列計算クラスタ <...
サーバー管理ツール <ul><li>サーバーホストの情報管理 </li></ul><ul><ul><li>ホスト情報はサーバーから自動取得 </li></ul></ul><ul><li>負荷状況調査 </li></ul><ul><li>他ツール...
サーバーのセットアップの簡略化 <ul><li>OS の自動インストールシステム </li></ul><ul><ul><li>PXE Boot  でインストール </li></ul></ul><ul><li>Puppet </li></ul><...
はてなのインフラ  4 つのフェーズ <ul><li>インフラ初期  2001 年~ 2002 年  試行錯誤 </li></ul><ul><ul><li>Web + DB  三層構造、フレームワーク </li></ul></ul><ul><l...
はてなのインフラ 課題と将来
課題認識 <ul><li>求められるインフラとしてのレベル </li></ul><ul><ul><li>様々なトレードオフ </li></ul></ul><ul><li>まだまだ不安定 </li></ul><ul><ul><li>頻度は低下した...
インフラに求められるレベル 社会インフラ度 日々の変化 <ul><ul><ul><li>電気・電話 </li></ul></ul></ul><ul><ul><ul><li>交通・金融 </li></ul></ul></ul>オンライン バンキン...
インフラのトレードオフ 安い 頻繁な機能追加 対症療法 限界まで使う 信頼できる バグが少ない 根本的な対策 余裕がある インフラとして求めれられるレベル・投入可能なリソースなどなどから 適切な方策を選んでいく
より強固なインフラを目指して <ul><li>被害を局所化 </li></ul><ul><ul><li>アプリケーションの疎結合化 </li></ul></ul><ul><ul><li>自動的なリカバリ </li></ul></ul><ul><...
まとめ <ul><li>はてなのインフラの変遷を紹介しました </li></ul><ul><ul><li>試行錯誤の歴史です </li></ul></ul><ul><li>これからも新しい仕組みを投入していきます </li></ul><ul><...
ご静聴ありがとうございました @ 京都・東京
Upcoming SlideShare
Loading in...5
×

Hatena's Infrastructure from the beginning

4,667

Published on

Published in: Technology
0 Comments
10 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
4,667
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
74
Comments
0
Likes
10
Embeds 0
No embeds

No notes for slide

Hatena's Infrastructure from the beginning

  1. 1. はてなのインフラ いまむかし 株式会社はてな 田中 慎司
  2. 2. 目次 <ul><li>はてなのサービスを支えるインフラ </li></ul><ul><li>創業時からこれまでの変遷 </li></ul><ul><ul><li>2001 年~ 2008 年 7 年の歴史 </li></ul></ul><ul><li>今の問題認識と将来 </li></ul>注 : 一部 OSC Kansai のプレゼンとかぶってます
  3. 3. ( いまさら ) はてな紹介
  4. 4. はてな
  5. 5. 株式会社はてな <ul><li>2001 年創業 @ 京都 </li></ul><ul><li>従業員 35 名 (+ インターン 10 名 )‏ </li></ul><ul><li>ウェブのサービス提供会社 </li></ul><ul><ul><li>人力検索 </li></ul></ul><ul><ul><li>ブログ </li></ul></ul><ul><ul><li>ソーシャルブックマーク </li></ul></ul><ul><li>会員 80 万人 </li></ul><ul><li>1,000 万 UU/ 月 </li></ul><ul><li>6,000 万 PV/ 日 </li></ul>
  6. 6. はてなのインフラの規模 <ul><li>サーバ 350 台 -> 仮想化して 500 台 </li></ul><ul><li>14 ラック、ピーク時 240Mbps </li></ul>
  7. 7. インフラ初期 2001 年~ 2002 年
  8. 8. 2001 年当時の「はてな」
  9. 9. サーバー構成 2001 年 <ul><li>Pentium III の自作 PC </li></ul>Apache PostgreSQL ※ ネットワーク機器は省略 Perl CGI Apache PostgreSQL
  10. 10. 問題発生 -> 解決の積み重ね <ul><li>CGI では激重 </li></ul><ul><ul><li>CGI -> Apache::Registry に変更 </li></ul></ul><ul><li>mod_perl の負荷が問題に </li></ul><ul><ul><li>リバース Proxy の導入 </li></ul></ul><ul><li>1 台ではリソース不足 </li></ul><ul><ul><li>DB を分離・ MySQL に </li></ul></ul><ul><ul><li>リバース Proxy と mod_perl の分離 </li></ul></ul><ul><li>複数サービスの立ち上げ </li></ul><ul><ul><li>リバース Proxy で振り分け ( 人力・アンテナ )‏ </li></ul></ul>
  11. 11. サーバー構成 2002 年 <ul><li>Reverse Proxy で切り分け </li></ul>アンテナ 人力検索 proxy mod_perl MySQL mod_perl MySQL クローラ
  12. 12. はてなの初期 (2001 ~ 2002)‏ <ul><li>試行錯誤により徐々に三層構造へ </li></ul><ul><li>フレームワークにより開発が効率化 -> はてなアンテナ </li></ul><ul><li>はてなアンテナのヒットによりサーバーが増え始める </li></ul>
  13. 13. インフラ拡大期 2002 年後半~ 2005 年
  14. 14. サーバーケースを設計 <ul><li>ケースを設計、サーバーは自作 </li></ul><ul><ul><li>自作サーバーの利点 </li></ul></ul><ul><ul><ul><li>早い、うまい、安い </li></ul></ul></ul><ul><ul><ul><li>柔軟に構成変更可能 </li></ul></ul></ul>
  15. 15. サーバー構成 2002 年終り頃 アンテナ 人力検索 proxy mod_perl MySQL slave mod_perl MySQL#1 slave クローラ #1 クローラ #2 MySQL#2 mod_perl MySQL master MySQL slave MySQL master MySQL#1 slave
  16. 16. 2003 年 3 月 はてなダイアリー
  17. 17. はてなダイアリーのバックエンド <ul><li>過去の反省を活かしたテーブル設計 </li></ul><ul><ul><li>開始当初からパーティショニング </li></ul></ul><ul><li>サーバー増加ペースも増加 </li></ul><ul><ul><li>2004 年頭には 50 台規模 </li></ul></ul>
  18. 18. 当時のネットワーク図
  19. 19. 2004 年 2 月 東京へ移転 <ul><li>サービスを一日停止してトラックで運搬 </li></ul><ul><li>当時のサーバー台数 : 50 台 </li></ul>
  20. 20. サーバー構成 2004 年 <ul><li>mod_proxy_balancer の導入 </li></ul><ul><ul><li>フェイルオーバー / バック </li></ul></ul>Apache 2.2 mod_proxy_balancer mod_perl mod_perl mod_perl mod_perl
  21. 21. 2005 年 サービスリリースラッシュ <ul><li>2 月 はてなブックマーク </li></ul><ul><ul><li>2 泊 3 日の合宿で開発 </li></ul></ul><ul><li>サーバーは 200 台規模へ </li></ul><ul><ul><li>5 月 はてな RSS </li></ul></ul><ul><ul><li>7 月 はてなマップ , はてなグラフ </li></ul></ul><ul><ul><li>11 月 はてなリング </li></ul></ul><ul><ul><li>翌年 3 月 人力検索はてなリニューアル </li></ul></ul>
  22. 22. 当時の運用の問題点 <ul><li>SPOF 多数 </li></ul><ul><ul><li>まともにフェイルオーバーしていたのは mod_proxy_balancer のみ </li></ul></ul><ul><ul><li>Reverse Proxy </li></ul></ul><ul><ul><li>多数の MySQL スレーブ群 </li></ul></ul><ul><ul><li>Nagios で監視 -> ダウン -> 人力で対応 </li></ul></ul><ul><li>回線飽和 </li></ul><ul><ul><li>ベストエフォート 100Mbps 回線 </li></ul></ul><ul><ul><li>太い商用回線を借りる程のお金が無い </li></ul></ul><ul><li>電力不足 </li></ul><ul><ul><li>増え続けるサーバーに対する電力不足 </li></ul></ul>
  23. 23. はてなインフラ 2.0 (C)id:naoya 2006 年後半~ 2007 年
  24. 24. 2006 年夏 KLab さんとの出会い <ul><li>DSAS ・・・ オープンソースで完璧な可用性 </li></ul><ul><li>&quot; こんなに簡単! Linux でロードバランサ &quot; </li></ul>
  25. 25. LVS (IPVS) + keeplived <ul><li>Linux でロードバランサ </li></ul>ipvs + keepalived#1 Real Server#1 Real Server#2 Real Serve#3 ipvs + keepalived#2 VRRP ACTIVE BACKUP TCP CHECK
  26. 26. サーバー構成 2006 年 9 月 <ul><li>MySQL の手前に LVS を導入 </li></ul>LVS#1 mod_perl mod_perl mod_perl LVS#2 MySQL MySQL MySQL ACTIVE BACKUP VRRP ヘルスチェック
  27. 27. LVS の導入効果 <ul><li>多数の SPOF が解消される </li></ul><ul><ul><li>Reverse Proxy </li></ul></ul><ul><ul><li>MySQL サーバー群 </li></ul></ul><ul><ul><li>mod_proxy_balancer の不安定部分 </li></ul></ul><ul><li>運用の効率化 </li></ul><ul><ul><li>アプリケーション担当とインフラ担当の仕事の分離が可能に </li></ul></ul>
  28. 28. 2007 年 1 月 さくらインターネット iDC へ <ul><li>DC 分の収益は確保できるまでに成長 </li></ul><ul><li>電力、場所、回線問題を解決 </li></ul><ul><li>一年がかりのプロジェクト </li></ul><ul><ul><li>サービス単位で数回に分ける </li></ul></ul>
  29. 29. データセンター移転に伴い <ul><li>インフラチームを発足、体制強化 </li></ul><ul><ul><li>最終的に 6 名 ( アルバイト 2 名 )‏ </li></ul></ul><ul><ul><li>ちなみに、私もこのあたりで加入しました </li></ul></ul><ul><li>基幹ネットワークを全面的に設計し直し </li></ul><ul><ul><li>LVS + KeepAlived の積極導入 </li></ul></ul><ul><li>古いサーバーをリプレイス </li></ul><ul><ul><li>OS を CentOS へ刷新 / 64 ビット化 </li></ul></ul>
  30. 30. 移転プロジェクトの変遷 <ul><li>2007 年 1 月 新 DC オープン </li></ul><ul><li>2007 年 2 月 フォトライフ </li></ul><ul><li>2007 年 4 月 グループ </li></ul><ul><li>2007 年 5 月 ブックマーク </li></ul><ul><li>2007 年 6 月 ダイアリー </li></ul><ul><li>2007 年 7 月 アンテナ </li></ul><ul><li>2007 年 8 月 RSS </li></ul><ul><li>2007 年 9 月 人力検索、ポータル </li></ul><ul><li>2007 年 11 月 アンテナ、カウンター、検索 </li></ul>
  31. 31. サーバー構成 2007 年半ば LVS 三層 proxy proxy LVS LVS mod_perl mod_perl mod_perl mod_perl LVS MySQLl MySQL LVS LVS LVS
  32. 32. 一部商用サーバーの利用 <ul><li>故障後のリカバリが面倒な箇所を商用に </li></ul><ul><ul><li>DB マスタや LVS など基幹部分 </li></ul></ul>
  33. 33. 64bit の追い風 <ul><li>メモリ 4GB の壁を突破 </li></ul><ul><ul><li>8GB, 16GB ... </li></ul></ul><ul><li>DB のデータの大部分を OS がキャッシュできる </li></ul><ul><ul><li>メモリ増設で I/O 負荷を下げられる </li></ul></ul><ul><ul><li>テーブル分割の必要性が下がる </li></ul></ul><ul><ul><li>MySQL Conference 2007 の YouTube の Keynote が参考になった </li></ul></ul>
  34. 34. マルチマスタ化 <ul><li>MySQL マスタが SPOF </li></ul><ul><li>お互いに互いのスレーブの関係 </li></ul><ul><li>ACTIVE - BACKUP </li></ul><ul><li>Keepalived で切り替え </li></ul>MySQL MySQL MySQL slave MySQL master MySQL slave
  35. 35. 2008 年 1 月 DC 移転完了
  36. 36. インフラ 2.0 (C) id:naoya ができるまで <ul><li>はてなインフラのターニングポイント </li></ul><ul><ul><li>KLab さんに感謝 </li></ul></ul><ul><li>チーム体制で役割分担 </li></ul><ul><li>DC 移転タイミングでの再設計 </li></ul><ul><li>オープンソースでも高可用インフラ </li></ul><ul><ul><li>LVS, KeepAlived, DRBD, Squid etc. </li></ul></ul>
  37. 37. はてなのインフラの今 2008 年 8 月
  38. 38. 「守り」から「攻め」へ <ul><li>インフラが強い = 企業の強み・足腰 </li></ul><ul><ul><li>サービス開発との両輪 </li></ul></ul>
  39. 39. 仮想化技術の導入 <ul><li>Xen </li></ul><ul><ul><li>1 台のハードウェアで複数の OS </li></ul></ul><ul><ul><li>現在 500 ホスト中 150 ホストが仮想ホスト </li></ul></ul><ul><ul><li>idle 時間が多いサーバーは集約 </li></ul></ul><ul><ul><li>任意のタイミングで仮想ホストを別ハードに移動させることが可能に </li></ul></ul><ul><ul><ul><li>( 高価 & 不安定な ) ネットワークストレージは使用せず </li></ul></ul></ul>
  40. 40. Xen でディスクレスサーバ- <ul><li>仮想ホストをディスクレスサーバーで </li></ul><ul><li>中央のファイルサーバから OS のイメージを取得して boot </li></ul><ul><ul><li>ファイルサーバから独立 </li></ul></ul><ul><ul><li>オンメモリで動作 </li></ul></ul><ul><ul><li>一部で稼働中 </li></ul></ul>
  41. 41. Hadoop の導入 <ul><li>Google の MapReduce の OSS 版 </li></ul><ul><ul><li>分散ファイルシステム </li></ul></ul><ul><ul><li>並列計算クラスタ </li></ul></ul><ul><li>用途 </li></ul><ul><ul><li>ログ解析 </li></ul></ul><ul><ul><li>データ分析->インデクシング </li></ul></ul>
  42. 42. サーバー管理ツール <ul><li>サーバーホストの情報管理 </li></ul><ul><ul><li>ホスト情報はサーバーから自動取得 </li></ul></ul><ul><li>負荷状況調査 </li></ul><ul><li>他ツールと連携 </li></ul><ul><ul><li>Nagios 設定ファイル </li></ul></ul><ul><ul><li>Capistrano のデプロイ先 </li></ul></ul><ul><ul><li>社内 IRC サーバ </li></ul></ul>
  43. 43. サーバーのセットアップの簡略化 <ul><li>OS の自動インストールシステム </li></ul><ul><ul><li>PXE Boot でインストール </li></ul></ul><ul><li>Puppet </li></ul><ul><ul><li>はてな内 RPM レポジトリ </li></ul></ul><ul><ul><ul><li>Perl モジュール、カスタマイズしたソフト、自社ライブラリ </li></ul></ul></ul><ul><li>Capistrano </li></ul><ul><ul><li>Subversion, git からデプロイ </li></ul></ul><ul><li>Selenium で自動テスト ... は未だできていません </li></ul>
  44. 44. はてなのインフラ 4 つのフェーズ <ul><li>インフラ初期 2001 年~ 2002 年 試行錯誤 </li></ul><ul><ul><li>Web + DB 三層構造、フレームワーク </li></ul></ul><ul><li>インフラ拡大期 2002 年後半~ 2005 年 </li></ul><ul><ul><li>自作サーバ、負荷分散 ... </li></ul></ul><ul><li>はてなインフラ 2.0 (C)id:naoya 2006 年後半~ 2007 年 </li></ul><ul><ul><li>チーム化と可用性確保 </li></ul></ul><ul><ul><li>LVS 、 DRBD 、 DC 移転 ... </li></ul></ul><ul><li>はてなインフラの今 2008 年 8 月 </li></ul><ul><ul><li>Xen 、 Hadoop 、サーバー管理ツール ... </li></ul></ul>
  45. 45. はてなのインフラ 課題と将来
  46. 46. 課題認識 <ul><li>求められるインフラとしてのレベル </li></ul><ul><ul><li>様々なトレードオフ </li></ul></ul><ul><li>まだまだ不安定 </li></ul><ul><ul><li>頻度は低下したものの、まだまだ急所がある </li></ul></ul><ul><ul><ul><li>日々追加される機能 ( バグ )‏ </li></ul></ul></ul><ul><ul><ul><li>微妙に壊れるハード・ソフト </li></ul></ul></ul>実際、 DSAS はとにかくはてなの 24/7 レベルは私にはとても合格点を出せない ( しなもん会長の面を見過ぎや )‏ 404 Blog Not Found:DIY 24/7 - 書評 - [24 時間 365 日 ] サーバ / インフラを支える技術
  47. 47. インフラに求められるレベル 社会インフラ度 日々の変化 <ul><ul><ul><li>電気・電話 </li></ul></ul></ul><ul><ul><ul><li>交通・金融 </li></ul></ul></ul>オンライン バンキングなど はてな
  48. 48. インフラのトレードオフ 安い 頻繁な機能追加 対症療法 限界まで使う 信頼できる バグが少ない 根本的な対策 余裕がある インフラとして求めれられるレベル・投入可能なリソースなどなどから 適切な方策を選んでいく
  49. 49. より強固なインフラを目指して <ul><li>被害を局所化 </li></ul><ul><ul><li>アプリケーションの疎結合化 </li></ul></ul><ul><ul><li>自動的なリカバリ </li></ul></ul><ul><ul><li>転んでもすぐ起きる </li></ul></ul><ul><li>自律的なインフラ </li></ul><ul><ul><li>負荷がキツくなったら、勝手に増殖 </li></ul></ul><ul><li>でも、できるだけコストをかけずに </li></ul><ul><ul><li>人手ではなく、頭を使って仕組みでカバー </li></ul></ul>
  50. 50. まとめ <ul><li>はてなのインフラの変遷を紹介しました </li></ul><ul><ul><li>試行錯誤の歴史です </li></ul></ul><ul><li>これからも新しい仕組みを投入していきます </li></ul><ul><ul><li>インフラの仕事はとてもクリエイティブです ! </li></ul></ul><ul><ul><li>根性論には否定的です </li></ul></ul>Google の初期のインフラ
  51. 51. ご静聴ありがとうございました @ 京都・東京
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×