Downloaded 12 times
Uploaded byTakahiro Iwase
20131113_mysql_on_分散fsセミナー資料
2013年11月に開催されたdb tech showcaseでのMySQLon分散FSセミナーの資料です
![[B32] クイズと都市伝説から見る、ありのままのPostgreSQL by Shigeyuki Tokuhara](https://cdn.slidesharecdn.com/ss_thumbnails/b32-140630204144-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2014] L32: Apache Cassandraに注目！！（IoT, Bigdata、NoSQLのバ...](https://cdn.slidesharecdn.com/ss_thumbnails/dbtstokyo2014l32datastaxapachecassandraiotbigdatanosql-141120022255-conversion-gate02-thumbnail.jpg?width=640&height=640&fit=bounds)
![[OSC2016沖縄]商用DBからPostgreSQLへの移行入門](https://cdn.slidesharecdn.com/ss_thumbnails/osc2016okinawadbmigrationtopostgres-160704053748-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2016] B31: Spark Summit 2016＠SFに参加してきたので最新事例などを紹介しつつデ...](https://cdn.slidesharecdn.com/ss_thumbnails/1oula7aqkczs8b8nxbbw-signature-52b95cf478429666da1eac73ad45213570cae72b7e57434c17b4c128f24099d3-poli-160722095519-thumbnail.jpg?width=640&height=640&fit=bounds)
20131113_mysql_on_分散fsセミナー資料
- 1. MySQL on 分散FS 〜NOSQLで構築したファイルシステム上でMySQLを動かす KobeDigital Labo, Inc. 岩瀬 高博 Twitter: @okuyamaoo Mail: iwase@kdl.co.jp http://okuyama-project.com/
- 2. 自己紹介 ・岩瀬 高博(@okuyamaoo) > (株) 神戸デジタル・ラボ所属 業務及び活動 >大規模e-コマースサイトのチューニング、運用 >分散処理、データベースの研究及び適応 >(独)情報通信研究機構 特別研究員 研究領域:大規模Webアーカイブ >分散KVSokuyama、CEP Setsuna の開発 >OSS、Java、DB、車が好き
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21. okuyamaとは？ ・どのような機能をもっているか？ 分散KVS ・OSS ・完全冗長化（SPOFなし） ・無停止でのスケールアウト ・100台以上のサーバ規模での 稼働実績 ストレージ特性 ・非永続型 or 永続型(WALログ方式) ・メモリor ディスク or メモリ+ディスク 特性別ストレージ ・ストレージ間の互換性 ・仮想メモリ機能 ・独自圧縮機能 ・パーティション機能 アクセス ・独自プロトコル(Ascii) Java、PHP、Ruby用が存在 ・memcached互換 ・CAS、加減算、Multi系も対応 ・バックアップ等のクライアントも有り ・Hadoop連携 データ構造 ・Key-Value構造 ・Tagの付与 ・有効期限付きデータ ・全文検索用Index
- 22. okuyamaとは？ ・どのような機能をもっているか？ 分散構成を作ることが可能 分散KVS ・OSS ・完全冗長化（SPOFなし） ・無停止でのスケールアウト ・100台以上のサーバ規模での 稼働実績 ストレージ特性 ・非永続型 or 永続型(WALログ方式) ・メモリor ディスク or メモリ+ディスク 特性別ストレージ ・ストレージ間の互換性 ・仮想メモリ機能 ・独自圧縮機能 ・パーティション機能 アクセス ・独自プロトコル(Ascii) Java、PHP、Ruby用が存在 ・memcached互換 ・CAS、加減算、Multi系も対応 ・バックアップ等のクライアントも有り ・Hadoop連携 データ構造 ・Key-Value構造 ・Tagの付与 ・有効期限付きデータ ・全文検索用Index
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29. テスト内容 ・テスト環境 MySQL稼働環境 ・CentOS6.4(64bit) ・MySQL5.5 > InnoDB >O_DIRECTオプション利用 ・Intel(R)Xeon(R) CPU E5-2620 0 @ 2.00GHz ✕ 2 ※物理6Core 仮想 12コア ✕ 2 ・メモリ64GB ・SATA-7200rpm ✕1 / SSD(Intel DC S3700 Series) ✕ 1
- 30. テスト内容 ・テスト環境 okuyama稼働環境(3台) ・CentOS6.4(64bit) ・Intel(R) Xeon(R)CPU E5-2620 0 @ 2.00GHz ✕ 2 ※物理6Core 仮想 12コア ✕ 2 ・メモリ64GB ・SATA-7200rpm ✕1 これら全てインテル株式会社様、 クリエーションライン株式会社様に 検証用としてご提供頂きました!!
- 31.
- 32. サーバ構成 MySQL on SATA/SSD MySQLon okuyamaFuse ローカルディスクを見ない
- 33.
- 34. 考察 ・結果から実際にokuyamaFuseをデバッグ IOを全てロギング特性を見る 14:38:28.619: read:/mysqldata/ibdata1offset:109363200 buf.limit:16384 1行がMySQLからのI/O 14:38:28.627: read:/mysqldata/ibdata1 offset:102596608 buf.limit:16384 14:38:28.633: read:/mysqldata/ibdata1 offset:139051008 buf.limit:16384 14:38:28.634: read:/mysqldata/ibdata1 offset:107429888 buf.limit:16384 14:38:28.639: read:/mysqldata/ibdata1 offset:168738816 buf.limit:16384 14:38:28.648: read:/mysqldata/ibdata1 offset:168755200 buf.limit:16384 14:38:28.653: read:/mysqldata/ibdata1 offset:117489664 buf.limit:16384 14:38:28.653: read:/mysqldata/ibdata1 offset:117522432 buf.limit:16384 14:38:28.658: read:/mysqldata/ibdata1 offset:117506048 buf.limit:16384 14:38:28.661: read:/mysqldata/ibdata1 offset:137396224 buf.limit:16384 14:38:28.668: read:/mysqldata/ibdata1 offset:126484480 buf.limit:16384 14:38:28.669: write path:/mysqldata/ib_logfile0 offset:3025920 isWritepage:false buf.limit:1024 14:38:28.676: write path:/mysqldata/ib_logfile0 offset:3026944 isWritepage:false buf.limit:1024 14:38:28.677: fsync 14:38:28.724: read:/mysqldata/ibdata1 offset:144719872 buf.limit:16384 14:38:28.725: read:/mysqldata/ibdata1 offset:160104448 buf.limit:16384 14:38:28.732: read:/mysqldata/ibdata1 offset:143097856 buf.limit:16384 14:38:28.736: write path:/mysqldata/ib_logfile0 offset:3029504 isWritepage:false buf.limit:1536 14:38:28.743: write path:/mysqldata/ib_logfile0 offset:3031040 isWritepage:false buf.limit:512 14:38:28.744: fsync
- 35. 考察 ・結果から実際にokuyamaFuseをデバッグ 14:38:28.619: read:/mysqldata/ibdata1 offset:109363200buf.limit:16384 14:38:28.627: read:/mysqldata/ibdata1 offset:102596608 buf.limit:16384 Readが圧倒的に多い 14:38:28.633: read:/mysqldata/ibdata1 offset:139051008 buf.limit:16384 14:38:28.634: read:/mysqldata/ibdata1 offset:107429888 buf.limit:16384 14:38:28.639: read:/mysqldata/ibdata1 offset:168738816 buf.limit:16384 offsetがバラバラ 14:38:28.648: read:/mysqldata/ibdata1 offset:168755200 buf.limit:16384 ※offsetは読み込み開始位置 14:38:28.653: read:/mysqldata/ibdata1 offset:117489664 buf.limit:16384 14:38:28.653: read:/mysqldata/ibdata1 offset:117522432 buf.limit:16384 14:38:28.658: read:/mysqldata/ibdata1 offset:117506048 buf.limit:16384 14:38:28.661: read:/mysqldata/ibdata1 offset:137396224 buf.limit:16384 14:38:28.668: read:/mysqldata/ibdata1 offset:126484480 buf.limit:16384 14:38:28.669: write path:/mysqldata/ib_logfile0 offset:3025920 isWritepage:false buf.limit:1024 14:38:28.676: write path:/mysqldata/ib_logfile0 offset:3026944 isWritepage:false buf.limit:1024 14:38:28.677: fsync 14:38:28.724: read:/mysqldata/ibdata1 offset:144719872 buf.limit:16384 14:38:28.725: read:/mysqldata/ibdata1 offset:160104448 buf.limit:16384 14:38:28.732: read:/mysqldata/ibdata1 offset:143097856 buf.limit:16384 14:38:28.736: write path:/mysqldata/ib_logfile0 offset:3029504 isWritepage:false buf.limit:1536 14:38:28.743: write path:/mysqldata/ib_logfile0 offset:3031040 isWritepage:false buf.limit:512 14:38:28.744: fsync 14:38:28.769: read:/mysqldata/ibdata1 offset:134873088 buf.limit:16384 14:38:28.772: read:/mysqldata/ibdata1 offset:103497728 buf.limit:16384
- 36.
- 37.
- 38.
- 39.