Redis勉強会資料(2015/06 update)

39,379 views

Published on

Redis勉強会の資料です。2013年に初版をアップしました。2015年6月にRedis-Clusterの内容を追記して再アップを行っています。

Published in: Technology
0 Comments
166 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
39,379
On SlideShare
0
From Embeds
0
Number of Embeds
3,568
Actions
Shares
0
Downloads
310
Comments
0
Likes
166
Embeds 0
No embeds

No notes for slide

Redis勉強会資料(2015/06 update)

  1. 1. Redis勉強会資料 (Redis Cluster 追記版) 株式会社インテリジェンス 大谷 祐司
  2. 2. ・山口県下関出身の34歳 ・インテリジェンスの新規事業チームの開発責任者。 ・企画からアプリ、インフラまで幅広くやっています。 ・車とプログラミングを愛しています。 ・土日は育児しながら勉強しています。 ・Facebookの友達申請は気軽にぜひ! https://www.facebook.com/yuji.otani.16 自己紹介
  3. 3. はじめに 今回の勉強会は最近注目のRedisがテーマです。 インテリジェンスでも採用実績が増えていますので、 しっかりと理解していきましょう。
  4. 4. アジェンダ ・Redisの歴史 ・Redisの特徴 ・アーキテクチャ ・Redisのデータ型 ・バージョンアップと機能追加
  5. 5. アジェンダ ・Redisの設定ファイル ・PHPからRedisを操作する ・社内での活用事例 ・おまけ:phpredisでできること
  6. 6. Redisの歴史
  7. 7. Redisの歴史 2009年にSalvatore Sanfilippoというイタリアの技 術者によって開発されました。 2010年からVMWareが支援を行っています。 ANSI C言語で書かれています。
  8. 8. 採用実績(日本) DeNA サイバーエージェント ニコニコ動画 GMO LINE
  9. 9. 採用実績(海外) github.com flicker.com twitter.com intasgram.com stackoverflow.com
  10. 10. AWSもRedisを提供
  11. 11. AWSもRedisを提供 2013年9月からAWSの標準キャッシュに採用。 Memcached or Redisを選択可能に。 ElastiCache
  12. 12. Redisの特徴
  13. 13. シングルスレッド Redisはシングルスレッドで動作します。 MySQLのように複数の処理を並列で行う事は不可能です。 必然的に、全てのデータ操作は排他的になります。 Redis コマンド コマンド コマンド コマンド 1スレッドで 順番に処理
  14. 14. データベースの構造 Redis DB Key-Value Key-Value Key-Value Key-Value DB IDを指定して複数のDBを持つ事ができます。 各DBは独立してキーと値を保持できます。 Key-Value Key-Value Key-Value Key-Value
  15. 15. 高いパフォーマンス 全てのデータセットをメモリ内に読み込む 高速なデータアクセスを実現 ※メモリはHDDの10万倍早い。
  16. 16. 高いパフォーマンス 複数の操作を1回で実行可能 アプリケーション ⇔ Redis間の通信量を削減 コマンド コマンド コマンド 実行
  17. 17. データ構造のサポート ・5種類の型を値として扱う事ができる。 ・値を計算して戻す事ができる。 ※LUAスクリプティング/セット型の集合演算 複雑なデータ構造の保持や計算を Redisに任せる事が可能
  18. 18. メモリを使い果たしたら? 仮想メモリ(HDD)を使ってメモリ拡張 バージョン2.6以降は廃止。
  19. 19. メモリを使い果たしたら? 特定のルールに従って削除 5つのパターンから設定可能 ※設定ファイル:maxmemory-policy
  20. 20. メモリオーバー時の削除ルール ① LRUアルゴリズムを使用し、期限切れになったキーを削除 ② LRCアルゴリズムに従い、どれかのキーを削除 ③ 期限切れになったセットの中から、ランダムにキーを削除 ④ どれかのキーをランダムに削除 ⑤ 一番期限に近いキーから削除 ※LRUアルゴリズム →未使用の時間が最も長いデータを抽出する。
  21. 21. メモリを使い果たしたら? それでもメモリを確保できないときは、 書き込みが全てエラーになります。
  22. 22. レプリケーション MASTER-SLAVEのレプリケーション構築が可能。 MASTERは複数台のSLAVEを設定できる。 MASTER SLAVE SLAVE SLAVE
  23. 23. レプリケーション Redisのレプリケーションは非同期。 Master-Slaveでデータの差分が出る事がある。 データの特性によって参照先の選択が必要。
  24. 24. レプリケーション Redisのレプリケーションはマルチマスタではない。 参照系、更新系、データ特性などによって、 正しくクエリを振り分ける事が重要!
  25. 25. データ永続化(バックアップ) ①SAVE/BGSAVE ⇒DBのフルダンプ(RDB = Redis DataBase)を作成。 SAVE/BGSAVE Redis RDB 全データ
  26. 26. データ永続化(バックアップ) ②AOF(Append Only File) ⇒コマンド実行ログ。ここからデータ復元可能。 コマンド Redis AOF コマンド
  27. 27. トランザクション 複数コマンドを纏めて実行 ・アトミックな操作の保証(他の処理をブロック) ・MULTIでトランザクション開始 ・全て実行(EXEC) or 全て未実行(DISCARD) MULTI コマンド コマンド コマンド EXEC(実行) DISCARD(未実行) or
  28. 28. Slow-Logの出力 設定の閾値よりも遅いクエリをメモリに記録。 秒数を指定してSLOWLOGコマンドを実行 遅いクエリの一覧を取得
  29. 29. コマンド実行状況の確認 MONITORコマンド実行 受け取ったコマンドを無限にダンプ (QUITコマンドで終了) コマンドの実行状況を把握できる。
  30. 30. Luaスクリプティング スクリプト言語「Lua」をRedis上で実行可能。 予めRedisにスクリプトを登録する事ができる。 動作はアトミック(他の操作をブロックする) 高度な計算をRedisで実行可能
  31. 31. Luaスクリプティング 実行中は他のリクエストをブロックする。 時間が長い処理を行うのは危険。
  32. 32. Redis Sentinel Redisプロジェクトで開発されている管理サーバ 死活監視/通知/自動フェイルオーバーを実現 V2.4.16以降で利用可能
  33. 33. シャーディング Redis単体ではシャーディング不可能。 (クライアントライブラリで実現可能) Redis-Clusterで実現可能になる予定。
  34. 34. Redis-Cluster ・インスタンスのデータノード化 ・対障害性 ・柔軟なスケーリング ・現在開発中 http://redis.io/topics/cluster-spec
  35. 35. アーキテクチャ
  36. 36. Redisのアーキテクチャ Redisはイベント駆動アーキテクチャで動作。 シングルスレッドで大量のリクエストを処理します。
  37. 37. Redisの動作イメージ 1プロセス/1スレッドで動作 Redis コマンド コマンド コマンド コマンド 1スレッドで 順番に処理
  38. 38. Redisのアーキテクチャ 1台のサーバで複数コアを活用するには? 同一サーバに複数台のRedisを立ち上げ、 別サーバとして動かす事を推奨。 http://redis.io/topics/faq RedisはCPUの1コアのみを使用します。
  39. 39. Redisのデータ型
  40. 40. Redisには5つのデータ型があります。 各データ型について紹介します。
  41. 41. 文字列型 ・全てのデータの基本となる型。 ・バイナリセーフで、どんな値でも扱える。 ・最大1Gまで扱える。 Orange
  42. 42. リスト型 ・文字列型のリスト。 ・先頭又は末尾に値の追加が可能。 ・リスト長をキャッシュして、高速に取得可能 Apple Orange Lemon Kiwi Peach 1 2 3 4 5 値を順番に保持
  43. 43. セット型 ・文字列型の順不同の集合。 ・同じメンバを重複して登録する事はできない。 ・集合演算用コマンドが使用できる。 Apple Orange Lemon Kiwi Peach 値を順不同で保持
  44. 44. セット型の集合演算用のコマンド 積集合(SINTER)
  45. 45. 和集合(SUNION) セット型の集合演算用のコマンド
  46. 46. 差集合(SDIFF) セット型の集合演算用のコマンド
  47. 47. ソート済みセット型 ・文字列型の集合。 ・「スコア」の値でソートされた順位を持っている。 ・同じメンバを重複して登録する事はできない。 ・スコアの値、順位で範囲検索が可能。 Apple スコア:10 Orange スコア:30 Lemon スコア:50 Kiwi スコア:70 Peach スコア:90 1 2 3 4 5 値をスコアの大きさ順に保持
  48. 48. 同じスコアの場合の順位は? 同一順位が複数できるのではなく、 ランダムの順位になります。 ※この問題はRedis3.0で対応予定です。 https://github.com/antirez/redis/issues/943
  49. 49. ハッシュ型 ・順番がない文字列型のフィールドと値のマップ。 ・フィールド値での検索が可能。 ・値を指定しての検索は不可能。 Apple Orange Lemon Kiwi Peach A B C DE 値とキーをセットで保持
  50. 50. バージョンアップと機能追加
  51. 51. 初回リリース:2009年2月
  52. 52. Ver2.0リリース:2010年9月 ・ 仮想メモリのサポート ⇒実メモリに乗り切らないデータをディスクへ書き出す ※2.4で非推奨になる⇒2.6で完全に削除。 ・ ハッシュ型の追加 ⇒1つのキー上に複数のkey/valueを持てる
  53. 53. Ver2.0リリース:2010年9月 コマンド追加 ・ トランザクションが利用可能に(MULTI/EXEC) ・ 複数キーから値を取得する(BLPOP/BRPOP) ・ 非同期メッセージング(PUBLISH/SUBSCRIBE)
  54. 54. Ver2.2リリース:2011年2月 ・ SlowLogのサポート ・ コマンドで文字列を配列として利用可能に。 (SETBIT/GETBIT/SETRANGE/GETRANGE/STRLEN)
  55. 55. Ver2.4リリース:2011年10月 ・ 「OBJECT」コマンドの追加 (設定値の参照数、型、操作されていない時間を確認) ・ 「CLIENT」コマンドの追加 (接続のkill、接続先一覧、接続先名称の設定/取得) ・ スレーブ接続がノンブロッキングになる
  56. 56. Ver2.4リリース:2011年10月 ・ jemallocによるメモリ断片化問題の回避 ・ データバックアップ(RDB)の高速化 ※jemalloc→動的メモリ確保を行う関数
  57. 57. Ver2.6リリース:2012年10月 ・ Luaスクリプティング(evalコマンド)サポート ・ EXPIREがミリ秒単位の指定に対応 ・ クライアントの接続上限数が無くなった ・ Redis Clusterに向けたコア部分の修正
  58. 58. Ver2.6リリース:2012年10月 ・ クラッシュレポートの改善 ・ 統合メモリテスト機能 ・ データのシリアライズ/デシリアライズ ・ SLAVEがデフォルトで更新不可に
  59. 59. Ver2.6リリース:2012年10月 ・ 「PTTL」コマンド追加 (キーの生存期間をミリ秒で取得) ・ 「BITCOUNT」コマンド追加 (文字列のビット数を取得) ・ 「BITOP」コマンド追加 (文字列のビット操作を行う)
  60. 60. Ver2.8リリース:2013年11月 ・ 部分的なレプリケーションの再同期 ・ IPV6サポート ・ Redis Sentinelへの対応 (死活監視/フェイルオーバー)
  61. 61. Ver3.0リリース:2015年3月 ・ Redis Clusterへの対応。 ・ WAITコマンドの追加。 ・ LRUアルゴリズムの改善。
  62. 62. Redisの設定
  63. 63. 起動方式 daemonize ⇒デーモンとして起動 pidfile ⇒デーモン起動時のpidファイル位置
  64. 64. 接続オプション port ⇒接続ポート bind ⇒接続元の制限
  65. 65. 接続オプション timeout ⇒コネクションのタイムアウト秒数 requirepass ⇒接続パスワード
  66. 66. ログ関連 loglevel ⇒出力ログのレベル。 logfile ⇒ログの出力先。
  67. 67. データバックアップ save ⇒データベースをディスクに保存するタイミング save <seconds> <changes>(複数設定可能) rdbcompression ⇒ダンプデータの圧縮。 dbfilename ⇒ダンプデータファイル名
  68. 68. 動作環境 dir ⇒作業用のファイル出力先。 databases ⇒データベース最大数
  69. 69. レプリケーション(SLAVE) slaveof ⇒マスターサーバのホスト、ポート。 masterauth ⇒マスターに接続する際のパスワード
  70. 70. レプリケーション(SLAVE) slave-serve-stale-data ⇒レプリケーションが壊れたとき、SLAVEのみで 動作するか。 repl-ping-slave-period ⇒slaveからmasterにpingを送る間隔 slave-read-only ⇒slaveを読み取り専用にするか。
  71. 71. レプリケーション(SLAVE) repl-timeout ⇒マスタデータ受信時のタイムアウト(秒) slave-priority ⇒マスタ昇格するスレーブを選択する際の優先度。 repl-disable-tcp-nodelay ⇒TCP_NODELAY を無効化するか ※TCP_NODELAY →Linux におけるソケット機能を向上させる。
  72. 72. セキュリティ requirepass ⇒アクセス用のパスワード rename-command ⇒危険なコマンドを実行されないように、コマンドを独自 のものに設定できる。
  73. 73. DB設定 maxclients ⇒最大クライアント数 maxmemory ⇒最大メモリ使用量
  74. 74. DB設定 maxmemory-policy ⇒最大メモリに達した時、何から削除していくか maxmemory-samples ⇒最大メモリに達したときに削除を行う際、 チェックを行うサンプル数 (このサンプルの中で該当した物を削除する)
  75. 75. Slow-Log slowlog-log-slower-than ⇒ログ出力の閾値 slowlog-max-len ⇒ログの最大サイズ
  76. 76. 高度な設定 glueoutputbuf ⇒レスポンス時に小さな出力バッファを繋げて パフォーマンスを上げる。 activerehashing ⇒メインハッシュテーブルの再ハッシュ化を行 う。メモリを効率的に使えるが、最大で2ミリ秒 の遅延が発生。
  77. 77. Cluster設定 cluster-enabled ⇒Clusterの利用 cluster-config-file ⇒Cluster設定ファイル cluster-node-timeout ⇒ノード間通信のタイムアウト時間
  78. 78. RedisClusterの活用
  79. 79. 79 ・クラスタリングとは。 ・Redis Clusterの特徴は? ・実際に使ってみてどうだったか? Redis Clusterについて
  80. 80. 80 ・複数台の「アクティブな」サーバでDBを構成する。 ・データの冗長性や処理の負荷分散を実現できる。 ・サーバの台数を増やしてシステムの拡張を行う事ができる。 ・逆にサーバの台数を減らす事も可能。 クラスタリングとは?
  81. 81. 81 ・複数台で分散してデータを持つ(シャーディング) ・同じデータは複数台で持たない。 ・ノード毎にMaster-Slave構成が可能 (障害時はSlaveがMasterに自動で昇格) ・ノードを追加/削除した際にリシャーディンングが可能。 Redis Clusterの特徴
  82. 82. 82 Redis Clusterの構成例 Internet LB ①命令をルールで 均等に分散 ②命令を実行する ③Slaveにデータを バックアップ (1サーバに3つの Redisが起動) nginx nginx nginx
  83. 83. 83 ・ノードに0-16384の数字(slot)を割り振る。 ・リクエストのキーを計算して、対象のサーバを判別する。 [HASH_SLOT = CRC16(key) mod 16384] クラスタリングの概要 [slot 0-5460] [slot 5461-10922] [slot 10923-16383] ①サーバを選んで命令 ②対象のサーバを判別して命令を転送 node1 node2 node3③命令を実行して結果を返す
  84. 84. PHPからRedisを操作する
  85. 85. フレームワークの対応 ⇒Redisentベースのライブラリが付属。 その他主要なフレームワーク ⇒ライブラリを使用する必要があります。
  86. 86. PHPには様々なRedisライブラリが存在します。
  87. 87. phpredis 作者: Nicolas Favre-Felix(Acunu) 国:イギリス PHP Ver:5以上 URL:https://github.com/nicolasff/phpredis 記述言語:C ライセンス: PHP License, version 3.01
  88. 88. Predis 作者:ダニエレ・アレッサンドリ(nrk) 国:イタリア PHP Ver:5.3以上 URL: https://github.com/nrk/predis 記述言語:PHP ライセンス:MIT
  89. 89. Redisの活用事例
  90. 90. ・ランキングデータ ・「みんなで倒す」ボスデータ ・ユーザ集計データ ・単純なKVSとして(トークン等) など、多くの用途で活用されています。 ソーシャルゲームでの活用事例
  91. 91. ランキングデータ User:A スコア:10 User:A スコア:50 User:A スコア:70 User:A スコア:90 1 3 4 5 ユーザランキング User:A スコア:30 プレイ結果 ソート済みセット型
  92. 92. ・ゲームのプレイ結果「ユーザID」「スコア」をソート済みセットに登録 ⇒スコア順のユーザランキングが生成される。 ・順位での検索、ユーザでの検索、スコアでの検索が可能。 ⇒RDBだとランク取得にorder_byが必要になり、処理が重い。 ランキングデータ
  93. 93. 「みんなで倒す」ボスデータ ボス情報 出現時間 キー:prefix {ボスID}:{ユーザID} ハッシュ型 ボスHP 攻撃履歴A 攻撃履歴B 攻撃履歴C
  94. 94. ・ダメージ与えるたびにボスのHPをデクリメント。 ⇒キャッシュ内で値を一意に保つ事ができる。 ・ハッシュ内に攻撃履歴の情報をfield:valueで追加。 ⇒複数データを一括で取得/削除する事ができる。 「みんなで倒す」ボスデータ
  95. 95. ユーザーデータ 所持アイテム数 ステータス キー:prefix {ユーザID} ハッシュ型 合計攻撃力クエスト進捗
  96. 96. ・ユーザに関する集計値を保持 ⇒DBが冗長になるのを防ぐ ・ステータスなど頻繁にアクセスする値を保持 ⇒値の構造化による高速なアクセスを実現 ユーザデータの保持
  97. 97. KVSとしての活用(トークン等) 画面アクセス用トークン キー:prefix {ユーザID}{画面ID} 文字列型
  98. 98. KVSとしての活用(トークン等) ・単純なKey/Valueとして保持 ⇒memcachedからの代替が容易 expireをキー単位で設定できる ・ハッシュ型を使用して階層として保持 ⇒データの取得/削除が一括で行える 数値の管理がやりやすい。
  99. 99. 最後に
  100. 100. RedisがAWSで採用された意味はとても大きいと思います。 恐らく簡単には廃れないでしょう。 これからもどんどん活用して、理解を深めていきましょう!
  101. 101. 勉強会は以上になります。 ご清聴ありがとうございました。
  102. 102. 参考ページ http://www.cyberagent.co.jp/technology/pdf/2012_16.pdf http://redis.io/ http://rest-term.com/archives/3045/ https://github.com/nicolasff/phpredis http://d.hatena.ne.jp/zentoo/20130718/1374152848 http://tech.gmo-media.jp/post/48748908427/introduce-redis-sentinel http://www.atmarkit.co.jp/news/201009/07/redis.html http://gihyo.jp/dev/clip/01/orangenews/vol59/0002
  103. 103. 参考ページ http://sourceforge.jp/magazine/11/02/24/060248 http://sourceforge.jp/magazine/11/10/18/0435209 http://sourceforge.jp/magazine/12/10/24/0530252 http://antirez.com/news/49

×