Downloaded 25 times
![28
SmartStore設定(詳細:3/4)
2. データ保存の設定
$SPLUNK_HOME/etc/master-apps/_cluster/local/indexes.conf
例）
[volume:remote_store]
storageType = remote
path = s3://splunk-eval/SmartStore_eval
remote.s3.access_key = XXXXXXXXXXXXXXXXXXXX
remote.s3.secret_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
remote.s3.endpoint = https://s3.ap-northeast-1.amazonaws.com
[(インデックス名)]
homePath = $SPLUNK_DB/$_index_name/db
thawedPath = $SPLUNK_DB/$_index_name/thaweddb
coldPath = $SPLUNK_DB/$_index_name/colddb
remotePath = volume:remote_store/$_index_name
repFactor = auto
maxDataSize = auto
maxGlobalDataSizeMB = 500000 # 500GB（デフォルト0：上限なし） ※クラスタ全体でのローカルデータサイズの最大値
frozenTimePeriodInSecs = 2678400 # 30日（デフォルト188697600秒：約6年）](https://image.slidesharecdn.com/gojassmartstore20190419-190508121031/75/GOJAS-Meetup-10-Splunk-SmartStore-28-2048.jpg)
![29
SmartStore設定(詳細:4/4)
4. キャッシュ保持ポリシーの設定
インデックス毎に設定する場合：indexes.conf
$SPLUNK_HOME/etc/master-apps/_cluster/local
Globalに設定する場合：server.conf
$SPLUNK_HOME/etc/master-apps/_cluster/local
5. 設定のデプロイ＆動作確認
splunk apply cluster-bundle
例）
[(インデックス名)]
hotlist_recency_secs = 1339200 # 約15日（デフォルト86400秒：24時間）※Warmバケツ保持期間
hotlist_bloom_filter_recency_hours = 360（デフォルト360時間：15日） ※tsidx、Journals以外（bloom filter等）の保持期間
例）
[cachemanager]
hotlist_recency_secs = 1339200 # 約15日（デフォルト86400秒：24時間）
hotlist_bloom_filter_recency_hours = 360（デフォルト360時間：15日）](https://image.slidesharecdn.com/gojassmartstore20190419-190508121031/75/GOJAS-Meetup-10-Splunk-SmartStore-29-2048.jpg)
![[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス](https://cdn.slidesharecdn.com/ss_thumbnails/amazonauroratips-170307140000-thumbnail.jpg?width=640&height=640&fit=bounds)
【GOJAS Meetup-10】Splunk：SmartStoreを使ってみた
- 1.
- 2. 2 本発表について（1/2） こんな人に役立つかも？ 管理者：Splunkのサーバー管理、confファイルの設定変更等をする方 取り込みデータ量が大きくてストレージリソースが追い付かない方 S3を持て余している方 こんな人はつまらないかも？ ユーザー：Splunkサーチ、ダッシュボード、アラート設定等をする方 上記状況に当てはまらない方 対象環境 Splunk: Splunk Enterprise7.2.x OS: Linux 3.x以降 Splunk構成: インデクサークラスタ環境 検証用途であればStandalone構成でもOK
- 3.
- 4.
- 5. 5 自己紹介 名前：時田 理恵 職業：Splunk エンジニア 所属：マクニカネットワークス㈱ Splunk：バージョン4.2～4.3世代（クラスタ機能が無い！） 好きなコマンド：stats,tstats 気になっているコマンド：redistribute, multisearch 気になっているログ：watchdog.log 趣味：バレエ、ヨガ、鳥鑑賞
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18. 18 おさらい：インデックスとは？ Splunkでは、取り込んだデータを「インデックス」と呼ばれる論理的な データ保管単位で保存します。 main (デフォルト) firewall (firewall用) security (秘密情報用) network (proxy用) インデックスを複数作成するケース • データによって保持期間を 分けたい場合 例） firewallのデータは60日、 networkのデータは30日の 保持期間でよい、など。 •データへのアクセスコント ロールを実現したい場合 例）Security関連のデータは 特別な権限を持ったユーザー （ロール）に限りたい、など。 ・保存期間は6年間 ・アクセスは全ロール （全ユーザー） ・保存期間は6年間 ・アクセスは限られた ロールのみ ・保存期間は30日 ・アクセスは全ロール （全ユーザー） ・保存期間は60日 ・アクセスは全ロール （全ユーザー）
- 19. 19 おさらい：バケツとは？ 「インデックス」は、インデックスデータ※（tsidxデータ）と取り込んだ データ本体(rawデータ)のペアをバケツという単位で保存します。 バケツ単位でHOT, WARM, COLD,FROZENステージへローテーションします。 COLD Read FROZEN 削除(デフォルト) or アーカイブ インデックス データ (元データの35%) データ本体 (元データの15%) ユニバーサル インデクシング gz圧縮 バケツ main (デフォルト) HOT Read/Write WARM Read 取り込みデータ（元データ） ※インデックスデータとは、Splunkがデータを取り込んだ時に 作成する索引データを意味します。
- 20.
- 21.
- 22. 22 データの動き：データ取り込み時 処理の流れ 1. Hotバケツへデータ書き込み 2. クラスタ間でHotバケツをコピー 3.Warmバケツへ移行 インデクサー1(Primaryバケツ保持) • Warmバケツをリモートストレージへコピー • コピー完了を他のインデクサーへ通知 • WarmバケツをLocalのCacheとして保持 (キャッシュ保持ポリシーに従い保持＆削除※) インデクサー2 • インデクサー1からコピー完了通知を受け取った 後、コピーされたLocalのバケツを削除※ ※削除後もディレクトリやmetadataは残る インデクサー2 S3互換 リモートストレージ キャッシュマネージャー Hot Cache Warm Warm Warm Warm インデクサー1 Hot Cache キャッシュマネージャー フォワーダー ① ② ③
- 23. 23 データの動き：検索時 処理の流れ 1. サーチヘッドから検索ジョブ実行 2. Hotバケツの検索 3.Warmバケツ（Cache）の検索 • キャッシュマネージャーへ問い合わせ • 存在する：Cacheデータを検索 • 存在しない：リモートストレージからバケツを コピーし、コピーが完了次第検索を実行 4. 検索完了処理 • コピーしたバケツはキャッシュ保持ポリシー に従い削除 インデクサー2 S3互換 リモートストレージ キャッシュマネージャー Hot Cache Warm Warm Warm Warm インデクサー1 Hot Cache キャッシュマネージャー サーチヘッド ① ② ③サーチプロセス サーチプロセス ② ③
- 24.
- 25. 25 SmartStore設定(概要) 設定手順の流れ 1. 保存先AWS S3バケットの作成、AWSIAM権限追加 2. インデクサークラスタの設定 3. SmartStoreデータ保存の設定 4. キャッシュ保持ポリシーの設定（indexごと/Global） 5. 設定のデプロイ＆動作確認
- 26. 26 SmartStore設定(詳細:1/4) 1. 保存先AWS S3バケットの作成、AWSIAM権限追加 詳細省略。 暗号化オプション無しで「splunk-eval」バケットへ 「SmartStore_eval」フォルダを作成。 任意のユーザーへS3の 必要権限を追加。
- 27.
- 28. 28 SmartStore設定(詳細:3/4) 2. データ保存の設定 $SPLUNK_HOME/etc/master-apps/_cluster/local/indexes.conf 例） [volume:remote_store] storageType =remote path = s3://splunk-eval/SmartStore_eval remote.s3.access_key = XXXXXXXXXXXXXXXXXXXX remote.s3.secret_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx remote.s3.endpoint = https://s3.ap-northeast-1.amazonaws.com [(インデックス名)] homePath = $SPLUNK_DB/$_index_name/db thawedPath = $SPLUNK_DB/$_index_name/thaweddb coldPath = $SPLUNK_DB/$_index_name/colddb remotePath = volume:remote_store/$_index_name repFactor = auto maxDataSize = auto maxGlobalDataSizeMB = 500000 # 500GB（デフォルト0：上限なし） ※クラスタ全体でのローカルデータサイズの最大値 frozenTimePeriodInSecs = 2678400 # 30日（デフォルト188697600秒：約6年）
- 29. 29 SmartStore設定(詳細:4/4) 4. キャッシュ保持ポリシーの設定 インデックス毎に設定する場合：indexes.conf $SPLUNK_HOME/etc/master-apps/_cluster/local Globalに設定する場合：server.conf $SPLUNK_HOME/etc/master-apps/_cluster/local 5. 設定のデプロイ＆動作確認 splunkapply cluster-bundle 例） [(インデックス名)] hotlist_recency_secs = 1339200 # 約15日（デフォルト86400秒：24時間）※Warmバケツ保持期間 hotlist_bloom_filter_recency_hours = 360（デフォルト360時間：15日） ※tsidx、Journals以外（bloom filter等）の保持期間 例） [cachemanager] hotlist_recency_secs = 1339200 # 約15日（デフォルト86400秒：24時間） hotlist_bloom_filter_recency_hours = 360（デフォルト360時間：15日）
- 30.
- 31.
- 32.
- 33.
- 34. 34 おまけ：Monitoring Console SmartStore Activity:Instance SmartStore Cache Performance: Instance
- 35.
- 36.
- 37.
- 38.