【GOJAS Meetup-08】Splunk Insights for Infrastructure 2018-07-10

Copyright © 2004-2018 Macnica Networks Corp. All Rights Reserved.Copyright © 2004-2018 Macnica Networks Corp. All Rights Reserved.Copyright © 2004-2018 Macnica Networks Corp. All Rights Reserved.
Splunk Insights for Infrastructureを
試してみた
2018/07/10
マクニカネットワークス株式会社
村越功卓

Copyright © 2004-2018 Macnica Networks Corp. All Rights Reserved.
自己紹介
名前：村越功卓
所属：マクニカネットワークス Splunk技術部
仕事内容：パートナー様への技術支援、Splunk認定トレーニング講師など
2

前提条件
本資料で記載、説明している Splunk Insights for Infrastructure は
バージョン 1.0.2 を対象としております。
3
【 2018/07/12 追記】
GOJAS発表直後に Splunk Insights for Infrastructure Version 1.1.0 がリリースされました！
Windowsもサポートされることになりましたので、以下をチェック！
http://docs.splunk.com/Documentation/Infrastructure/1.1.0/ReleaseNotes/WhatsNewInfrastructure

INDEX
00.
01.
02.
03.
04.
05.
Introduction
Splunk Insights for Infrastructure とは
利用条件とシステム要求仕様
データの取り込み
使い方（Investigate and Alerts）
Impressions
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
・・・・・・・・・・・・・・・
・・・・・・・・・・・・・・・・・・・・・・
・・・・・・・・・・・・・・・・・・・・・・・・・・・
・・・・・・・・・・・・・・・・・・・
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
p.04
p.09
p.15
p.20
p.35
p.47
4

Copyright © 2004-2018 Macnica Networks Corp. All Rights Reserved.Copyright © 2004-2018 Macnica Networks Corp. All Rights Reserved.
00Introduction
5

メトリクス（メトリックス）ってご存知ですか？
一般的な意味
メトリクスとは、様々な活動を定量化しその定量化したデータを管理に使えるように
加工した指標のこと
簡単に言うと何かしらデータを収集し、そのままの形ではなく計算や分析を加えてわ
かりやすいデータ（数値）に変換したのがメトリクス
例）
ネットワークメトリクス＝ネットワーク上のトラフィックを計測する測定データ
システムメトリクス＝システムのパフォーマンスを計測する測定データ
Splunkのメトリクスとは？
6

メトリクス機能＝ Splunk 7.0から追加された新機能
7
【 Note 】
Splunk Enterprise 7.0リリース情報
https://www.macnica.net/splunk/rel
ease70.html/

メトリクス機能のすごいところ
超高速
専用コマンド（mstats）で
インデックスデータから直接集計する
Splunk社参考データでは
3500万イベント＜0.1秒
８.5億イベント：3 - 5秒
保存領域が少なくなる（はず）
インデックスデータだけを保存する
メトリクス専用のインデックスに集計
するので低容量
8
Index
(元データの35%)
データ本体
(元データの15%)
オリジナルデータサイズの50%程度で保存
インデックス生成 gz圧縮

メトリクス機能のうーん・・・なところ
使い始めるまでがちょっと大変
フォワーダーにHTTPイベントコレクタ（HEC）の設定をして、 collectd
（StatsD）をインストールして設定して、Splunkにメトリクス用インデックス作っ
てmstats使ってダッシュボード作って…。使うまでに必要なことが多い！
9
【 Note 】
Splunk日本語マニュアル-メトリクス
https://docs.splunk.com/images/b/b
7/Splunk-7.1.0-Metrics_ja-JP.pdf

01Splunk Insights for Infrastructure とは
10

Splunk Insights for Infrastructureとは？
Splunk社が2018年に発表した新たなサーバー監視向けソリューション
パフォーマンス監視用のメトリクスを使用し、Linux 系ディストリビューション,
AWSインスタンスの監視とトラブルシューティングに使用するツール
略称はSII（以降、SIIと記載）
11

SIIの売り文句
簡単に使い始められて、管理・使用方法も容易！
Splunk Enterprise(以下Splunk)のインストール不要
使い始めるまである程度準備が必要だったメトリクスを簡単に使い始められる！
12

SIIの売り文句
メトリクスとログの統合監視
メトリクスとログがまとめて確認できる！
GUI操作だけで利用可能！
13

SIIの売り文句
データ取り込み対象のサーバーが50台以下で
データ保存容量が最大200GBまでなら無料！
200GBというのは１日あたりのデータ取り込み量ではなく
データ保存容量（=インデックスの容量）
Splunkにある“1日あたりのデータ取り込み量”の制限無く利用できる
上記のデータ保存容量の制限を超えて利用したい場合はSplunk
ライセンスを購入することで簡単にSplunk環境に拡張可能
14

つまりどういう製品なの？
簡単に言うとSplunkの一部機能とLinux, AWSのメトリクス取り込み
機能が同梱されて、サーバー監視できるようにされているパッケージ製品
Splunkが同梱されている(※)のでSplunkのインストールが不要
無償で使える代わりにSplunkの機能は使用不可で
“監視対象サーバー数”と“データの保存容量“に制限がある
この制限を解除したりSplunkの機能を使いたい場合
Splunkのライセンスを購入する必要がある
15
※ SIIの動作に必要な機能部分のみ抜粋したSplunkが同梱されている

02利用条件とシステム要求仕様
16

SIIの利用条件
構築できる環境はLinuxサーバーのみ、かつシングルインスタンスのみ
先にSplunkがインストールされている環境へSIIを追加で
インストールすることはできない
SIIをインストールした後に、Splunkをインストールして
有償ライセンスを適用することでSplunkとして利用することは可能
取得できるサーバー台数は無償の場合50台が上限
有償（ Splunkとして利用する）の場合1000台が上限
17

SIIの利用条件
１ホストあたりのメトリクス数は６つ、ログソース数は５つまで
ユーザー数は最大5名まで
表示できるデータ期間はプリセットで固定されている（最大３０日間が上限）
無償利用の場合コミュニティサポートのみ
18

利用条件
監視可能な対象サーバー
Linuxサーバー
RHEL 6 2.6.32+, RHEL 7 3.10.0+, Centos 7, Debian 8, Ubuntu 16.
AWSインスタンス
EC2、ELB、EBS
※Windows, Mac OS X (macOS)は現時点ではサポート対象外
19

推奨ハードウェアスペック
推奨ハードウェアスペック
サポートOS（SIIをインストールできる環境）
詳細はSplunk社のWebサイトをご参照ください。
詳細はSplunk社のドキュメント参照のこと
http://docs.splunk.com/Documentation/Infrastructure/1.0.2/Admin/SystemRequirements
20
Platform 最小構成推奨構成
Linux 1x1.4 GHz CPU, 1 GB RAM 2x 6-core, 2+ GHz CPU,
12 GB RAM,
RAID0 or 1+0(※), 64bit OS,
1 Gb Ethernet NIC, optional 2nd NIC for a
management network
サポートOS サポートバージョン
Linux
RHEL 6 2.6.32+
RHEL 7 3.10.0+
Centos 7
Debian 8
Ubuntu 16

SIIとSplunkの比較
比較する機能 SII（Splunk Insights for Infrastructure） Splunk Enterprise
構築できる環境シングルインスタンスのみシングルインスタンスや分散構成などさまざまな構成が可
能
ライセンスの考え方データ保存容量/シングルインスタンス１台ごと１日あたりのデータ取り込み容量/Splunk全体で共有可能
利用可能ユーザー最大5ユーザーユーザーに制限なし
ユーザー認証ローカルのみローカルだけでなくAD, LDAPなど外部認証も使用可能
利用可能なアプリケー
ション（App）
SplunkのAppは利用できない
（SIIユースケースのみ）
SplunkのAppが利用できる
（splunkbaseの多くのフリーAppやPremium Appなど）
データの取り込み方法 Linux:Collectd+Universal Forwarder
AWS: HTTP (HEC)
Universal Forwarder, HEC, TCP, UDP, その他、カスタムした
データ取り込み方法を作成可能
データの検索とレポート、
ダッシュボードのカスタマ
イズ
不可可能
開発者向けツールなし API, SDK, SimpleXMLが提供されている
21

03データの取り込み
22

Linuxサーバーからのデータ取り込み
Linuxサーバーから収集できるデータ
23
区分内容
メトリクス（Metrics）・CPU (CPUが複数ある場合、各CPUのデータを収集またはすべてのCPUの合計を収集)
・Memory
・disk
・interface
・load
・df
ログソース（Log Sources）・/var/log/syslog
・/var/log/daemon.log
・/var/log/auth.log
・Splunkの内部ログとcollectdのログ（デバッグのため）
/etc/collectd/collectd.log
$SPLUNK_HOME/var/log/splunk/*.log*
※上記以外に、任意で指定したログも追加可能（ただし最大６ログソースまで）

Add Dataを選択しConfigure Integrations画面を表示し「Linux」を選択
24

「Customize」をクリックし収集するデータを選択する
25
種類内容
メトリクス
（Metrics）
・CPU
・df
・disk
・interface
・load
・Memory
ログソース（Log
Sources）
・内部ログ（Splunkと
Collectd）
・syslog
・daemon.log
・auth.log

ディメンション(Dimensions) の設定
・任意指定項目
・ディメンションを設定すると、収集対象サーバーのグループ化を行うことが容易になる
例：owner:splunker, environment:demo
モニタリングマシン(Monitoring machine)の設定
・データを収集する対象サーバーのIPアドレスまたはホスト名を設定する
26

データを収集する対象サーバーにSSHでログインしスクリプトを実行する
※実行するスクリプトは自動生成されるため、画面上からコピーして使用可能
スクリプトを実行するとユニバーサルフォワーダー、collectdがインストールされる
スクリプト実行後にcollectdの再起動を行うとデータの転送が開始される
※画面は60秒ごとにリフレッシュされるが「Refresh」ボタンをクリックすることで
任意のタイミングでリフレッシュ可能
27
【 Note 】
Refreshボタンをクリックしても反応がないケースが存在
した。しかし「Investigate」をクリックし画面表示を行うとエ
ンティティが追加されていたため、一定時間経過後に
直接「Investigate」で取得できているか確認すると良い
かも。

スクリプトの利用条件
・rootユーザーで実行する
・wgetが利用できる
・yumが利用できる
・インターネットアクセスが可能
・SELinuxの無効化済み
・9997ポートが開放してある
28

取り込み実施端末の確認
データ収集が行えているかはWeb画面上の「Investigate」をクリックすることで確認可能
「Investigate」画面はデータ収集を行っている対象サーバーが一覧表示されるので
スクリプトを実行した対象サーバーが一覧に表示されていれば、取り込み完了
※表示例
29
【 Note 】
Entity Name （データ取得対象サーバーの名称＝hostname）に「.」が含ま
れるとSIIでイベントデータが表示されないので注意。（メトリクスデータは表
示される）

AWSインスタンスからのデータ取り込み
AWSインスタンスよりデータを収集する際はCloudWatch logsを
用いてメトリクスデータを収集する
AWSインスタンスから収集できるデータ
上記データを収集してAWSアカウントを監視するには、AWSアカウント情報を
SIIに追加してからデータを収集する必要がある
30
区分内容（※EC2のみ）
メトリクス（Metrics） CPUCreditBalance
CPUCreditUsage
CPUUtilization
DiskReadBytes
DiskReadOps
DiskWriteBytes
DiskWriteOps
NetworkIn
NetworkOut
NetworkPacketsIn
NetworkPacketsOut
StatusCheckFailed
StatusCheckFailed_Instance
StatusCheckFailed_System

「Add Data」を選択しConfigure Integrations画面を表示し「AWS」を選択
31

アカウント情報を入力し「Add AWS account」をクリックしアカウントを設定する
アカウント設定が成功するとCollect data from 以下が活性化され入力可能になる
32

データを収集するAWSのエンティティ、リージョンを選択する
33
種類内容
AWS Entity Types ・データ収集を行うAWSのエンティティ（EC2,EBS,ELB）を選択
AWS Regions ・AWSのリージョンを選択。複数設定することも可能

CloudWatch Logs からデータを収集する場合は「Yes」にチェックし、
収集するAWSのリージョンと、取得するデータのパスを入力する
AWSでCloudWatch Logsエージェントを設定する際は、設定ファイル内の各ロググループに対して
一意の名前でログストリーム名を設定する（データ種別、保持期間ごとにグループを設定することで、
データ種別ごとに取得するグループを設定できる）
設定完了後に「Update AWS data source」をクリックする
34

取り込み設定方法
AWSアカウントに接続すると、接続されたエンティティが表示される
数分後に新しいエンティティが接続されていない場合は「Refresh」ボタンをクリック
新しいエンティティが接続されたら「New host found」と表示される
「New host found」をクリックすることでエンティティが表示される
35

取り込み実施端末の確認
データ収集が行えているか、Web画面上から確認する
Investigateをクリックし画面を表示する
スクリプトを実行した対象サーバーが一覧に表示されていることが確認できれば取り込み設定は完了
※表示例
36

04使い方（Investigate and Alerts）
37

SIIで、できること
取得したメトリクス、またはログデータをワークスペースに並べて
一覧表示＆調査できる
１台、または複数台を選択してまとめて表示できる
表示したパネル単位でアラートを作成できる
38

メトリクス＋ログデータの確認方法（1台のみ）
「Investigate」画面のエンティティ一覧から
収集情報を確認したい対象サーバーのEntity Nameをクリックする
39

確認したい情報を左側のサイドバーから選択すると、各情報のグラフが
右側に表示される
メトリクス＋ログデータの確認方法（1台のみ）
40
以下を選択可能
・表示間隔
・表示単位
・更新時間
・選択することでグラフが
表示される
・収集対象サーバーの情報表示
・表示方法の選択が可能
例：合計値、平均値 etc..

メトリクス＋ログデータの確認方法（複数のサーバー）
複数のサーバーを選択してまとめて表示する場合はGroupを作成する必要がある
Groupはディメンション(Dimensions)の組み合わせにより作成する
41

「Investigate」画面のエンティティ一覧から、ディメンションをクリックし
対象サーバーを絞り込む
※複数のディメンションを選択して絞り込むことも可能
目的の対象サーバーに絞り込むことができたら「Save as group」をクリックし
グループ名を入力して「Save」をクリックする
42

作成したグループはGroupを選択することで確認する
Group Name名をクリックすると対象のグループの収集情報を確認する画面が表示される
43

例：LinuxのCentOSサーバーのグループを作成し、まとめて情報を表示した場合
44
「Split by host」とするとサーバー
ごとに分割して表示される
表示を１列３パネルか、１列１パ
ネルか切り替えられる

表示したパネルの「…」をクリックすると、パネルをコピーしたり
表示情報をローカルマシンへエクスポートすることが可能
※エクスポートできるデータ形式はPNGかCSV形式のみ
パネルのコピーや、表示情報のエクスポート
45
種類内容
Create
Alert
表示しているパネルに閾値などを設定して
アラートを作成する（次ページで説明）
Clone
this Panel
該当のパネルをコピーする
Export as
PNG
該当パネルをPNG形式で保存する
Export as
CSV
CSVでグラフの元データを出力する

アラートを作成するにはアラートを設定するパネルを選択し
「Create Alert」クリックする
アラートの作成
46

表示された設定画面の項目を入力し「Submit」をクリックする
47
項目内容
Name アラートの名称を設定する
Type Id Host名が自動で設定される
Metric アラートを設定するデータソースが自動で設定される
If アラートの閾値を設定する
・閾値より以上なのか未満なのかを選択可能
・Critical,Mediumの２つの閾値設定が可能
（どちらかのみを設定することも可能）
Notify If アラートが発生した際にメールを送信するか設定する
閾値を超えた場合、閾値を下回った場合、両方から条
件を選択し、送信先のメールアドレスを設定する

作成したアラートは画面上の「Alerts」で確認可能
「Entity Name」をクリックすると右側にアラートの発生状況が表示される
48

0５Impressions
49

感想
Investigate画面はサクサク動く
メトリクスデータの取得が簡単にできるのは便利
AWSのインスタンス情報を簡単に取得できるのはとても便利
collectd＋Unversal Forwarderのインストールをまとめて行えるスクリプト
作成機能もありがたい（理想はGUIでインストールまで行えると嬉しい）
メトリクスのデータのみであれば、無料の200GBの保存容量でも十分使用可能
（表示・調査可能な過去30日間まで）
ただし、Splunkに比べてできないことも多いので、使い込んでいこうとすると
Splunk Enterpriseにアップグレードしたくなる印象
50

まとめ
SIIを使用するのに向いているケース：
以下のようなシンプル使い方をしたい場合はいいかも！
50台までのLinuxサーバー＆AWSインスタンスのパフォーマンスを確認できればよく
画面の保存やカスタマイズなど不要
監視も、しきい値を超えたらメールでアラート発砲させられれば十分
SIIを使用するのに向いていないケース：
51台以上のサーバーを監視したい
過去30日間よりも、更に過去のデータも分析したい
監視用途や運用に応じて画面をカスタマイズしたい
メール以外の様々なアラート方法を実装したい
上記のような場合にはSplunkを購入しSIIのApp版「Splunk App for Infrastructure」を
使用するほうが良さそう
51

ご清聴ありがとうございました。
マクニカネットワークスのSplunkチームでは一緒に働いていただける方を募集していますので、興味があればぜひ！

Ex01Appendix:実際に取り込んだデータで
消費されたディスクサイズについて
53

実際に取り込んだデータで消費されたディスクサイズについて
SIIは取り込んだデータの保存容量（インデックスされたデータの容量）が重要
無料で使えるデータ保存容量200GBとはいったいどのくらいの数のサーバー情報を
どれくらいの期間保管することができるのか？
実際に取り込んでみた結果から試算値を紹介
54

試算に用いた環境
ログ取り込みの対象サーバー：合計50台
Linux（CentOS7）：15台（メトリクスのみを取り込み）
AWS（EC2）：35台
Linuxのログソースは対象外
データ取得は1分に1回の間隔
55

結果
対象サーバー50台合計で1日あたり0.5-0.93GBのログが取得された
保存されたデータは12日間で2.63GB
56
実際に取り込みを行った全データ保存容量（GB）
実際に取り込みを行ったデータの1日あたりの
データ取得容量（GB/day）
※いわゆるSplunkの1日あたりのデータ取り込
み量

実績
50台で1日あたり0.5-0.93GBのため、1台あたり0.01GB-0.02GBが出力された
対象サーバー1台あたりのメトリクスデータ量：1日あたり0.02GB
※データ出力頻度は1分間に1回
12日間で取り込んだデータ（未圧縮）が8.28GBで、データ保存容量は2.63GB
のため、およそ31.7％の圧縮率でメトリクスデータが保存された
データ保存時の圧縮率：およそ32%
57

50台のサーバーで200GBまで保存できる期間はどれほどか？
監視対象サーバー50台、圧縮率の安全マージン1.5とした場合
200 ÷（0.02 × 50 × 0.32 × 1.5） ※
＝およそ418日間
SIIで表示・調査できるデータの期間は最大30日間なので十分！
※計算式：
メトリクスデータ保存期間＝SIIのデータ保存容量÷（対象サーバー1台あたりのメトリクスデータ量×対象サー
バー台数×データ圧縮率×圧縮率の安全マージン）
58

もしLinuxのログソースを取り込み対象とした場合
どのような計算式になるのか？
Linuxのログソースの場合、メトリクスと異なりRawデータを保存するため
データの圧縮率はtsidx35%＋Rawデータ15%＝50%ほどになるはず
59

保存期間を計算してみると・・・
今回のLinux対象サーバーのログソース量が1日1台あたり0.5GBで
圧縮率50%とした場合
200 ÷（（0.02 × 50 × 0.32 ＋ 0.5 × 15 × 0.5 ） × 1.5） ※
＝およそ17日間
※計算式
SIIのデータ保存容量÷（（（サーバー1台あたりのメトリクスデータ量×対象サーバー台数×データ圧縮率）＋
（サーバー1台あたりのログソースデータ量×対象サーバー台数×データ圧縮率））×圧縮率の安全マージン）
60

Ex02Appendix: インストール
61

SIIインストール方法
① SIIの取得
以下のSplunk社のダウンロードページからSIIをダウンロードする
https://www.splunk.com/en_us/download/splunk-insights-for-infrastructure.html
ファイル形式は .rpm .tgz .deb の3種類
コンソール上でwgetを利用し取得することも可能
wgetコマンドは、上記ダウンロードページからファイル形式を選択すると表示される
62

SIIのインストール方法
② インストール
rpmコマンドを利用しインストールする場合
rpm –i package_name.rpm
tar コマンドを利用しインストールする場合
mv package_name.tgz /opt/splunk
tar xvzf splunk_package_name.tgz
③ 実行
cd /opt/splunk/bin
./splunk start --accept-license
63

Ex03Appendix: アップグレード
64

アップグレード
Splunk Insights for InfrastructureはSplunkにアップグレードを行う
ことが可能
前提条件
Splunkのライセンスを保有していること
サーバーがSplunkのシステム要件を満たしていること
注意事項
SplunkからSplunk Insight for Infrastructureへのダウングレードはサポートされていない
65

アップグレード前の作業：SIIのバックアップ（任意）
① SIIサービスを停止します
$SPLUNK_HOME/bin/splunk stop
② 設定とデータ領域のコピー（バックアップ）を取得します
設定：$SPLUNK_HOME/etc 配下のすべてのディレクトリ
データ領域： $SPLUNK_DB 配下のすべてのディレクトリ
パス情報（デフォルトインストールの場合）
$SPLUNK_HOME：/opt/splunk
$SPLUNK_DB ：/opt/splunk/var/lib/splunk
66

アップグレードステップ
① SIIの現在のSplunkバージョンと一致するSplunkをダウンロードする
(Splunkのバージョンは「setting>about」から確認する)
②SIIを停止する
$SPLUNK_HOME/bin/splunk stop
③ダウンロードしたSplunkパッケージを解凍し
SIIの$SPLUNK_HOMEへ上書きする
④Splunkを起動する
$SPLUNK_HOME/bin/splunk start
67

アップグレードステップ
⑤Splunk Insight for Infrastructureへログインし
「Settings > Licensing」を表示する
⑥「Current License > Action > Upload License」から
ライセンスをインストールする
⑦Splunkを再起動します
$SPLUNK_HOME/bin/splunk restart
68

アップグレード後の変化
SIIがAppとして登録されて継承される
Splunk Add-on for AWSが追加される
69

アップグレード後の変化
「Investigate」のパネルの「…」をクリックした際に
実施できるアクションが増えている
パネルを表示しているサーチ内容をサーチ画面で確認することが可能
表示しているパネルをダッシュボードとして保存することが可能
パネルをレポートとして保存することが可能
70

71
• 本資料に記載されている会社名、商品、サービス名等は各社の登録商標または商標です。
なお、本資料中では、「™」、「®」は明記しておりません。
• 本資料は、出典元が記載されている資料、画像等を除き、弊社が著作権を有しています。
• 著作権法上認められた「私的利用のための複製」や「引用」などの場合を除き、本資料の全部または
一部について、無断で複製・転用等することを禁じます。
• 本資料は作成日現在における情報を元に作成されておりますが、その正確性、完全性を保証するもの
ではありません。

【GOJAS Meetup-08】Splunk Insights for Infrastructure 2018-07-10

More Related Content

What's hot

Similar to 【GOJAS Meetup-08】Splunk Insights for Infrastructure 2018-07-10