Splunk主要コンポーネント

この記事は約7分で読めます。
sponsored link

【前提】Splunkの構成要素

インスタンスの解説に入る前に、まず前提としてSplunkの構成要素を理解する必要があります。

Splunkでデータを活用する流れ

  1. あらゆるテキストデータを収集値として受信
  2. データをイベントに加工
  3. イベントをインデックス化して保存
  4. ユーザーが検索・加工・レポート機能などを利用

インスタンス (Instance) とは

インスタンスとは「Splunkを単独で実行するサーバー」のことで、Standalone, Distributed の2つに分けられます。

Standalone (単独型)

Standalone は「単独のインスタンス(Splunk Enterprise)で全てのデータ処理機能 (e.g., input, indexing, search) を実現する方式」です。
※ 開発用のサイトを別で用意することが推奨されています。

一般的にはこちらの方式ではなく「Forwarder + Splunk Enterprise」の方式が採用されています。

Distributed (分散型)

Distributed は「データ処理機能のプロセスが複数インスタンスに分散される方式」のことで、各プロセスを大規模に拡張できるのが特徴です。
(e.g.) インスタンスAで input, インスタンスBで indexing

そして、この環境下で役割毎に分散されたインスタンスが「コンポーネント」と呼ばれます。

コンポーネント (Component) とは

コンポーネントとは役割毎に分けられたインスタンスのことで、Processing, Management の2つに分けられます。

  • Processing components:『Forwarder』『Indexer』『Search Head (SH)』
  • Management components:『License Master (LM)』『Monitoring Console (MC)』『Deployment Server (DS)』『Cluster Manager (CM)』『Search Head Cluster Deployment (SHC-D)』

Forwarder (データ転送)

Forwarder 総まとめ【Splunk】
フォワーダー (Forwarder) とは Forwarderとは「収集したデータを他のインスタンス(e.g., Indexer, other Forwarder)に転送するインスタンス」のことで、...

Indexer (加工/インデックス化)

Indexer* とは「生データをインデックス化した結果をイベントとして Indexes(リポジトリ) に保存するインスタンス」のことで、データの受信/インデックス化/保存/探索というSplunkに欠かせない機能を多くもちあわせています。
※ Distributed search topology, Indexer clusters の文脈ではそれぞれ「search peer」「peer node」という呼ばれ方をします。

また Indexer clusters を構成した場合、Indexers 間で全バケットが複製されるので、負荷の調整や自動フェールオーバーなどの恩恵を受けることができます。ユーザーは複数のクラスタを構成することも可能ですが、1つのクラスタあたり最低3つのインスタンスを用意する必要があります。(SH clustersも同様)

↓インデックス化されたイベント

Splunkのインデックスって何ぞや
インデックス (Index) インデックスとは「イベントを保存するリポジトリ」のことで、ユーザーがサーチを行う際にクエリを発行する対象を指します。(新規インデックスは管理者のみ追加可能) 圧縮生デ...

Search Head (サーチ)

Search Head (SH) とは「ユーザーからのリクエスト(SPL)を Indexer に発行するインスタンス」のことで、サーチ結果 (e.g., field extractions, alerts, dashboard) を保存する役割があります。

Splunkではデータアクセス時にオンメモリで処理する「動的スキーマ技術」を採用しているので、オリジナルデータを傷つけずに何度でもイベントの定義を変更することができます。

↓SPLを用いたサーチ

License Master (LM)

Splunkライセンスの理解をグッと深める
ライセンスの種類 Enterprise trial license Enterprise trial license とは「Splunkをインストールしたインスタンスに自動で付与される無料のライセ...

Deployment Server (DS)

Forwarder 総まとめ【Splunk】
フォワーダー (Forwarder) とは Forwarderとは「収集したデータを他のインスタンス(e.g., Indexer, other Forwarder)に転送するインスタンス」のことで、...

Monitoring Cnosole (MC)

Monitoring Console (MC) とは「Splunk 内部のヘルスチェックやアラート監視を行うインスタンス」のことで、管理者のみ [Settings] > [Monitoring Console] から利用することができます。
※ StandaloneではMCがデフォルトで設定されていないので、管理者が [Settings] > [General Setup] > [Apply Changes] で有効化する必要があります。

MCではインデックス化/サーチのパフォーマンスだけでなく、システムリソース、ライセンス利用率なども監視することができます。

MC のアラートはデフォルトでOFFになっているので、MC の画面から [Settings] > [Alerts Setup] で有効化する必要があります。(独自のアラートも設定可)

さらに、画面左上の [Health Check] からシステムの状況を把握したり、隣の [Indexing] から index のパフォーマンス調査やコストの見積もりなどを行うことができます。


Cluster Manager (CM)

Cluster Manager (CM) とは「全てのクラスタ環境を調整するインスタンス」のことです。

データ量に応じて専用インスタンスを立てるかどうかを検討します。

Search Head Cluster Deployer (SHC-D)

Search Head Cluster Deployer (SHC-D) とは「SHCの管理を行う専用インスタンス」のことです。

他のコンポーネントと共にデプロイできますが、それぞれのSHC毎にSHC-Dが必要となります。

Orphaned Knowledge Objects

Orphaned Knowledge Objects とは

Orphaned Knowledge Objects (Orphaned KOs) とは「システム内で共有されたオーナー不明のKOs」のことで、アカウントが削除/ライセンス失効されたときに起こります。

この状態になるとパフォーマンス/セキュリティ上のリスクが生じたり、オブジェクトを参照している機能 (e.g., search, report) が無効になってしまうため、直ちに新しいオーナーを割り振る必要があります。

無効になったオブジェクトの確認・再配布

  • [Message] に届いた orphaned schedule searches のリンクをクリック
  • [Search] > [Dashboards] > [Orphaned Schedule Searches, Report, Alerts]
  • MC でヘルスチェックを実行

上記のいずれかの方法で Orphaned KOs を確認した後は、管理者が web: [Settings] > [All configurations] > [Reassign Knowledge Objects] > [Orphaned] タブ > [Reassign] > [New Owner] で新しいオーナーを割り振ります。

トラブルシューティング (diag file)

Diagnostic (diag) fileとは「Splunkインスタンスの構成情報*/ログのスナップショットが記録されたファイル」で、トラブル発生時に (機密情報を抜いて) Splunkのサポートに提出するものを指します。
(e.g.) server specifications, OS, file system, and current network connections, the contents of the $SPLUNK_HOME/etc such as app configurations, internal log files, and index metadata.

Web:[Settings] > [Instrumentation] > [New Diag] > (ロールでフィルタリング+)インスタンスを選択 > include/excludeする項目を指定 > 作成  (※”get_diag” capabilityが必要です)
CLI:./splunk diag


$SPLUNK_HOME/bin/splunk diag

References

Splunk Validated Architectures – Splunk White Paper

Managing Indexers and Clusters of Indexers – Splunk Documentation

instance – Splunk Documentation

component – Splunk Documentation

data pipeline – Splunk Documentation

Generate a diagnostic file – Splunk Documentation