ログ解析ツールSawmillとフロープローブnProbe連携によるHTTP,TLSサイトアクセス解析
文：ジュピターテクノロジー よしひろ
最近Webプロキシサーバーを対象とするトラフィック解析及びログ解析を実現したいといった要望を立て続けに頂いたので、本ブログ記事で弊社製品を活用したソリューションをご紹介しようと思います。
ネットワークトラフィック解析はntopで完結
先ず特定サーバーに対するネットワークトラフィック解析ですが、以下3種類の方法があります。
- サーバーが接続するスイッチ/ルーターのミラーポートからトラフィックを収集し、ntopngで可視化する
- サーバーが接続するスイッチ/ルーターが、NetFlow,sFlowといったxFlowをサポートしている場合、nProbe+ntopngにxFlowをエクスポートする
- サーバーにnProbeをインストールし、トラフィック情報をntopngにエクスポートする
トラフィック解析に関しては、nProbeとntopngを組み合わせることによって、どのようなネットワーク構成でも対象サーバーが送受するトラフィック情報を完全に収集・解析する環境を構築することができます。
プロキシサーバーが存在する場合のWEBアクセス解析
弊社では、ログ解析ソフトウェアとしてFlowerfire社のSawmillを販売しております。
Sawmillは、1,000種類以上のログフォーマットに対応しており、ターゲットとなるシステムのログをサポートしている可能性があります。
小職が受けた問い合わせのプロキシサーバーソフトウェアは、Squidでした。
もちろん、SawmillはSquidのログ形式をサポートしております。
また、ログフォーマットに対応していないシステムのログに関しても、カスタムログフォーマットを利用すればどの様なログでも解析することができます。
よって、今回のプロキシサーバーのログ解析といったリクエストに関しては、「プロキシサーバー自身が出力するログファイルをSawmillで解析する。」がシンプルでベストな回答となります。
プロキシサーバーが存在しない場合のWEBアクセス解析
一方、プロキシサーバーを利用していない環境は多々あり、社内ユーザーがアクセスしているWebサイト情報を手軽に収集したいといった要望もあります。
もちろん、エンドポイント製品を各ユーザーにインストールし・・・といったことをすれば実現可能なのですが、なるべく既存システム構成をかえず、大掛かりではなく、かつ費用を抑えたいというのがシステム管理者の本音ではないでしょうか？
nProbeにはフローダンプという機能がある
ntopng and nProbeによる高速トラフィック分析入門(第4章 ネットワーク見える化追加設定)の"4.1 nProbeダンプ設定で"紹介している設定を有効にすれば、トラフィック情報をテキストファイルにダンプできます。
nProbeには各種プラグインがあり、HTTPプラグインによりホストがアクセスしたサイトをダンプすることができます。
※HTTPプラグインに関しては、過去のブログ記事で紹介しておりますのでこちらをご一読ください。
nProbeのHTTPプログインを有効にした状態で収集したフローダンプをSawmillが解析(カスタムログフォーマットを作成)すれば、今回の目的は達成できます。
以下がSawmillとnProbeの連携イメージ図です。
図1 SawmillとnProbeの連携
Sawmillのカスタムログフォーマット作成方法は、本ブログ記事のスコープ外となりますので今回は触れません。
nProbeのフローダンプをSawmillで解析した結果が下の図2です。
図2 Sawmill nProbeダンプ解析結果
図2の(A)が、IPアドレスごとのトラフィック量情報で、IN/OUT方向トラフィックが多かった上位10個のIPアドレスを表示しています。
(B)がLAN内からアクセスしたHTTPサイトの上位10位、(C)がTLSサイトの上位10位を表示しています。
今回は、LAN内のWEBアクセス分析をテーマにしたので、対象プルトコルをHTTP及びTLSに絞りましたが、nProbeのフローダンプはデフォルトで36フィールドあり、様々な情報の統計データ分析が可能です。
例えば、
- LAN内で頻繁に利用されているアプリケーション一覧を作成
- TCP再送を頻繁に起こしてる上位10ホストの表示
- 長期フローを利用しているホストとそのアプリケーションの抽出
等々、SawmillとnProbeを連携することによって、ネットワーク管理者が欲しかったが手に入らなかったカスタムレポートをオーダーメイドで簡単に作ることができます。
是非、ログ解析ツールSawmillとフロープローブnProbeを連携して情報システムの管理強化に役立ててください。
本記事で扱っているntop社のnProbe, ntopng製品にご興味のある方は、以下のリンクから弊社までお問い合わせください！
