ElasticSearch + fluentdでログ分散管理

前々回、前回と、ElasticSearchについて勉強をしました。繰り返しになりますが、ElasticSearchの特徴は「RESTfulで全てがJSON」です。そうするとJSONデータであれば何でも食わせて全文検索が出来るわけですね。またCluster機能によって保持データを分散させることで可用性も確保出来ます。

高い可用性が必要で、全文検索したいもの...ログだ！

そこでfluentdです
fluentdはイベントログ収集のためのオープンソースソフトウェアで、インプットされたイベントログをJSONに変換してアウトプットします。「Log everything in JSON」です。開発元であるTreasure Data, Inc.の古橋氏のBlogに詳細があります。



構成
可用性確保ということで、このような構成にしてみました。
なお、fluentd自体にHA設定があり、アウトプット先のstandby serverを設定することが可能ですが、今回はLogサーバの増減にも対応できるように、Internal ELBをかましてみました。

やってみる
準備
Web1、Web2ではApacheをインストールしておきます。
$ sudo yum -y install httpd
Log1、Log2ではElasticSearchをインストールし、Clusterの設定をしておきます。
なお、ElasticSearchのrpmファイルは
$ wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.noarch.rpm
で取得しますが、Log1とLog2はPrivate Subnetに所属しているためwgetで外部接続は出来ません。NATインスタンスを立てるなりWebサーバでwgetしてからscpでコピーするなりの手段が必要です。

ElasticSearchのインストールとCluster設定は以下の通り。
$ sudo rpm -ivh ./elasticsearch-0.90.5.noarch.rpm
$ sudo vi /etc/elasticsearch/elasticsearch.yml
discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts: ["Log1のIPアドレス","Log2のIPアドレス"]
$ sudo service elasticsearch restart
Internal ELBでは、Log1とLog2に9200/tcpで振り分けを行います。


fluentdのセットアップ
fluentdのセットアップはWeb1、Web2で行います。
まずはfluentd:Installing fluentd Using rpm Packageに書いてる通りにcurlからshを実行します。インストールされるパッケージの名前は「td-agent」です。
$ curl -L http://toolbelt.treasure-data.com/sh/install-redhat.sh | sh
試験的にtd-agentを起動してみます。
$ sudo /etc/init.d/td-agent start
Starting td-agent:                                         [  OK  ]
$ sudo /etc/init.d/td-agent status
td-agent (pid  1605) is running...
試しにサンプルメッセージを送ってみます。
$ curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test
ログを確認すると...ちゃんとPOSTされていることがわかります。
$ cat /var/log/td-agent/td-agent.log
2013-10-30 05:43:15 +0000 debug.test: {"json":"message"}

fluentdからElasticSearchへの連携
Fluent::Plugin::Elasticsearchという素晴らしいfluentd Pluginがあります！

td-agentに付属しているfluent-gemと言うコマンドを使ってセットアップします。
$ sudo /usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-elasticsearch
Fetching: fluent-plugin-elasticsearch-0.1.4.gem (100%)
Successfully installed fluent-plugin-elasticsearch-0.1.4
1 gem installed
Installing ri documentation for fluent-plugin-elasticsearch-0.1.4...
Installing RDoc documentation for fluent-plugin-elasticsearch-0.1.4...
td-agent.confを編集し、Apacheのaccess_logをLogサーバに送信するよう設定します。
td-agentの詳細は公式サイト参照。
今回は公式のRecipe(Getting Data From Apache Logs Into Elasticsearch Using Fluentd)を参考にしました。hostにInternal ELBのFQDNを記述しています。
$ sudo vi /etc/td-agent/td-agent.conf
<source>
  type tail
  path /var/log/httpd/access_log
  pos_file /var/log/td-agent/httpd-access.log.pos
  tag apache.access
  format apache2
</source>
<match apache.*>
  type elasticsearch
  host internal-inelb-1234567890.us-west-2.elb.amazonaws.com
  port 9200
  index_name fluentd
  type_name httpd
</match>
apacheのログフォルダはUser:root、Group:rootのパーミッション:700になっているため、ユーザーtd-agentの権限ではログファイルが参照できません。このためログフォルダのパーミッションを変更します。
$ sudo chmod 755 /var/log/httpd
設定後、サービスを再起動します。
$ sudo service td-agent restart
動作確認
Web1、Web2にcurlでアクセスします。
$ curl http://Web1のIPアドレス/
$ curl http://Web2のIPアドレス/
Log1(ElasticSearch ClusterのMaster)の/var/log/elasticsearch/elasticsearch.logを確認すると、index,type(mapping)がcreateされたことが分かります。
[2013-10-30 06:49:32,659][INFO ][cluster.metadata         ] [Gabriel, Devil Hunter] [fluentd] creating index, cause [auto(bulk api)], shards [5]/[1], mappings []
[2013-10-30 06:49:33,602][INFO ][cluster.metadata         ] [Gabriel, Devil Hunter] [fluentd] update_mapping [httpd] (dynamic)
それでは、Log1のElasticSearchのデータを確認してみます。
$ curl -XGET "http://Log1のIPアドレス:9200/fluentd/httpd/_search" -d '
>   {
>     "query":
>     { "wildcard":{"host":"*"}}
>   }'
{"took":8,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":4,"max_score":1.0,"hits":[{"_index":"fluentd","_type":"httpd","_id":"g-qhXOYISzitEpTFw8S0xQ","_score":1.0, "_source" : {"host":"172.31.1.223","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"a7BETJlpTS2IcRRfJJw-xA","_score":1.0, "_source" : {"host":"172.31.44.7","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"-P9nSIahRQCoPfkHVvldUQ","_score":1.0, "_source" : {"host":"172.31.44.7","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"o8nvlG5aS0i3y6HdXnbG0Q","_score":1.0, "_source" : {"host":"172.31.1.223","user":null,"method":"GET","path":"/hoge","code":404,"size":280,"referer":null,"agent":"curl/7.29.0"}}]}}
ちゃんとaccess_logが登録されています。

次にLog2のElasticSearchのデータを確認します。
$ curl -XGET "http://Log2のIPアドレス:9200/fluentd/httpd/_search" -d '
>   {
>     "query":
>     { "wildcard":{"host":"*"}}
>   }'
{"took":10,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":4,"max_score":1.0,"hits":[{"_index":"fluentd","_type":"httpd","_id":"g-qhXOYISzitEpTFw8S0xQ","_score":1.0, "_source" : {"host":"172.31.1.223","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"a7BETJlpTS2IcRRfJJw-xA","_score":1.0, "_source" : {"host":"172.31.44.7","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"-P9nSIahRQCoPfkHVvldUQ","_score":1.0, "_source" : {"host":"172.31.44.7","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"o8nvlG5aS0i3y6HdXnbG0Q","_score":1.0, "_source" : {"host":"172.31.1.223","user":null,"method":"GET","path":"/hoge","code":404,"size":280,"referer":null,"agent":"curl/7.29.0"}}]}}
こちらもLog1と同等にaccess_logが登録されています。ちゃんとログが分散されて保存されていますね！

感想
これが出来ると、今度は可読性の高いログ参照ソフトウェアが欲しくなります。ということで、次はElasticSearch-Headを調べたいと思います！





[24時間365日] サーバ/インフラを支える技術 ‾スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ)[24時間365日] サーバ/インフラを支える技術 ‾スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ)
安井 真伸,横川 和哉,ひろせ まさあき,伊藤 直也,田中 慎司,勝見 祐己

技術評論社
売り上げランキング : 10377

Amazonで詳しく見る by AZlink

このブログの人気の投稿

転職のお知らせ

イメージ
退職のお知らせ 2024年6月末をもって クラスメソッド株式会社 を退職致しました。 本来であればお世話になった皆様に直接ご挨拶すべきところではございましたが、退職後までお伝えすることが出来ず、大変申し訳ございません。 略儀ながらブログでのご挨拶にて失礼致します。 在籍中について 2014年1月に入社してから丸10年半、勤めさせて頂きました。 当初はソリューションアーキテクトとして入社し、AWSに関するコンサルティングや環境構築に従事させて頂きました。当時のクラスメソッド株式会社はまだ東京オフィスしか無い小さな会社で、僕も北海道から半年間単身赴任で東京に滞在しました。 その後2014年7月に北海道に戻って来るのと同時に札幌オフィスを立ち上げ、以降は部長->本部長->執行役員->取締役と、幅広い経験を積ませて頂きました。また海外子会社にも役員として関わらせて頂きましたので、何度も海外出張する機会も頂きました。 これもひとえに横田社長の度量の広さと、たくさんサポートして頂いた同僚の皆さん、そして協業させて頂いたパートナーの皆さんのおかげです。長い間お世話になりました。 ありがとうございました！ 退職の経緯について 私事ではありますが、今年の3月で45歳になりました。一般的な定年年齢である60歳まで残りたった15年、65歳だとしても20年しかありません。この短い時間で、僕はどれくらい新しいチャレンジが出来るんだろう、どのくらい新しい知見や経験を得ることが出来るんだろう、と最近ずっと考えていました。もちろん最初から転職を考えていたわけではなく、今いる会社の中で新しいチャレンジをすることも視野に入れていました。 しかし、たまたま良い出会いがあり、退職という選択をするに至りました。快く受け入れてくれた社長と同僚の皆さんには感謝しかありません。本当にありがとうございます。 退職後のクラスメソッドとの関わりについて 社員としてはクラスメソッド株式会社を退職しましたが、2024年7月以降も社外取締役として関与させて頂くこととなりました。合わせて関係子会社の役員も継続致します。今までのような濃密な関係ではないものの、今後もクラスメソッドの事業成長に少しでも貢献出来たらと考えておりますので、皆様よろしくお願い致します。 入社のお知らせ 2024年7月から 株式会社サッポ...
もっと読む

妻と長女とスキーしてきた

今日は妻と長女とスキーに行ってきました。今期3回目、妻と行くのは初めてです。場所は初心者に優しいセントレジャー北広島スキー場。一日券を購入し、10:00～17:00まで滑ってきました。 長女はさすがに慣れてきたので、ボーゲンでの滑走は問題なし。あとは重心移動とか、基礎を何度かやれば大分良くなりそうです。妻は元々運動が苦手なのですが、やっぱりスキーも「とりあえず滑れる」というレベルだったので、基礎練習をしました。 妻が長女を見てくれる時間を作ってくれた為、合計2時間ほど僕に自由時間がもらえましたので、全速力スラロームと、ジャンプを繰り返し練習しました。普通にジャンプするのは問題無いんだけど、スプレッドするとちょっとバランスが危うい。もう若くない証拠か...でも学生時代より恐怖感が薄れて大胆に飛べる気がします。それはそれでマズイのかも知れないけど(笑) 子供に付き添って滑るのも楽しいけれど、やっぱり自分の滑りが出来るのは楽しかったので、今期もう一回くらい、自分のスキーを滑りに行きたいです。
もっと読む

40代の減量戦略 〜体重-14kg、体脂肪率-12%を実現した具体的な方法〜

イメージ
コロナ禍はもちろん辛い時期ではあったけど、生活習慣が良い方へ大きく変わた時期でもあった。具体的には食生活がほぼ自炊になり、酒量が減り、ジム通いを再開し、マラソン大会にも定期的に参加した。そんな中で一念発起し、きちんと減量に取り組んで、体重75kg→61kg（-14kg）、体脂肪率25%→13%（-12%）を実現した。 具体的な体重遷移は以下。2020年12月がMAXの75kg、その後減量とリバウンドを繰り返しつつ70kg前後を推移、2022年後半で一気に落とし、2023年1月30日時点で61kgとなった。 そこで、その具体的な方法をお伝えしたい。減量とは3つの要素の組み合わせだ。 食事 運動 休養 この順番はそのまま優先順位でもある。それぞれについて以下に説明する。 0.プロにアドバイスをもらう 3つの要素と言ったがあれは嘘だ。すまない。もっと重要なことがある。それはプロにアドバイスをもらうことだ。 WHO NOT HOWという本がある。 WHO NOT HOW　「どうやるか」ではなく「誰とやるか」　 posted with AmaQuick at 2023.01.21 ディスカヴァー・トゥエンティワン (2022-05-27T00:00:01Z) ダン・サリヴァン(著), ベンジャミン・ハーディ(著), 森由 美子(翻訳) Amazon.co.jpで詳細を見る 要約すると、起業家や経営者がやるべきことはビジネスを成功させることだけれど、人は皆スーパーマンではなく、得意なことと不得意なことがあるんだから、得意なことは得意な人に一任することが大事なんだよ、という内容の本。 これは減量についても同じ。本を読んだりYoutubeで動画を見て、実際に減量出来たのであればそれはそれで構わないし、そういう人はこのブログ投稿を読まないだろう。 自分で学んで、自分でチャレンジして、それでも減量出来ないのであれば、素直に投資してプロのアドバイスをもらったほうが効率が良い。具体的にはパーソナルトレーナーだ。パーソナルトレーナーは運動生理学やスポーツ栄養学などについて学び実践してきた人...
もっと読む