スキップしてメイン コンテンツに移動

ElasticSearch + fluentdでログ分散管理

前々回、前回と、ElasticSearchについて勉強をしました。繰り返しになりますが、ElasticSearchの特徴は「RESTfulで全てがJSON」です。そうするとJSONデータであれば何でも食わせて全文検索が出来るわけですね。またCluster機能によって保持データを分散させることで可用性も確保出来ます。

高い可用性が必要で、全文検索したいもの...ログだ！

そこでfluentdです
fluentdはイベントログ収集のためのオープンソースソフトウェアで、インプットされたイベントログをJSONに変換してアウトプットします。「Log everything in JSON」です。開発元であるTreasure Data, Inc.の古橋氏のBlogに詳細があります。



構成
可用性確保ということで、このような構成にしてみました。
なお、fluentd自体にHA設定があり、アウトプット先のstandby serverを設定することが可能ですが、今回はLogサーバの増減にも対応できるように、Internal ELBをかましてみました。

やってみる
準備
Web1、Web2ではApacheをインストールしておきます。
$ sudo yum -y install httpd
Log1、Log2ではElasticSearchをインストールし、Clusterの設定をしておきます。
なお、ElasticSearchのrpmファイルは
$ wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.noarch.rpm
で取得しますが、Log1とLog2はPrivate Subnetに所属しているためwgetで外部接続は出来ません。NATインスタンスを立てるなりWebサーバでwgetしてからscpでコピーするなりの手段が必要です。

ElasticSearchのインストールとCluster設定は以下の通り。
$ sudo rpm -ivh ./elasticsearch-0.90.5.noarch.rpm
$ sudo vi /etc/elasticsearch/elasticsearch.yml
discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts: ["Log1のIPアドレス","Log2のIPアドレス"]
$ sudo service elasticsearch restart
Internal ELBでは、Log1とLog2に9200/tcpで振り分けを行います。


fluentdのセットアップ
fluentdのセットアップはWeb1、Web2で行います。
まずはfluentd:Installing fluentd Using rpm Packageに書いてる通りにcurlからshを実行します。インストールされるパッケージの名前は「td-agent」です。
$ curl -L http://toolbelt.treasure-data.com/sh/install-redhat.sh | sh
試験的にtd-agentを起動してみます。
$ sudo /etc/init.d/td-agent start
Starting td-agent:                                         [  OK  ]
$ sudo /etc/init.d/td-agent status
td-agent (pid  1605) is running...
試しにサンプルメッセージを送ってみます。
$ curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test
ログを確認すると...ちゃんとPOSTされていることがわかります。
$ cat /var/log/td-agent/td-agent.log
2013-10-30 05:43:15 +0000 debug.test: {"json":"message"}

fluentdからElasticSearchへの連携
Fluent::Plugin::Elasticsearchという素晴らしいfluentd Pluginがあります！

td-agentに付属しているfluent-gemと言うコマンドを使ってセットアップします。
$ sudo /usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-elasticsearch
Fetching: fluent-plugin-elasticsearch-0.1.4.gem (100%)
Successfully installed fluent-plugin-elasticsearch-0.1.4
1 gem installed
Installing ri documentation for fluent-plugin-elasticsearch-0.1.4...
Installing RDoc documentation for fluent-plugin-elasticsearch-0.1.4...
td-agent.confを編集し、Apacheのaccess_logをLogサーバに送信するよう設定します。
td-agentの詳細は公式サイト参照。
今回は公式のRecipe(Getting Data From Apache Logs Into Elasticsearch Using Fluentd)を参考にしました。hostにInternal ELBのFQDNを記述しています。
$ sudo vi /etc/td-agent/td-agent.conf
<source>
  type tail
  path /var/log/httpd/access_log
  pos_file /var/log/td-agent/httpd-access.log.pos
  tag apache.access
  format apache2
</source>
<match apache.*>
  type elasticsearch
  host internal-inelb-1234567890.us-west-2.elb.amazonaws.com
  port 9200
  index_name fluentd
  type_name httpd
</match>
apacheのログフォルダはUser:root、Group:rootのパーミッション:700になっているため、ユーザーtd-agentの権限ではログファイルが参照できません。このためログフォルダのパーミッションを変更します。
$ sudo chmod 755 /var/log/httpd
設定後、サービスを再起動します。
$ sudo service td-agent restart
動作確認
Web1、Web2にcurlでアクセスします。
$ curl http://Web1のIPアドレス/
$ curl http://Web2のIPアドレス/
Log1(ElasticSearch ClusterのMaster)の/var/log/elasticsearch/elasticsearch.logを確認すると、index,type(mapping)がcreateされたことが分かります。
[2013-10-30 06:49:32,659][INFO ][cluster.metadata         ] [Gabriel, Devil Hunter] [fluentd] creating index, cause [auto(bulk api)], shards [5]/[1], mappings []
[2013-10-30 06:49:33,602][INFO ][cluster.metadata         ] [Gabriel, Devil Hunter] [fluentd] update_mapping [httpd] (dynamic)
それでは、Log1のElasticSearchのデータを確認してみます。
$ curl -XGET "http://Log1のIPアドレス:9200/fluentd/httpd/_search" -d '
>   {
>     "query":
>     { "wildcard":{"host":"*"}}
>   }'
{"took":8,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":4,"max_score":1.0,"hits":[{"_index":"fluentd","_type":"httpd","_id":"g-qhXOYISzitEpTFw8S0xQ","_score":1.0, "_source" : {"host":"172.31.1.223","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"a7BETJlpTS2IcRRfJJw-xA","_score":1.0, "_source" : {"host":"172.31.44.7","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"-P9nSIahRQCoPfkHVvldUQ","_score":1.0, "_source" : {"host":"172.31.44.7","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"o8nvlG5aS0i3y6HdXnbG0Q","_score":1.0, "_source" : {"host":"172.31.1.223","user":null,"method":"GET","path":"/hoge","code":404,"size":280,"referer":null,"agent":"curl/7.29.0"}}]}}
ちゃんとaccess_logが登録されています。

次にLog2のElasticSearchのデータを確認します。
$ curl -XGET "http://Log2のIPアドレス:9200/fluentd/httpd/_search" -d '
>   {
>     "query":
>     { "wildcard":{"host":"*"}}
>   }'
{"took":10,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":4,"max_score":1.0,"hits":[{"_index":"fluentd","_type":"httpd","_id":"g-qhXOYISzitEpTFw8S0xQ","_score":1.0, "_source" : {"host":"172.31.1.223","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"a7BETJlpTS2IcRRfJJw-xA","_score":1.0, "_source" : {"host":"172.31.44.7","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"-P9nSIahRQCoPfkHVvldUQ","_score":1.0, "_source" : {"host":"172.31.44.7","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"o8nvlG5aS0i3y6HdXnbG0Q","_score":1.0, "_source" : {"host":"172.31.1.223","user":null,"method":"GET","path":"/hoge","code":404,"size":280,"referer":null,"agent":"curl/7.29.0"}}]}}
こちらもLog1と同等にaccess_logが登録されています。ちゃんとログが分散されて保存されていますね！

感想
これが出来ると、今度は可読性の高いログ参照ソフトウェアが欲しくなります。ということで、次はElasticSearch-Headを調べたいと思います！





[24時間365日] サーバ/インフラを支える技術 ‾スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ)[24時間365日] サーバ/インフラを支える技術 ‾スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ)
安井 真伸,横川 和哉,ひろせ まさあき,伊藤 直也,田中 慎司,勝見 祐己

技術評論社
売り上げランキング : 10377

Amazonで詳しく見る by AZlink
ラベル:

このブログの人気の投稿

努力できること自体が才能なので、努力しただけで褒められるべき

発明王トーマス・エジソンの名言としてよく知られる「天才とは1％のひらめきと99％の努力である」という言葉があります。実際の意図は「1%のひらめきがなければ、99%の努力は無駄になる」であったとも 言われています が、まぁどちらにせよ、ひらめきだけでは成功することはできず、そこには必ず努力も必要となります。 漫画「はじめの一歩」において主人公の師匠である鴨川会長は「努力した者が全て報われるとは限らん。しかし、成功した者は皆すべからく努力しておる」と言っていました。ここにも、成功において努力は必要不可欠であるとの強いメッセージがあります。 しかし、実際には誰もが努力できるわけではありません。 努力できること自体が才能 なのだと思います。 努力をしないことが問題だと言うつもりはありませんし、努力をしないという選択肢を選ぶことは個人の自由だと思います。必ずしも成功が万人の幸せなわけではないし、成功しなくても得られる生活によって満足する人だっています。 僕が言いたいのは「そもそも努力できない人がいる」という事実です。こういう方は選択の余地が無く、何かにおいて1位になったり、一流になったり、勝利したり、成功したりすることは難しくなります。それらには必ず努力が必要になるからであり、そして努力ができない、努力をする才能が無いからです。 これには実験の裏付けがあります。詳しくは10年前の WIREDの記事 に書かれていますが、ざっくり言うと、脳内の一部（左線条体と前頭前皮質腹内側部）におけるドーパミン作動性活性が高いと努力ができる、違う一部（ 島皮質）の ドーパミン作動性活性が高いと努力できない、という実験結果があります。そもそも脳の作りや働きによって努力ができる人とできない人がいる、ということです。 繰り返しになりますが、僕は努力しない人が悪いとも思っていないし、責めるつもりもありません。僕が言いたいのは以下の2点です。 （1）努力できること自体が才能であり、その才能が無い人はそもそも努力ができないので 、努力できないことを責めてはいけない。 それは本人の特性であり個性だから。 （2）努力できること自体がすごいことなので、努力した結果が成功に結びつかなかったとしても、責めてはいけない。 努力しただけで褒められてよい。 人にはそれぞれ適材適所があるので、めちゃくちゃ努力する人は努力が
もっと読む

自走する組織に必要なのはルールではなくガイドライン

ということをいつも心がけている、という話です。 僕が組織のマネジメント職を20年ほどやらせてもらっている上で、いつも意識しているのは権限移譲とセルフマネジメントです。この辺の話は過去のブログにも書きました。 管理職のためのエンジニア組織構築マニュアル 管理職のための役職引退マニュアル 現場に口を出さないマネージャーの作り方 つまり「権限と裁量を同時に移譲し、責任感を持ってプロアクティブに仕事をしてもらいながらも、メンバーの良いところを更に引き出して高いパフォーマンスを出してもらう」ことこそが、マネジメント職のやるべきことだと思っています。 そのために僕がいつも権限移譲の際に伝えるのは、ルールではなくガイドラインです。ルールは規則や規定といった決まりごとなので「やること」「やってはいけないこと」が書かれたものです。ガイドラインは大まかな指針なので「方向性」「やったほうがいいこと」「やらないほうがいいこと」が書かれたものです。 ルールを提示した場合、そのとおりにすれば過去の実績からある程度の成功は見込めるものの、状況に応じた柔軟な判断が出来ませんし、メンバーの考えや意見が行動に反映されません。メンバーはルール通りの行動しか出来ず、結果としてルールを作成した人以上の成果は出せなくなってしまいます。 ガイドラインの場合、会社として望ましいと考える方向性だけが書かれているので、状況に応じた柔軟な判断も出来ますし、メンバーが考えるより良いやり方や行動を取り入れることが出来ます。ガイドラインを作成した人以上の良いアイデアがあればガイドラインをアップデートすることも出来ます。 これは権限移譲だけでなく、育成においても同様だと僕は考えます。1から10まで決まりきったカリキュラムをやらせることも時には（あるいは人によっては）必要だけれど、本当に価値のある育成は、メンバーに目指してほしい姿を伝え、現在とのギャップを一緒に認識し、そのギャップを埋めるための多種多様な方法を伝えて、その上で本人が取捨選択して自分自身で学習していく。企業や上長はそのサポートを行う。というのが、最も成長出来る育成方法だと思います。 学習する組織 ― システム思考で未来を創造する posted with AmaQuick at 2
もっと読む

「許可を得るな、謝罪せよ」が意図していること

 弊社ではセルフマネジメントとアウトプットファーストを行動指針として掲げていますが、セルフマネジメントを象徴する言葉としてよく使われるのが 「許可を得るな、謝罪せよ」 です。 細かい話は 以前ブログにした のでそちらを読んで頂くとして、この言葉が意味するのは「アクションするのにいちいち許可を得る必要はない。許可を取る時間が無駄。やっていいですかじゃなくてやりましたと言えばいい。その結果間違っていれば謝れば良いだけ」です。 何故この方針を取るのか、この方針によってどのような結果を期待しているのか、を改めて整理したいと思います。 アクションのスピードを上げたい これは上述した意味の通りで、何らかの施策や企画があるときに、上長の許可を取るために資料を作ったり、打ち合わせしたり、下調べをしたり、という時間が無駄だからです。 この考え方の前提として「小さな失敗を早くたくさんする」というのがあります。どんな施策も企画も、正解なんて誰にもわからないし、やり方次第で変わるものです。アイデアの時点であーだこーだ言うより、実際に手を動かしてやってみて、その結果から継続の判断を行うことで、リスクを小さく、コストも小さく、たくさんアクションすることが出来ます。 モチベーションを持って取り組んでもらいたい 何でもそうですけど、人に言われたことをそのままやるより、自分で考えたことを自分のやり方でやるほうが、面白いです。僕が仕事をする上で、または僕がピープルマネジメントする上で、一番重要視しているのは、面白いかどうか、です。 担当者がモチベーションのないままやって成功することなんて（ほとんど）ありません。その施策や企画の実施に一番モチベーションがあるのはそれを考えた人なので、その人に主導してもらうのが一番成功率が高いです。 主体性を持って取り組んでもらいたい モチベーションと同様に、担当者が主体性のないままやって成功することなんて（ほとんど）ありません。その施策/企画を自分ごととして捉え、だからこそ知恵を絞って、全力を発揮する、つまり主体性を持って取り組むことが、一番成功率が高いです。そしてもちろん、一番主体性を持てるのはそれを考えた人です。 なお、主体性と責任は違います。前述の通り「小さな失敗を早くたくさんする」ためには、失敗に対して責任を追求するのではなく、結果と知見を追求する、という文化が
もっと読む