スキップしてメイン コンテンツに移動

ElasticSearch + fluentdでログ分散管理

前々回前回と、ElasticSearchについて勉強をしました。繰り返しになりますが、ElasticSearchの特徴は「RESTfulで全てがJSON」です。そうするとJSONデータであれば何でも食わせて全文検索が出来るわけですね。またCluster機能によって保持データを分散させることで可用性も確保出来ます。

高い可用性が必要で、全文検索したいもの...ログだ!

そこでfluentdです
fluentdはイベントログ収集のためのオープンソースソフトウェアで、インプットされたイベントログをJSONに変換してアウトプットします。「Log everything in JSON」です。開発元であるTreasure Data, Inc.の古橋氏のBlogに詳細があります。



構成
可用性確保ということで、このような構成にしてみました。
なお、fluentd自体にHA設定があり、アウトプット先のstandby serverを設定することが可能ですが、今回はLogサーバの増減にも対応できるように、Internal ELBをかましてみました。

やってみる
準備
Web1、Web2ではApacheをインストールしておきます。
$ sudo yum -y install httpd
Log1、Log2ではElasticSearchをインストールし、Clusterの設定をしておきます。
なお、ElasticSearchのrpmファイルは
$ wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.noarch.rpm
で取得しますが、Log1とLog2はPrivate Subnetに所属しているためwgetで外部接続は出来ません。NATインスタンスを立てるなりWebサーバでwgetしてからscpでコピーするなりの手段が必要です。

ElasticSearchのインストールとCluster設定は以下の通り。
$ sudo rpm -ivh ./elasticsearch-0.90.5.noarch.rpm
$ sudo vi /etc/elasticsearch/elasticsearch.yml
discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts: ["Log1のIPアドレス","Log2のIPアドレス"]
$ sudo service elasticsearch restart
Internal ELBでは、Log1とLog2に9200/tcpで振り分けを行います。


fluentdのセットアップ
fluentdのセットアップはWeb1、Web2で行います。
まずはfluentd:Installing fluentd Using rpm Packageに書いてる通りにcurlからshを実行します。インストールされるパッケージの名前は「td-agent」です。
$ curl -L http://toolbelt.treasure-data.com/sh/install-redhat.sh | sh
試験的にtd-agentを起動してみます。
$ sudo /etc/init.d/td-agent start
Starting td-agent:                                         [  OK  ]
$ sudo /etc/init.d/td-agent status
td-agent (pid  1605) is running...
試しにサンプルメッセージを送ってみます。
$ curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test
ログを確認すると...ちゃんとPOSTされていることがわかります。
$ cat /var/log/td-agent/td-agent.log
2013-10-30 05:43:15 +0000 debug.test: {"json":"message"}

fluentdからElasticSearchへの連携
Fluent::Plugin::Elasticsearchという素晴らしいfluentd Pluginがあります!

td-agentに付属しているfluent-gemと言うコマンドを使ってセットアップします。
$ sudo /usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-elasticsearch
Fetching: fluent-plugin-elasticsearch-0.1.4.gem (100%)
Successfully installed fluent-plugin-elasticsearch-0.1.4
1 gem installed
Installing ri documentation for fluent-plugin-elasticsearch-0.1.4...
Installing RDoc documentation for fluent-plugin-elasticsearch-0.1.4...
td-agent.confを編集し、Apacheのaccess_logをLogサーバに送信するよう設定します。
td-agentの詳細は公式サイト参照
今回は公式のRecipe(Getting Data From Apache Logs Into Elasticsearch Using Fluentd)を参考にしました。hostにInternal ELBのFQDNを記述しています。
$ sudo vi /etc/td-agent/td-agent.conf
<source>
  type tail
  path /var/log/httpd/access_log
  pos_file /var/log/td-agent/httpd-access.log.pos
  tag apache.access
  format apache2
</source>
<match apache.*>
  type elasticsearch
  host internal-inelb-1234567890.us-west-2.elb.amazonaws.com
  port 9200
  index_name fluentd
  type_name httpd
</match>
apacheのログフォルダはUser:root、Group:rootのパーミッション:700になっているため、ユーザーtd-agentの権限ではログファイルが参照できません。このためログフォルダのパーミッションを変更します。
$ sudo chmod 755 /var/log/httpd
設定後、サービスを再起動します。
$ sudo service td-agent restart
動作確認
Web1、Web2にcurlでアクセスします。
$ curl http://Web1のIPアドレス/
$ curl http://Web2のIPアドレス/
Log1(ElasticSearch ClusterのMaster)の/var/log/elasticsearch/elasticsearch.logを確認すると、index,type(mapping)がcreateされたことが分かります。
[2013-10-30 06:49:32,659][INFO ][cluster.metadata         ] [Gabriel, Devil Hunter] [fluentd] creating index, cause [auto(bulk api)], shards [5]/[1], mappings []
[2013-10-30 06:49:33,602][INFO ][cluster.metadata         ] [Gabriel, Devil Hunter] [fluentd] update_mapping [httpd] (dynamic)
それでは、Log1のElasticSearchのデータを確認してみます。
$ curl -XGET "http://Log1のIPアドレス:9200/fluentd/httpd/_search" -d '
>   {
>     "query":
>     { "wildcard":{"host":"*"}}
>   }'
{"took":8,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":4,"max_score":1.0,"hits":[{"_index":"fluentd","_type":"httpd","_id":"g-qhXOYISzitEpTFw8S0xQ","_score":1.0, "_source" : {"host":"172.31.1.223","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"a7BETJlpTS2IcRRfJJw-xA","_score":1.0, "_source" : {"host":"172.31.44.7","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"-P9nSIahRQCoPfkHVvldUQ","_score":1.0, "_source" : {"host":"172.31.44.7","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"o8nvlG5aS0i3y6HdXnbG0Q","_score":1.0, "_source" : {"host":"172.31.1.223","user":null,"method":"GET","path":"/hoge","code":404,"size":280,"referer":null,"agent":"curl/7.29.0"}}]}}
ちゃんとaccess_logが登録されています。

次にLog2のElasticSearchのデータを確認します。
$ curl -XGET "http://Log2のIPアドレス:9200/fluentd/httpd/_search" -d '
>   {
>     "query":
>     { "wildcard":{"host":"*"}}
>   }'
{"took":10,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":4,"max_score":1.0,"hits":[{"_index":"fluentd","_type":"httpd","_id":"g-qhXOYISzitEpTFw8S0xQ","_score":1.0, "_source" : {"host":"172.31.1.223","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"a7BETJlpTS2IcRRfJJw-xA","_score":1.0, "_source" : {"host":"172.31.44.7","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"-P9nSIahRQCoPfkHVvldUQ","_score":1.0, "_source" : {"host":"172.31.44.7","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"curl/7.29.0"}},{"_index":"fluentd","_type":"httpd","_id":"o8nvlG5aS0i3y6HdXnbG0Q","_score":1.0, "_source" : {"host":"172.31.1.223","user":null,"method":"GET","path":"/hoge","code":404,"size":280,"referer":null,"agent":"curl/7.29.0"}}]}}
こちらもLog1と同等にaccess_logが登録されています。ちゃんとログが分散されて保存されていますね!

感想
これが出来ると、今度は可読性の高いログ参照ソフトウェアが欲しくなります。ということで、次はElasticSearch-Headを調べたいと思います!





[24時間365日] サーバ/インフラを支える技術 ‾スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ)[24時間365日] サーバ/インフラを支える技術 ‾スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ)
安井 真伸,横川 和哉,ひろせ まさあき,伊藤 直也,田中 慎司,勝見 祐己

技術評論社
売り上げランキング : 10377

Amazonで詳しく見る by AZlink

コメント

このブログの人気の投稿

リモートワークは仕組みじゃなくて文化です

ここ最近、コロナウイルス関連の報道が数多くあるが、その中でも多くの企業がリモートワークを推奨するという記事やプレスリリースが注目を浴びている。それ自体はもちろん大変望ましい。不要な対面での接点を減らすことで感染リスクを抑えることが出来るし、通勤ラッシュや首都圏への経済集中も抑制出来るからだ。 だがちょっと待ってほしい。リモートワークというのは社員が在宅で働くことだけを指すのではない。 社員が在宅で働いても出社時と同じパフォーマンスが出ること をリモートワークというのだ。だからこの記事のタイトルで「リモートワークは仕組みじゃなくて文化です」と書いた。 弊社がリモートワークを導入したのは2011年の東日本大震災がきっかけだけれど、9年経った今、どのようにリモートワークを運用して、そしてパフォーマンスを維持しているかを共有したいと思う。以下のことが文化として根付けば、その会社のメンバーはリモートワークでもオフィスでも同じようなパフォーマンスが発揮出来るはずだ。 1.勤怠を厳密に管理しない え、だってダルくないすか。管理するの。何時に働き始めて何時に働き終わったかなんて関係ないっしょ。大事なのは働いた結果のアウトプットであり、働いた時間なんか問題じゃない。 2.休憩も厳密に管理しない え、だってダルくないすか。管理するの。何時に休憩し始め(ry 3.工数を厳密に管理しない え、だ(ry 4.目に見えるアウトプットを意識する 当然のことながら、仕事は結果が全てであり、結果が出なければどこで何時間働いたって意味がない。そして結果というのは目に見えなければ意味がない。 だからこそ、アウトプットを出すこと、アウトプットを評価することに徹底的にこだわる。それはドキュメントかもしれないし、お客様やパートナーとコミュニケーションするためのメールかもしれないし、社内の改善活動かもしれないし、メンバーへのフォローかもしれないし、ブログかもしれないし、Slackでの発言かもしれない。 とにかく目に見えないものは周りも認められない。目に見えるアウトプットしか評価されないし、そのために徹底的にアウトプットするんだ、という意識を社内でしっかりと作ることが重要。 5.コミュニケーションコストを意識する どんなに頑張っても、オンラインのコミ

これで完璧!本当に役立つテレワークマナー

コロナ禍によってテレワークを導入する企業が増えた昨今、皆様いかがお過ごしでしょうか。僕は4連休明けでダルかったので有給を取得し妻とデートしてきました。イェーイ。 さて、 弊社 も今年2月以降は全社員完全テレワークに移行しました。弊社は2011年からテレワークを導入し各自が自由に活用していたため、特に大きな問題も無くテレワーク体制に移行したのですが、全社員完全テレワークは初めての状況であり、幾つかの課題が発生しました。特に、その状況下でも新しく入社する社員がいますので、これまで社内で培ってきた暗黙の了解が共有出来ないことは大きな課題でした。 ということで、本記事では、弊社のテレワークマナーについてご紹介したいと思います。皆さんのご参考になれば幸いです。 業務の開始と終了はチャットで宣言する これはオフィス出社時でもテレワークでも変わらないのですが、業務開始時と業務終了時にはSlackで宣言しています。弊社ではこれを開店/閉店と呼んでいます。 気をつけて頂きたいのは、これは 報告ではなく共有である ということです。業務開始と業務終了を共有しておくことで、同僚が相談したり依頼をしたりできる時間を把握出来ます。この共有をしておかないと、業務開始前や業務終了後にMentionがバンバン飛んで来るかもしれません。もちろん飛んできたからって怒るメンバーはいないのですが、お互いちょっとした気遣いが出来るように、自分が働いている時間は共有しておくと良いでしょう。 これは休憩時間も同様です。昼休みにのんびりゲームしているときにスマホがブーブー鳴っていたら気が散るかもしれません。休憩開始と終了をSlackで宣言することでゆっくり休憩することが出来ます。休憩中は Display name の後ろに「休憩中」等と付けておくのも良いでしょう。 マイクとスピーカーはPC内蔵のものを使わない PCの性能は以前と比べて格段に上がっていますが、残念ながらマイクとスピーカーはそうではありません。マイクについては音質は向上しているものの、指向性が無いために周囲の音を拾ってしまいます。そしてPC操作時には、どうしても打鍵音がダイレクトに響いてしまいます。またスピーカーは、まぁ正直全く駄目です。音楽を聞くのにさえ向いていないのに、音声のやり取りなんか出来るわけがない。 マイクとスピーカーは必ず別に用意しましょ

ネガティブなフィードバックをする時に意識したい7つのこと

僕は現在は取締役兼事業本部長という立ち位置でお仕事させて頂いてますが、元々はエンジニアで、かつピープルマネージメントを15年以上しておりました。僕がマネジメントしたメンバーは合算すると200人以上になります。正直に言えば、楽しいことはたくさんあったけれど、もちろん辛いことも多々経験していまして、特にメンバーに対してネガティブなフィードバックをすることは大きな苦しみの一つです。 最近、自分の部署の若いマネージャーから、ネガティブなフィードバックを上手に行うことが難しく課題に感じている、という声があったので、僕の経験をまとめてみました。 ポジティブなフィードバックをセットにして伝える どんな人にとっても、悪い話を聞くことは楽しい経験ではありません。悪い話だけを聞き続けると、不愉快な感情が理性を覆い隠してしまいます。しかしフィードバックとは叱ることではなく、どのように改善していくかを議論するためのきっかけであり、感情的になることはマイナスに働きます。ネガティブなフィードバックを伝える時は、ポジティブなフィードバックをセットに、出来れば先に伝えます。良い点がない人はいません(そんな人は採用していないはずです)から、必ず褒めるポイント、褒めるべきアウトプットがあるはずです。ポジティブなフィードバックをセットすることで、相手の感情のバランスを取ることが出来ます。 ネガティブな内容を責めるのではなく事実として伝える 上述の通り、フィードバックの目的は叱責ではなく改善なので、「なんで出来ないんだ」とか「どうして出来なかったんだ」ではなく、事実としてのネガティブな現状を正確に伝えることが重要です。例えそれが叱責に値する内容であったとしても、どちらか一方が感情的になると必ずもう片方も感情的になるので、冷静に正しく事実のみを伝えます。 期待値を提示する ネガティブなフィードバックには、必ずあるべき姿、こちらが期待していた姿があるはずなので、それを伝えます。その際には一方的に伝えるのではなく、こちらの期待値を根拠と併せて伝え、その上で一緒にその期待値の妥当性を議論します。この期待値のすり合わせをしないと、メンバー本人の振り返りも生まれず、改善のためのアクションも「言われたからやる」だけになってしまいます。 なぜネガティブな結果になったのかをヒアリングする 人それぞれ様々な事情や環境がある