スキップしてメイン コンテンツに移動

ElasticSearchのCluster機能を試す

ElasticSearchとは、の修正
昨日僕はElasticSearchを「検索エンジン」と書きましたが、正確に言うと「全文検索エンジンであるLuceneを使用した、全文検索システム」です。

Luceneとは
Apache Software Foundationで開発されている全文検索エンジンで、Javaのクロスライブラリとして提供されています。

Solrとは
Apache Software Foundationで、Luceneのサブプロジェクトとして開発されている、全文検索システムです。Luceneを検索エンジンとして使用しており、もちろんJavaで書かれています。

ElasticSearchとSolrの比較
ものすごくざっくり言っちゃうと、ElasticSearchはRESTfulで全てがJSONです、ということ...なのかな
ElasticSearchにあるclustering機能はSolr4で採用されたSolrCloud機能でカバーされたようだし、細かいことは色々あるんだろうけど、簡易的な使い方に絞って言えばRESTfulなのはとても便利だと思います。

本題
今回はElasticSearchのCluster機能を試してみたいと思います。



Cluster設定
/etc/elasticsearch/elasticsearch.ymlで細かい設定が出来ますが、このファイルの冒頭には以下のように記載されています。
Most of the time, these defaults are just fine for running a production cluster.
ということで細かい設定せずにこのままいっちゃいます。

まず、ElasticSearchをセットアップした2台のEC2を用意し、セキュリティグループで9200/tcp、9300/tcpのInboundをオープンします。

初期状態のノードAのクラスタの状態は以下の通りです。
$ curl localhost:9200/_cluster/nodes/_local
{"ok":true,"cluster_name":"elasticsearch","nodes":{"-saA5swFSpWxPlnGV9kGcQ":{"name":"Shocker","transport_address":"inet[/172.31.2.129:9300]","hostname":"ip-172-31-2-129","version":"0.90.5","http_address":"inet[/172.31.2.129:9200]"}}}
$ sudo cat /var/log/elasticsearch.log
[2013-10-29 00:53:20,943][INFO ][node                     ] [Shocker] version[0.90.5], pid[4321], build[c8714e8/2013-09-17T13:09:46Z]
[2013-10-29 00:53:20,944][INFO ][node                     ] [Shocker] initializing ...
[2013-10-29 00:53:20,952][INFO ][plugins                  ] [Shocker] loaded [], sites []
[2013-10-29 00:53:24,308][INFO ][node                     ] [Shocker] initialized
[2013-10-29 00:53:24,309][INFO ][node                     ] [Shocker] starting ...
[2013-10-29 00:53:24,520][INFO ][transport                ] [Shocker] bound_address {inet[/0:0:0:0:0:0:0:0:9300]}, publish_address {inet[/172.31.2.129:9300]}
[2013-10-29 00:53:27,564][INFO ][cluster.service          ] [Shocker] new_master [Shocker][-saA5swFSpWxPlnGV9kGcQ][inet[/172.31.2.129:9300]], reason: zen-disco-join (elected_as_master)
[2013-10-29 00:53:27,614][INFO ][discovery                ] [Shocker] elasticsearch/-saA5swFSpWxPlnGV9kGcQ
[2013-10-29 00:53:27,642][INFO ][http                     ] [Shocker] bound_address {inet[/0:0:0:0:0:0:0:0:9200]}, publish_address {inet[/172.31.2.129:9200]}
[2013-10-29 00:53:27,642][INFO ][node                     ] [Shocker] started
[2013-10-29 00:53:27,668][INFO ][gateway                  ] [Shocker] recovered [0] indices into cluster_state
同じく初期状態のノードBのクラスタの状態は以下の通りです。
$ curl localhost:9200/_cluster/nodes/_local
{"ok":true,"cluster_name":"elasticsearch","nodes":{"sHxbUNgxRieV2z9Pyt9ZVA":{"name":"Mister Machine","transport_address":"inet[/172.31.8.224:9300]","hostname":"ip-172-31-8-224","version":"0.90.5","http_address":"inet[/172.31.8.224:9200]"}}}
$ sudo cat /var/log/elasticsearch.log
[2013-10-29 02:20:24,468][INFO ][node                     ] [Mister Machine] version[0.90.5], pid[1346], build[c8714e8/2013-09-17T13:09:46Z]
[2013-10-29 02:20:24,469][INFO ][node                     ] [Mister Machine] initializing ...
[2013-10-29 02:20:24,476][INFO ][plugins                  ] [Mister Machine] loaded [], sites []
[2013-10-29 02:20:28,881][INFO ][node                     ] [Mister Machine] initialized
[2013-10-29 02:20:28,882][INFO ][node                     ] [Mister Machine] starting ...
[2013-10-29 02:20:29,161][INFO ][transport                ] [Mister Machine] bound_address {inet[/0:0:0:0:0:0:0:0:9300]}, publish_address {inet[/172.31.8.224:9300]}
[2013-10-29 02:20:32,240][INFO ][cluster.service          ] [Mister Machine] new_master [Mister Machine][sHxbUNgxRieV2z9Pyt9ZVA][inet[/172.31.8.224:9300]], reason: zen-disco-join (elected_as_master)
[2013-10-29 02:20:32,292][INFO ][discovery                ] [Mister Machine] elasticsearch/sHxbUNgxRieV2z9Pyt9ZVA
[2013-10-29 02:20:32,321][INFO ][http                     ] [Mister Machine] bound_address {inet[/0:0:0:0:0:0:0:0:9200]}, publish_address {inet[/172.31.8.224:9200]}
[2013-10-29 02:20:32,322][INFO ][node                     ] [Mister Machine] started
[2013-10-29 02:20:32,356][INFO ][gateway                  ] [Mister Machine] recovered [0] indices into cluster_state

同一サブネットで、同一クラスタ名("elasticsearch")なのに、それぞれが別のクラスタのマスタになっています。何故でしょう?

そこでdiscoveryの挙動について調べてみます。elasticsearch.ymlに以下の記載がありました。
# Discovery infrastructure ensures nodes can be found within a cluster
# and master node is elected. Multicast discovery is the default.
Discoveryはデフォルトではマルチキャストを使ってmaster nodeを検索しに行くようです。

しかしAmazon Virtual Private Cloud FAQ
Q: Amazon VPC は、マルチキャストまたはブロードキャストをサポートしますか?
いいえ。
と記載されています...Amazon VPCではmulticast discoveryは使えません。AWS Cloud Plugin for ElasticSearchにも辿り着いたのですが、やはりVPCではうまく動作しませんでした。

それではunicast discoveryを使った構成で構築してみます
ノードA、ノードB共に、elasticsearch.yamlを修正し、multicast discoveryを無効化し、unicast対象のmaster nodeとなるホストを記載します。ここではノードAとノードBのIPアドレスを記載しました。
$ sudo vi /etc/elasticsearch/elasticsearch.yml
discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts: ["172.31.2.129","172.31.8.224"]
ではノードAでサービスを起動してみます。なお[***.log]の***の部分はcluster nameになります。
$ sudo service elasticsearch start
$ cat /var/log/elasticsearch/elasticsearch.log
[2013-10-29 05:11:24,797][INFO ][node                     ] [Stranger] version[0.90.5], pid[21630], build[c8714e8/2013-09-17T13:09:46Z]
[2013-10-29 05:11:24,797][INFO ][node                     ] [Stranger] initializing ...
[2013-10-29 05:11:24,815][INFO ][plugins                  ] [Stranger] loaded [cloud-aws], sites []
[2013-10-29 05:11:28,382][INFO ][node                     ] [Stranger] initialized
[2013-10-29 05:11:28,382][INFO ][node                     ] [Stranger] starting ...
[2013-10-29 05:11:28,566][INFO ][transport                ] [Stranger] bound_address {inet[/0:0:0:0:0:0:0:0:9300]}, publish_address {inet[/172.31.2.129:9300]}
[2013-10-29 05:11:31,615][INFO ][cluster.service          ] [Stranger] new_master [Stranger][LajRpjtATZma4sBlgz96NQ][inet[/172.31.2.129:9300]], reason: zen-disco-join (elected_as_master)
[2013-10-29 05:11:31,631][INFO ][discovery                ] [Stranger] elasticsearch/LajRpjtATZma4sBlgz96NQ
[2013-10-29 05:11:31,661][INFO ][http                     ] [Stranger] bound_address {inet[/0:0:0:0:0:0:0:0:9200]}, publish_address {inet[/172.31.2.129:9200]}
[2013-10-29 05:11:31,661][INFO ][node                     ] [Stranger] started
[2013-10-29 05:11:32,643][INFO ][gateway                  ] [Stranger] recovered [1] indices into cluster_state
ノードAがmasterとして起動しました。

次にノードBのサービスを再起動します。
$ sudo service elasticsearch start
$ cat /var/log/elasticsearch/elasticsearch.log
[2013-10-29 05:11:59,093][INFO ][node                     ] [Smuggler I] version[0.90.5], pid[18229], build[c8714e8/2013-09-17T13:09:46Z]
[2013-10-29 05:11:59,094][INFO ][node                     ] [Smuggler I] initializing ...
[2013-10-29 05:11:59,111][INFO ][plugins                  ] [Smuggler I] loaded [cloud-aws], sites []
[2013-10-29 05:12:02,621][INFO ][node                     ] [Smuggler I] initialized
[2013-10-29 05:12:02,621][INFO ][node                     ] [Smuggler I] starting ...
[2013-10-29 05:12:02,796][INFO ][transport                ] [Smuggler I] bound_address {inet[/0:0:0:0:0:0:0:0:9300]}, publish_address {inet[/172.31.8.224:9300]}
[2013-10-29 05:12:05,886][INFO ][cluster.service          ] [Smuggler I] detected_master [Stranger][LajRpjtATZma4sBlgz96NQ][inet[/172.31.2.129:9300]], added {[Stranger][LajRpjtATZma4sBlgz96NQ][inet[/172.31.2.129:9300]],}, reason: zen-disco-receive(from master [[Stranger][LajRpjtATZma4sBlgz96NQ][inet[/172.31.2.129:9300]]])
[2013-10-29 05:12:05,918][INFO ][discovery                ] [Smuggler I] elasticsearch/S6ZtXTxAS_2c-1q9NuGOQQ
[2013-10-29 05:12:05,929][INFO ][http                     ] [Smuggler I] bound_address {inet[/0:0:0:0:0:0:0:0:9200]}, publish_address {inet[/172.31.8.224:9200]}
[2013-10-29 05:12:05,930][INFO ][node                     ] [Smuggler I] started
ノードA(Stranger)をMasterとして発見しました。

ノードAのログを見ると、ノードB(Smuggler I)がクラスタに追加されたことがわかります。
[2013-10-29 05:12:05,868][INFO ][cluster.service          ] [Stranger] added {[Smuggler I][S6ZtXTxAS_2c-1q9NuGOQQ][inet[/172.31.8.224:9300]],}, reason: zen-disco-receive(join from node[[Smuggler I][S6ZtXTxAS_2c-1q9NuGOQQ][inet[/172.31.8.224:9300]]])
では動作確認です
ノードAでXPUTしてデータを登録します。
$ curl -XPUT http://localhost:9200/cltest/test/1 -d '
>  {
>    "title" : "test",
>    "text"  : "node A"
>  }'
{"ok":true,"_index":"cltest","_type":"test","_id":"1","_version":1}
次にノードBでXGETしてデータを抽出してみます。
$ curl -XGET http://localhost:9200/cltest/test/_search -d '
>  {
>    "query":
>    { "match":{"title":"test"}}
>  }'
{"took":86,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":1,"max_score":0.30685282,"hits":[{"_index":"cltest","_type":"test","_id":"1","_score":0.30685282, "_source" :
 {
   "title" : "test",
   "text"  : "node A"
 }}]}}
ということでちゃんと分散されました。各ノードをELB配下において、master nodeを複数のAZに分散して配置しておけば、非master nodeをScale Outさせることで可用性が確保できそうです。

感想
とにかく日本語での情報が少ない...海外のWebサイトを翻訳しつつ試したので、間違いやもっと良い方法があるのかも知れません。とにかくちゃんとクラスタとして動作したのでとりあえず満足しました。
あとこのElasticSearchが勝手に付けるノード名は一体何なんだろう。スターウォーズかなぁ。




Elasticsearch Server: Create a Fast, Scalable, and Flexible Search Solution With the Emerging Open Source Search Server, ElasticsearchElasticsearch Server: Create a Fast, Scalable, and Flexible Search Solution With the Emerging Open Source Search Server, Elasticsearch
Rafal Kuc,Marek Rogozinski

Packt Publishing
売り上げランキング : 71370

Amazonで詳しく見る by AZlink

コメント

このブログの人気の投稿

リモートワークは仕組みじゃなくて文化です

ここ最近、コロナウイルス関連の報道が数多くあるが、その中でも多くの企業がリモートワークを推奨するという記事やプレスリリースが注目を浴びている。それ自体はもちろん大変望ましい。不要な対面での接点を減らすことで感染リスクを抑えることが出来るし、通勤ラッシュや首都圏への経済集中も抑制出来るからだ。 だがちょっと待ってほしい。リモートワークというのは社員が在宅で働くことだけを指すのではない。 社員が在宅で働いても出社時と同じパフォーマンスが出ること をリモートワークというのだ。だからこの記事のタイトルで「リモートワークは仕組みじゃなくて文化です」と書いた。 弊社がリモートワークを導入したのは2011年の東日本大震災がきっかけだけれど、9年経った今、どのようにリモートワークを運用して、そしてパフォーマンスを維持しているかを共有したいと思う。以下のことが文化として根付けば、その会社のメンバーはリモートワークでもオフィスでも同じようなパフォーマンスが発揮出来るはずだ。 1.勤怠を厳密に管理しない え、だってダルくないすか。管理するの。何時に働き始めて何時に働き終わったかなんて関係ないっしょ。大事なのは働いた結果のアウトプットであり、働いた時間なんか問題じゃない。 2.休憩も厳密に管理しない え、だってダルくないすか。管理するの。何時に休憩し始め(ry 3.工数を厳密に管理しない え、だ(ry 4.目に見えるアウトプットを意識する 当然のことながら、仕事は結果が全てであり、結果が出なければどこで何時間働いたって意味がない。そして結果というのは目に見えなければ意味がない。 だからこそ、アウトプットを出すこと、アウトプットを評価することに徹底的にこだわる。それはドキュメントかもしれないし、お客様やパートナーとコミュニケーションするためのメールかもしれないし、社内の改善活動かもしれないし、メンバーへのフォローかもしれないし、ブログかもしれないし、Slackでの発言かもしれない。 とにかく目に見えないものは周りも認められない。目に見えるアウトプットしか評価されないし、そのために徹底的にアウトプットするんだ、という意識を社内でしっかりと作ることが重要。 5.コミュニケーションコストを意識する どんなに頑張っても、オンラインのコミ

これで完璧!本当に役立つテレワークマナー

コロナ禍によってテレワークを導入する企業が増えた昨今、皆様いかがお過ごしでしょうか。僕は4連休明けでダルかったので有給を取得し妻とデートしてきました。イェーイ。 さて、 弊社 も今年2月以降は全社員完全テレワークに移行しました。弊社は2011年からテレワークを導入し各自が自由に活用していたため、特に大きな問題も無くテレワーク体制に移行したのですが、全社員完全テレワークは初めての状況であり、幾つかの課題が発生しました。特に、その状況下でも新しく入社する社員がいますので、これまで社内で培ってきた暗黙の了解が共有出来ないことは大きな課題でした。 ということで、本記事では、弊社のテレワークマナーについてご紹介したいと思います。皆さんのご参考になれば幸いです。 業務の開始と終了はチャットで宣言する これはオフィス出社時でもテレワークでも変わらないのですが、業務開始時と業務終了時にはSlackで宣言しています。弊社ではこれを開店/閉店と呼んでいます。 気をつけて頂きたいのは、これは 報告ではなく共有である ということです。業務開始と業務終了を共有しておくことで、同僚が相談したり依頼をしたりできる時間を把握出来ます。この共有をしておかないと、業務開始前や業務終了後にMentionがバンバン飛んで来るかもしれません。もちろん飛んできたからって怒るメンバーはいないのですが、お互いちょっとした気遣いが出来るように、自分が働いている時間は共有しておくと良いでしょう。 これは休憩時間も同様です。昼休みにのんびりゲームしているときにスマホがブーブー鳴っていたら気が散るかもしれません。休憩開始と終了をSlackで宣言することでゆっくり休憩することが出来ます。休憩中は Display name の後ろに「休憩中」等と付けておくのも良いでしょう。 マイクとスピーカーはPC内蔵のものを使わない PCの性能は以前と比べて格段に上がっていますが、残念ながらマイクとスピーカーはそうではありません。マイクについては音質は向上しているものの、指向性が無いために周囲の音を拾ってしまいます。そしてPC操作時には、どうしても打鍵音がダイレクトに響いてしまいます。またスピーカーは、まぁ正直全く駄目です。音楽を聞くのにさえ向いていないのに、音声のやり取りなんか出来るわけがない。 マイクとスピーカーは必ず別に用意しましょ

ネガティブなフィードバックをする時に意識したい7つのこと

僕は現在は取締役兼事業本部長という立ち位置でお仕事させて頂いてますが、元々はエンジニアで、かつピープルマネージメントを15年以上しておりました。僕がマネジメントしたメンバーは合算すると200人以上になります。正直に言えば、楽しいことはたくさんあったけれど、もちろん辛いことも多々経験していまして、特にメンバーに対してネガティブなフィードバックをすることは大きな苦しみの一つです。 最近、自分の部署の若いマネージャーから、ネガティブなフィードバックを上手に行うことが難しく課題に感じている、という声があったので、僕の経験をまとめてみました。 ポジティブなフィードバックをセットにして伝える どんな人にとっても、悪い話を聞くことは楽しい経験ではありません。悪い話だけを聞き続けると、不愉快な感情が理性を覆い隠してしまいます。しかしフィードバックとは叱ることではなく、どのように改善していくかを議論するためのきっかけであり、感情的になることはマイナスに働きます。ネガティブなフィードバックを伝える時は、ポジティブなフィードバックをセットに、出来れば先に伝えます。良い点がない人はいません(そんな人は採用していないはずです)から、必ず褒めるポイント、褒めるべきアウトプットがあるはずです。ポジティブなフィードバックをセットすることで、相手の感情のバランスを取ることが出来ます。 ネガティブな内容を責めるのではなく事実として伝える 上述の通り、フィードバックの目的は叱責ではなく改善なので、「なんで出来ないんだ」とか「どうして出来なかったんだ」ではなく、事実としてのネガティブな現状を正確に伝えることが重要です。例えそれが叱責に値する内容であったとしても、どちらか一方が感情的になると必ずもう片方も感情的になるので、冷静に正しく事実のみを伝えます。 期待値を提示する ネガティブなフィードバックには、必ずあるべき姿、こちらが期待していた姿があるはずなので、それを伝えます。その際には一方的に伝えるのではなく、こちらの期待値を根拠と併せて伝え、その上で一緒にその期待値の妥当性を議論します。この期待値のすり合わせをしないと、メンバー本人の振り返りも生まれず、改善のためのアクションも「言われたからやる」だけになってしまいます。 なぜネガティブな結果になったのかをヒアリングする 人それぞれ様々な事情や環境がある