スキップしてメイン コンテンツに移動

ElasticSearchとKuromojiで日本語全文検索してみる

北海道開発オフなどでご一緒させて頂いた方はご存知だと思いますが、元々インフラエンジニアとしてネットワーク機器の設定やサーバの構築ばかりしていた僕がプログラムを書くようになったのは、「形態素解析してマルコフ連鎖するTwitter botを作りたい！」というのがきっかけであり、日本語の分かち書きや全文検索というのは僕にとって興味深くそして好きな技術の一つです。

そこで今回はElasticSearchとそのプラグインであるelasticsearch-analysis-kuromojiについて調べてみました。

ElasticSearchとは
Apache v2ライセンスで公開されているオープンソースソフトウェアの検索エンジンです。特徴として
  • RESTfulなAPIが使える
  • InputもOutputもJSON
  • スキーマフリーなので面倒臭い定義無しにデータを突っ込める
等があります。


Kuromojiとは
atilika社製の、Javaで書かれた日本語形態素解析ソフトウェアで、Apache v2ライセンスで公開されているオープンソースソフトウェアです。形態素解析としてはMeCabがメジャーで古くから使われていますが、Kuromojiは比較的新しいソフトウェアです。

ElasticSearchのセットアップ
環境はAmazon Linuxです。ElasticSearchの動作にはJavaが必要ですが、Amazon Linuxの場合初期導入されています。
$ java -version
java version "1.6.0_24"
OpenJDK Runtime Environment (IcedTea6 1.11.13) (amazon-65.1.11.13.56.amzn1-x86_64)
OpenJDK 64-Bit Server VM (build 20.0-b12, mixed mode)
ElasticSearchの公式サイトから最新バージョンをダウンロードします。なお僕は「サーバにインストールするソフトウェアは保守性の観点から可能な限りパッケージ管理するべき」というポリシーなのでRPMから入れます。
$ wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.noarch.rpm
$ sudo rpm -ivh ./elasticsearch-0.90.5.noarch.rpm
Preparing...                          ################################# [100%]
Updating / installing...
   1:elasticsearch-0.90.5-1           ################################# [100%]
Starting elasticsearch: [  OK  ]

ElasticSearchの動作確認
それでは簡単な動作確認をしてみます。まずはXPUTを使ってテストデータを登録します。
ここではIndexを「mytest」、Typeを「test」としました。Oracle用語で言うと、IndexがSchema、TypeがTableに当たるものになります。
$ curl -XPUT http://localhost:9200/mytest/test/1 -d '
> {
>   "title" : "memo",
>   "text"  : "hogehoge"
> }'
{"ok":true,"_index":"mytest","_type":"test","_id":"1","_version":1}
そしてXGETを使って検索してみます。
$ curl -XGET http://localhost:9200/mytest/test/_search -d '
> {
>   "query":
>   { "match":{"title":"memo"}}
> }'
{"took":85,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":1,"max_score":0.30685282,"hits":[{"_index":"mytest","_type":"test","_id":"1","_score":0.30685282, "_source" :
{
  "title" : "memo",
  "text"  : "hogehoge"
}}]}}
titleが「memo」であるデータが戻り値として返ってきました！

Kuromojiプラグインのセットアップ
ElasticSearchのpluginコマンドを使って、Kuromojiプラグインをインストールします。
$ sudo /usr/share/elasticsearch/bin/plugin  --install elasticsearch/elasticsearch-analysis-kuromoji/1.5.0
-> Installing elasticsearch/elasticsearch-analysis-kuromoji/1.5.0...
Trying http://download.elasticsearch.org/elasticsearch/elasticsearch-analysis-kuromoji/elasticsearch-analysis-kuromoji-1.5.0.zip...
Downloading ................................................................................................................................................................................................................................................................................DONE
Installed elasticsearch/elasticsearch-analysis-kuromoji/1.5.0 into /usr/share/elasticsearch/plugins/analysis-kuromoji
プラグインをインストールした後はElasticSearchの再起動が必要です。
$ sudo service elasticsearch restart
Stopping elasticsearch:                                    [  OK  ]
Starting elasticsearch:                                    [  OK  ]

Kuromojiプラグインの動作確認
それでは簡単な動作確認をしてみましょう。
kurotestというIndexで、kuromojiをアナライザと使うように設定します。
$ curl -XPUT 'http://localhost:9200/kurotest/' -d'
>  {
>      "index":{
>          "analysis":{
>              "tokenizer" : {
>                  "kuromoji" : {
>                     "type" : "kuromoji_tokenizer"
>                  }
>              },
>              "analyzer" : {
>                  "analyzer" : {
>                      "type" : "custom",
>                      "tokenizer" : "kuromoji"
>                  }
>              }
>          }
>      }
>  }'
{"ok":true,"acknowledged":true}
このkurotestにXPOSTで日本語文字列を投げると、分かち書きされて返ってきます！
$ curl -XPOST 'http://localhost:9200/kurotest/_analyze?analyzer=analyzer&petty' -d '梅酒は水'
{
  "tokens" : [ {
    "token" : "梅酒",
    "start_offset" : 0,
    "end_offset" : 2,
    "type" : "word",
    "position" : 1
  }, {
    "token" : "は",
    "start_offset" : 2,
    "end_offset" : 3,
    "type" : "word",
    "position" : 2
  }, {
    "token" : "水",
    "start_offset" : 3,
    "end_offset" : 4,
    "type" : "word",
    "position" : 3
  } ]
}
(余談ですが「梅酒は水」はWebbingStudioさんが北海道に広めた偉大な言葉です)

ElasticSearchとKuromojiプラグインで日本語全文検索
お待たせしました！ここからが本番です。
まずはElasticSearchの設定ファイルを修正し、kuromojiをデフォルトアナライザとして設定します。設定後はElasticSearchの再起動が必要です。
$ sudo vi /etc/elasticsearch/elasticsearch.yml
index.analysis.analyzer.default.type: custom
index.analysis.analyzer.default.tokenizer: kuromoji_tokenizer
$ sudo service elasticsearch restart
それでは二つの日本語文字列をテストデータとして登録してみます。
$ curl -XPUT http://localhost:9200/jptest/test/1 -d '
>   {
>     "title" : "メモ",
>     "text"  : "梅酒は水"
>   }'
{"ok":true,"_index":"jptest","_type":"test","_id":"1","_version":1}
$ curl -XPUT http://localhost:9200/jptest/test/2 -d '
>   {
>     "title" : "メモ2",
>     "text"  : "麦酒は命"
>   }'
{"ok":true,"_index":"jptest","_type":"test","_id":"2","_version":1}
「梅酒」という文字列で検索してみます。
$ curl -XGET http://localhost:9200/jptest/test/_search -d '
>    {
>      "query":
>      { "match":{"text":"梅酒"}}
>    }'
{"took":3,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":1,"max_score":0.15342641,"hits":[{"_index":"jptest","_type":"test","_id":"1","_score":0.15342641, "_source" :
  {
    "title" : "メモ",
    "text"  : "梅酒は水"
  }}]}}
ちゃんと「梅酒は水」がヒットしました！

次に「梅酒は」という文字列で検索してみます。
$ curl -XGET http://localhost:9200/jptest/test/_search -d '
>     {
>        "query":>        { "match":{"text":"梅酒は"}}
>      }'
{"took":5,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":2,"max_score":0.2169777,"hits":[{"_index":"jptest","_type":"test","_id":"1","_score":0.2169777, "_source" :
  {
    "title" : "メモ",
    "text"  : "梅酒は水"
  }},{"_index":"jptest","_type":"test","_id":"2","_score":0.02250402, "_source" :
   {
     "title" : "メモ2",
     "text"  : "麦酒は命"
   }}]}}
「梅酒は水」と「麦酒は命」の2つがヒットしました。ここで注目したいのは赤字にした_scoreです。
「梅酒は水」は「梅酒は」のうち3文字がヒットするためスコアが高く、「麦酒は命」は「酒は」の2文字のみがヒットするためスコアが低くなっています。これで分かち書きによって日本語全文検索が行われていることがわかります。

感想
In/OutがJSONであることから、使い道は色々あるなぁと思います。例えばBlogの記事検索にも使えるし、fluentdと組み合わせてログ検索にも使るし。Kuromojiの分かち書きも試した分には精度良さそうなので、コレを使って何か作ってみたいです。



パーフェクトRuby (PERFECT SERIES 6)パーフェクトRuby (PERFECT SERIES 6)
Rubyサポーターズ,すがわら まさのり,寺田 玄太郎,三村 益隆,近藤 宇智朗,橋立 友宏,関口 亮一

技術評論社
売り上げランキング : 13917

Amazonで詳しく見る by AZlink
ラベル:

このブログの人気の投稿

初めての給与交渉で意識するべき6つのポイント

本記事は、社会人となって1〜3年目くらいの方が、給与アップのためにどのように考え、どのようにアクションするべきなのかを、僕の経験を踏まえてまとめたものです。 背景として、僕が初めて働いたIT企業は、年棒制で給与交渉は各自が行うものであり、年次で成果レポートと希望する年収額を会社に提示し、それが査定されて翌年の年俸が確定する、という制度でした。なので僕自身は若い頃からずっと給与交渉をし続けています。 大前提：給与とは与えられるものではなく勝ち取るものである 給与は勝手に上がるものではありません。自分の努力や成果を誰か（＝会社や上長）が適切に判断し公平に給与を払ってくれる、なんてことはありません。何故なら多くの仕事は定量的なだけでは評価できず、そこに定性的な判断を必要とするからです。そして人間に公平で完璧な意思決定を求めるのはそもそも無理です。人間は感情的で、多くのバイアスを持ち、その時々のコンディションで常に意思決定が歪みます。だからこそ、定性的な評価に関する成果は、被評価者自身が自らアピールしないと評価者に正しく伝わりません（ただしアピールしたところで正しく伝わらないこともあります） もちろん定量的なだけで評価できる仕事は世の中にはあるし、その場合は給与はその成果に比例して決まり、人間の判断は必要としません。でもそうではない、定性的な評価が含まれる仕事をしているのであれば、自ら自分が何をし、どのような成果を出したのかを、きちんと会社に伝え、その分の給与を要求する、というアクションが必要になります。 大前提：給与は会社が儲かっていないと上がらない これもまぁ当たり前ですよね。会社は利益が出てるから社員に投資できる＝社員の給与を上げられるわけで、利益が出てなかったらその個人がどんなに頑張ったところで給与は上がりません。何故なら給与を上げるための原資が無いからです。 だから、利益が無い会社に所属しているのであれば、給与交渉はそもそも無駄です。だって交渉しても上がるわけないし。その場合は、給与アップが必須なのであれば転職を検討するしかないし、給与アップしなくてもメリットがあるのであればその会社に在籍し続ける、という選択が必要になります。 目標と現状のギャップを把握する 具体的な希望も無く「給与上げてください」と言うのは給与交渉ではありません。これだと会社もどのくらい上げてほ
もっと読む

40代の減量戦略 〜体重-14kg、体脂肪率-12%を実現した具体的な方法〜

コロナ禍はもちろん辛い時期ではあったけど、生活習慣が良い方へ大きく変わた時期でもあった。具体的には食生活がほぼ自炊になり、酒量が減り、ジム通いを再開し、マラソン大会にも定期的に参加した。そんな中で一念発起し、きちんと減量に取り組んで、体重75kg→61kg（-14kg）、体脂肪率25%→13%（-12%）を実現した。 具体的な体重遷移は以下。2020年12月がMAXの75kg、その後減量とリバウンドを繰り返しつつ70kg前後を推移、2022年後半で一気に落とし、2023年1月30日時点で61kgとなった。 そこで、その具体的な方法をお伝えしたい。減量とは3つの要素の組み合わせだ。 食事 運動 休養 この順番はそのまま優先順位でもある。それぞれについて以下に説明する。 0.プロにアドバイスをもらう 3つの要素と言ったがあれは嘘だ。すまない。もっと重要なことがある。それはプロにアドバイスをもらうことだ。 WHO NOT HOWという本がある。 WHO NOT HOW　「どうやるか」ではなく「誰とやるか」　 posted with AmaQuick at 2023.01.21 ディスカヴァー・トゥエンティワン (2022-05-27T00:00:01Z) ダン・サリヴァン(著), ベンジャミン・ハーディ(著), 森由 美子(翻訳) Amazon.co.jpで詳細を見る 要約すると、起業家や経営者がやるべきことはビジネスを成功させることだけれど、人は皆スーパーマンではなく、得意なことと不得意なことがあるんだから、得意なことは得意な人に一任することが大事なんだよ、という内容の本。 これは減量についても同じ。本を読んだりYoutubeで動画を見て、実際に減量出来たのであればそれはそれで構わないし、そういう人はこのブログ投稿を読まないだろう。 自分で学んで、自分でチャレンジして、それでも減量出来ないのであれば、素直に投資してプロのアドバイスをもらったほうが効率が良い。具体的にはパーソナルトレーナーだ。パーソナルトレーナーは運動生理学やスポーツ栄養学などについて学び実践してきた人
もっと読む

45歳になりました

この1年は激動の年でした。 振り返りと抱負です。 個人 相変わらず筋トレを続けています。 バルクアップと減量を繰り返すことで体型がだいぶ変わってきました。 一度絞り切る経験をしてみたいので、夏に向けて減量頑張ってます。 マラソンについては去年よりペースダウンしようと思っています。 今年は1月勝田全国マラソン、2月の北九州マラソンと走って、次は8月の北海道マラソンまでは軽いものにしか出ない予定。 今年もスキーには行けませんでした。 来年は復活したい。 家族 結婚して家を出た長女と長女の夫とは仲良くしています。 月1回くらいは一緒にご飯食べたり飲みに行ったりしています。 RSR23は僕の弟も入れて4人で参戦。とても楽しかったので今年も4人で参戦予定。 一人暮らししていた長男がまた実家住まいに。 相変わらずチャラチャラしてるけどとりあえず自分の食い扶持くらいは稼いでるのでまぁ良いとしよう。 次男は今年高校3年生に。 このまま卒業まで頑張ってほしい。 犬と猫3匹とウサギ1匹は今日も元気です。 飼育放棄されていた犬を一時的に預かり中。 短期的な預かりで、次の飼い主が1−2ヶ月後には迎えに来る予定。 犬が2匹いる生活はなかなか大変でバタバタしています。 妻とは今まで通り仲良しです。 長女が結婚したことで「子どもたちが全員自立した後の夫婦」が目前に近づいてきたせいか、なんなら過去イチで仲良しです。 いつもありがとう妻様。愛してるよ。 仕事 コロナ禍が収束モードとなるのと同時に出張が激増しました。 毎週東京に出張することになって、コロナ以前と同じように東京に拠点となる部屋を作り、年間2/3は自宅を不在にする状況に。 家庭も大事なので、週半分くらいは自宅にいられるようにしたいところ。 仕事人生のゴールを見据え始めました。 45歳なので、60歳が定年だと残り15年。定年後再雇用があっても20年。残りの仕事人生をどう過ごし、どう終わらせるべきなのか。人生の転機に差し掛かってるのかなと感じています。 子育ての終わりが見え始めたこともあり、自分自身の人生を改めて考える必要が出てきたのだと思います。 諸先輩方の考えや経験をたくさん聞いて悩んでいこうと思っていますので、皆さん、ぜひ僕とお話させてください。 誕生日プレゼント こちらで絶賛受付中 です。 過去のお誕生日 2008年: smokeym
もっと読む