Text::MeCabの辞書をUTF-8化する

smokeymonkeyのフレンドタイムラインからマルコフしちゃう子:@dabesa - smokeymonkey＠ついったー部 - はてなグループ::ついったー部

北海道開発オフで作ったスクリプトを、Twitterアカウント@dabesaとして公開しました。
しかし、形態素解析で使っているText::MeCabがEUCのため、UTF-8のTwitterタイムラインを一度Jcode.pmでEUCにエンコードして、Text::MeCabにかけて、またJcode.pmでUTF-8にエンコードしている状態。色々調べたり、Twitterに投げてるうちに、Text::MeCabをUTF-8で使う方法を発見しました。

debian(sarge) で　mecab ipadic を　utf-8に変換 - 覚書いろいろ

まず、[-*煙猴*-]: Text::MeCabで遊んでみるで環境構築したときに、mecab-ipadicをインストールしていませんでした。apt-lineにnon-freeを記述していなかったため、apt-cacheにも表示されず(汗)、apt-lineにnon-freeを追加後、aptitudeでmecab-ipadicをインストール。

# aptitude install mecab-ipadic

ipadicをUTF8化してreconfigure。

# cd /usr/share/mecab/dic/ipadic/
# vi dicrc
(以下行追加)
charset = utf8
# for i in * ; do mv $i $i.euc; nkf -w $i.euc > $i; done
# dpkg-reconfigure mecab-ipadic


結果のソースはこれ。

このブログの人気の投稿

転職のお知らせ

イメージ
退職のお知らせ 2024年6月末をもって クラスメソッド株式会社 を退職致しました。 本来であればお世話になった皆様に直接ご挨拶すべきところではございましたが、退職後までお伝えすることが出来ず、大変申し訳ございません。 略儀ながらブログでのご挨拶にて失礼致します。 在籍中について 2014年1月に入社してから丸10年半、勤めさせて頂きました。 当初はソリューションアーキテクトとして入社し、AWSに関するコンサルティングや環境構築に従事させて頂きました。当時のクラスメソッド株式会社はまだ東京オフィスしか無い小さな会社で、僕も北海道から半年間単身赴任で東京に滞在しました。 その後2014年7月に北海道に戻って来るのと同時に札幌オフィスを立ち上げ、以降は部長->本部長->執行役員->取締役と、幅広い経験を積ませて頂きました。また海外子会社にも役員として関わらせて頂きましたので、何度も海外出張する機会も頂きました。 これもひとえに横田社長の度量の広さと、たくさんサポートして頂いた同僚の皆さん、そして協業させて頂いたパートナーの皆さんのおかげです。長い間お世話になりました。 ありがとうございました！ 退職の経緯について 私事ではありますが、今年の3月で45歳になりました。一般的な定年年齢である60歳まで残りたった15年、65歳だとしても20年しかありません。この短い時間で、僕はどれくらい新しいチャレンジが出来るんだろう、どのくらい新しい知見や経験を得ることが出来るんだろう、と最近ずっと考えていました。もちろん最初から転職を考えていたわけではなく、今いる会社の中で新しいチャレンジをすることも視野に入れていました。 しかし、たまたま良い出会いがあり、退職という選択をするに至りました。快く受け入れてくれた社長と同僚の皆さんには感謝しかありません。本当にありがとうございます。 退職後のクラスメソッドとの関わりについて 社員としてはクラスメソッド株式会社を退職しましたが、2024年7月以降も社外取締役として関与させて頂くこととなりました。合わせて関係子会社の役員も継続致します。今までのような濃密な関係ではないものの、今後もクラスメソッドの事業成長に少しでも貢献出来たらと考えておりますので、皆様よろしくお願い致します。 入社のお知らせ 2024年7月から 株式会社サッポ
もっと読む

40代の減量戦略 〜体重-14kg、体脂肪率-12%を実現した具体的な方法〜

イメージ
コロナ禍はもちろん辛い時期ではあったけど、生活習慣が良い方へ大きく変わた時期でもあった。具体的には食生活がほぼ自炊になり、酒量が減り、ジム通いを再開し、マラソン大会にも定期的に参加した。そんな中で一念発起し、きちんと減量に取り組んで、体重75kg→61kg（-14kg）、体脂肪率25%→13%（-12%）を実現した。 具体的な体重遷移は以下。2020年12月がMAXの75kg、その後減量とリバウンドを繰り返しつつ70kg前後を推移、2022年後半で一気に落とし、2023年1月30日時点で61kgとなった。 そこで、その具体的な方法をお伝えしたい。減量とは3つの要素の組み合わせだ。 食事 運動 休養 この順番はそのまま優先順位でもある。それぞれについて以下に説明する。 0.プロにアドバイスをもらう 3つの要素と言ったがあれは嘘だ。すまない。もっと重要なことがある。それはプロにアドバイスをもらうことだ。 WHO NOT HOWという本がある。 WHO NOT HOW　「どうやるか」ではなく「誰とやるか」　 posted with AmaQuick at 2023.01.21 ディスカヴァー・トゥエンティワン (2022-05-27T00:00:01Z) ダン・サリヴァン(著), ベンジャミン・ハーディ(著), 森由 美子(翻訳) Amazon.co.jpで詳細を見る 要約すると、起業家や経営者がやるべきことはビジネスを成功させることだけれど、人は皆スーパーマンではなく、得意なことと不得意なことがあるんだから、得意なことは得意な人に一任することが大事なんだよ、という内容の本。 これは減量についても同じ。本を読んだりYoutubeで動画を見て、実際に減量出来たのであればそれはそれで構わないし、そういう人はこのブログ投稿を読まないだろう。 自分で学んで、自分でチャレンジして、それでも減量出来ないのであれば、素直に投資してプロのアドバイスをもらったほうが効率が良い。具体的にはパーソナルトレーナーだ。パーソナルトレーナーは運動生理学やスポーツ栄養学などについて学び実践してきた人
もっと読む

45歳になりました

この1年は激動の年でした。 振り返りと抱負です。 個人 相変わらず筋トレを続けています。 バルクアップと減量を繰り返すことで体型がだいぶ変わってきました。 一度絞り切る経験をしてみたいので、夏に向けて減量頑張ってます。 マラソンについては去年よりペースダウンしようと思っています。 今年は1月勝田全国マラソン、2月の北九州マラソンと走って、次は8月の北海道マラソンまでは軽いものにしか出ない予定。 今年もスキーには行けませんでした。 来年は復活したい。 家族 結婚して家を出た長女と長女の夫とは仲良くしています。 月1回くらいは一緒にご飯食べたり飲みに行ったりしています。 RSR23は僕の弟も入れて4人で参戦。とても楽しかったので今年も4人で参戦予定。 一人暮らししていた長男がまた実家住まいに。 相変わらずチャラチャラしてるけどとりあえず自分の食い扶持くらいは稼いでるのでまぁ良いとしよう。 次男は今年高校3年生に。 このまま卒業まで頑張ってほしい。 犬と猫3匹とウサギ1匹は今日も元気です。 飼育放棄されていた犬を一時的に預かり中。 短期的な預かりで、次の飼い主が1−2ヶ月後には迎えに来る予定。 犬が2匹いる生活はなかなか大変でバタバタしています。 妻とは今まで通り仲良しです。 長女が結婚したことで「子どもたちが全員自立した後の夫婦」が目前に近づいてきたせいか、なんなら過去イチで仲良しです。 いつもありがとう妻様。愛してるよ。 仕事 コロナ禍が収束モードとなるのと同時に出張が激増しました。 毎週東京に出張することになって、コロナ以前と同じように東京に拠点となる部屋を作り、年間2/3は自宅を不在にする状況に。 家庭も大事なので、週半分くらいは自宅にいられるようにしたいところ。 仕事人生のゴールを見据え始めました。 45歳なので、60歳が定年だと残り15年。定年後再雇用があっても20年。残りの仕事人生をどう過ごし、どう終わらせるべきなのか。人生の転機に差し掛かってるのかなと感じています。 子育ての終わりが見え始めたこともあり、自分自身の人生を改めて考える必要が出てきたのだと思います。 諸先輩方の考えや経験をたくさん聞いて悩んでいこうと思っていますので、皆さん、ぜひ僕とお話させてください。 誕生日プレゼント こちらで絶賛受付中 です。 過去のお誕生日 2008年: smokeym
もっと読む