2015/04/23

herokuにhubotをdeployしてslackと連携させた

参考リンクのメモ。
http://d.hatena.ne.jp/itog/20150226/1424939686
http://developer.nulab-inc.com/ja/docs/backlog/api/2/get-activities
https://gist.github.com/konitter/5370904

word2vecで遊んでみる

機械学習関連の記事を読みあさっていたところ、オライリーからword2vecによる自然言語処理という書籍が出ていることを知った。ちょっと面白そうだなーと思って、とりあえずword2vecを触ってみることにした。環境はMBA(OS X Yosemite)。

まずは公式サイトからsvn checkoutしてくる。
$ svn checkout http://word2vec.googlecode.com/svn/trunk/
$ cd ./trunk/
$ ls
LICENSE                    demo-word.sh
README.txt                 distance.c
compute-accuracy.c         makefile
demo-analogy.sh            questions-phrases.txt
demo-classes.sh            questions-words.txt
demo-phrase-accuracy.sh    word-analogy.c
demo-phrases.sh            word2phrase.c
demo-train-big-model-v1.sh word2vec.c
demo-word-accuracy.sh
で、make。
$ make
gcc word2vec.c -o word2vec -lm -pthread -O3 -march=native -Wall -funroll-loops -Wno-unused-result
gcc word2phrase.c -o word2phrase -lm -pthread -O3 -march=native -Wall -funroll-loops -Wno-unused-result
gcc distance.c -o distance -lm -pthread -O3 -march=native -Wall -funroll-loops -Wno-unused-result
distance.c:18:10: fatal error: 'malloc.h' file not found
#include
         ^
1 error generated.
make: *** [distance] Error 1
エラーが出た。OS Xだとmallocが/usr/include直下に無いらしい。なので直下にリンク張っておく。
$ ls -alF /usr/include/malloc/malloc.h
-rw-r--r--  1 root  wheel  13706  9 10  2014 /usr/include/malloc/malloc.h
$ sudo ln -s /usr/include/malloc/malloc.h /usr/include/malloc.h
再チャレンジ。今度はうまくいって、実行ファイルが出来上がった。
$ make
$ ls
LICENSE                    demo-classes.sh            demo-word.sh               questions-words.txt        word2vec
README.txt                 demo-phrase-accuracy.sh    distance                   word-analogy               word2vec.c
compute-accuracy           demo-phrases.sh            distance.c                 word-analogy.c
compute-accuracy.c         demo-train-big-model-v1.sh makefile                   word2phrase
demo-analogy.sh            demo-word-accuracy.sh      questions-phrases.txt      word2phrase.c
テストスクリプトを動かしてみる...んだけど、OS Xだとwgetが入ってないので、以下のように修正。
$ vi demo-word.sh
make
if [ ! -e text8 ]; then
### コメント 化
#  wget http://mattmahoney.net/dc/text8.zip -O text8.gz
#  gzip -d text8.gz -f
### 追加
  curl -O http://mattmahoney.net/dc/text8.zip
  unzip text8.zip
###
fi
time ./word2vec -train text8 -output vectors.bin -cbow 1 -size 200 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -binary 1 -iter 15
./distance vectors.bin
テストスクリプトを実行。
$ ./demo-word.sh
Starting training using file text8
Vocab size: 71291
Words in train file: 16718843
Alpha: 0.000005  Progress: 100.10%  Words/thread/sec: 77.29k
real 14m58.897s
user 54m5.354s
sys 0m18.830s
とりあえずjapanってやってみた。あーなんとなく関連ぽい言葉が出てくる。chinaが高いポイントなのが面白い。
Enter word or sentence (EXIT to break): japan
Word: japan  Position in vocabulary: 582
                                              Word       Cosine distance
------------------------------------------------------------------------
                                            nagoya 0.636266
                                             china 0.630357
                                          japanese 0.626650
                                             chiba 0.619252
                                           shimizu 0.591518
                                             osaka 0.585299
じゃ、僕の名前であるsasakiをやってみると...日本人の苗字が出てきた。
Enter word or sentence (EXIT to break):sasaki
Word: sasaki  Position in vocabulary: 39817
                                              Word       Cosine distance
------------------------------------------------------------------------
                                             inoue 0.601103
                                             isshu 0.597284
                                            suzuki 0.590220
                                         matsumoto 0.587990
                                             saigo 0.571434
じゃ、appleは...というと、フルーツでは無くメーカーのほうが出てきた。
Enter word or sentence (EXIT to break): apple
Word: apple  Position in vocabulary: 1221
                                              Word       Cosine distance
------------------------------------------------------------------------
                                         macintosh 0.685635
                                              imac 0.604292
                                              iigs 0.594525
                                        appleworks 0.588855
                                         quickdraw 0.571981
                                           wozniak 0.570726
今回使ったサンプルデータであるtext8.zipは、1行の長い文章で構成されたデータになっている。何かの論文でも繋げたものだろうか?日本語の文章を解析する場合にはmecabで分かち書きにして結合してあげる必要があるみたい。


  入門 自然言語処理
入門 自然言語処理

2015/04/16

Cloud Automatorを使ってみる

リリースされた時からずっと気になっていたAWS運用自動化ツールであるCloud Automatorを触ってみた。とりあえずユーザー登録すると一ヶ月間フリートライアルで使える。

やってみた


ログインした状態。当然ながらジョブは何もない。


リソースボタンをクリックするけど、当然リソースもない。


まずはAWSアカウントを追加する。右上の[アカウント]-[AWSアカウント]をクリック。


AWSアカウント画面が表示されるので、[AWSアカウントの追加]ボタンをクリック。


ここでAWSアカウントを追加する。名前はわかりやすいものを適当に。アクセスキーとシークレットアクセスキー、AWSアカウントIDを入力し、[確認]ボタンをクリック。


AWSアカウントが追加される。複数のAWSアカウントを追加できるのでマルチアカウント運用できるの良いですね。


ダッシュボードに戻り、リソース画面を開くと、登録したAWSアカウントが選択できるようになっている。リソース種別を選ぶと、対象リソースの一覧が表示される。今回はEC2を表示してみた。リソースの右のボタンでジョブが追加できるのでクリックする。


ジョブの追加画面になる。トリガーとして選択できるのは以下の5種類。タイマー、SQS、即時実行、HTTP、SNS。今回はタイマーを選択。


ステップ2でトリガーの条件を設定する。毎週木曜日の特定の時間を設定した。


ステップ3でアクションを選択する。EC2の場合だと起動・停止・AMI作成が選択できる。今回は[EC2インスタンスを停止]を選択してみた。


ステップ4ではジョブを実行するAWSアカウントを選択する。


ステップ5ではジョブのパラメーターを設定する。リージョンの選択と、対象を選ぶ。今回はインスタンスを指定したが、特定のタグがついた複数インスタンスに対して一度にジョブ実行することも出来るみたい。


ステップ6ではジョブ実行後の処理を選択。メールレポートを送るように選択した。その他、SQSへの通知も可能。


最後にオプションとしてジョブ名を設定。間違ってRebootって書いたけど本当はStopだね...


ジョブが作成されると、ダッシュボードに作ったジョブが表示される。


実際にジョブ実行予定時間になると、こんな感じでレポートメールが飛んできました。もちろんちゃんとEC2が停止されていた。


感想

いや、いいですねこのツール。EC2を自動起動/停止したいというニーズは多いので、それが出来るだけでも素敵だと思う。EBSやRDSのスナップショット取得も出来るので、週次や月次のバックアップも簡単に設定可能。EC2 AMIのリージョン間コピーまであった使い道は結構幅広いんじゃないか。任意のAWS CLIが叩ける機能も欲しいなぁ。


2015/04/10

会社ブログに書いた記事一覧(2015年3月)

2015年3月は16本書きました!
3月はDockerを多く触ってましたね。IoT関連が少ないな。4月は頑張ります。

Amazon Web Services 基礎からのネットワーク&サーバー構築Amazon Web Services 基礎からのネットワーク&サーバー構築
玉川憲、片山暁雄、今井雄太

日経BP社
売り上げランキング : 1722

Amazonで詳しく見る by AZlink

2015/04/09

brew updateでエラー

brew updateしたらエラーが出た。
$ brew update
error: The following untracked working tree files would be overwritten by merge:
Library/Formula/py3cairo.rb
Please move or remove them before you can merge.
Aborting
Error: Failure while executing: git pull -q origin refs/heads/master:refs/remotes/origin/master

こちらを参考に対処。

$ brew tap --repair
$ cd $(brew --prefix) && git fetch && git reset --hard origin/master
$ brew update
というメモ。

2015/04/06

[読了]マージナル・オペレーション

もともとアフタヌーンに連載中のコミカライズ版が結構面白いと思ってたんだけど、たまたま図書館で1巻〜5巻と短編であるFがあったので借りてきて、一気読みした。

基本的にはラノベっぽいんだけど、ストーリーが熱いし、キャラクターも魅力的だし、サクサク読めた。短編のF2が今年発売されているそうなので、それも今度読んでみよう。



「マージナル・オペレーション」全5巻セット (星海社FICTIONS)
「マージナル・オペレーション」全5巻セット (星海社FICTIONS)