スキップしてメイン コンテンツに移動

Twitter人工無脳: @dabesa & @AngraMainyu

以前北海道開発オフの中で作成した、マルコフ連鎖を使用して日本語タイムラインから投稿文を生成してポストする人工無脳、@dabesa
しばらく放置されていたのですが、Rubyの勉強を始めたのを機に一念発起、Ruby化、DB化しました。最初に僕の半年分のTwitter Archiveを食わせ、後は定期的に僕のTwitter Archiveから更新分の投稿を取得して形態素解析しDBに投入。投稿は二階のマルコフ連鎖です。つまり@dabesaが投稿する要素は全て僕のTwitterへの投稿です。
Special Thanks to @showyou & @ha_ma.

(0)形態素テーブル作成。

create table dabesable (
id int not null auto_increment primary key,
surface text not null,
nextword text);

(1)テキストファイルを解析して形態素テーブルに登録するスクリプト。

#!/usr/bin/ruby -Ku

require 'MeCab'
require 'mysql'

begin
c = MeCab::Tagger.new(ARGV.join(" "))
mysql = Mysql::new('localhost','USERNAME','PASSWORD','DATABASENAME')

dfile = open("data.txt",'r')
dfile.each do |sentence|
sentence.chop!
n = c.parseToNode(sentence)
n = n.next
# 行頭単語の登録
res = mysql.prepare("select id,nextword from dabesable where id=1")
res.execute
newword = res.fetch[1].to_s + "<>" + n.surface
res = mysql.query("update dabesable set nextword='#{Mysql::quote newword}' where id=1")

while n do
surfword = n.surface
n = n.next
if n then
nextword = n.surface
else
nextword = "EOL"
end

res = mysql.prepare("select id,surface,nextword from dabesable where surface='#{Mysql::quote surfword}'")
res.execute

if res.num_rows == 0 then
# 単語が登録されていない場合には新規登録する
res_insert = mysql.query("insert into dabesable values(NULL,'#{Mysql::quote surfword}','#{Mysql::quote nextword}')")

else
# 単語が登録されている場合にはnextwordを追加する
qid,qsurf,qword = res.fetch
newword = qword.to_s + "<>" + nextword.to_s
res_update = mysql.query("update dabesable set nextword='#{Mysql::quote newword}' where id='#{qid}'")
end
end
end
mysql.close
dfile.close

rescue
print "RuntimeError: ", $!, "\n";
end

(2)タイムラインを解析して形態素テーブルに登録するスクリプト。

#! /usr/bin/ruby -Ku

require'rubygems'
gem 'twitter4r'
require 'twitter'
require 'time'
require 'pit'

require 'MeCab'
require 'mysql'
require 'kconv'

begin
# 前回の最新投稿のIDを取得
flg = 0
sid = nil
idfile = open("id.txt",'r')
idfile.each do |id| sid = id.chop end
idfile.close

c = MeCab::Tagger.new(ARGV.join(" "))
mysql = Mysql::new('localhost','USERNAME','PASSWORD','DATABASENAME')

config = Pit.get("dabesa")
cl = Twitter::Client.new(config)

# smokeymonkeyのArchiveを取得
timeline = cl.timeline_for(:user, :id=>'smokeymonkey') do |status|
# 前回取得より新しいデータがあれば最新のIDをファイルに保存
if flg == 0 and status.id.to_i >= sid.to_i then
idfile = open("id.txt",'w')
idfile.puts status.id.to_i
idfile.close
flg = 1
end

# 前回取得より新しいデータがなければ終了
if status.id.to_i <= sid.to_i then
mysql.close
exit
end

post = Kconv.kconv("#{status.text}",Kconv::UTF8)
post.chop!
n = c.parseToNode(post)
n = n.next
# 行頭単語の登録
res = mysql.prepare("select id,nextword from dabesable where id=1")
res.execute
newword = res.fetch[1].to_s + "<>" + n.surface
res = mysql.query("update dabesable set nextword='#{Mysql::quote newword}' where id=1")

while n do
surfword = n.surface
n = n.next
if n then
nextword = n.surface
else
nextword = "EOL"
end

res = mysql.prepare("select id,surface,nextword from dabesable where surface='#{Mysql::quote surfword}'")
res.execute
if res.num_rows == 0 then
# 単語が登録されていない場合には新規登録する
#res_insert = mysql.query("insert into dabesable values(NULL,'#{Mysql::quote surfword}','#{Mysql::quote nextword}')")
else
# 単語が登録されている場合にはnextwordを追加する
qid,qsurf,qword = res.fetch
newword = qword.to_s + "<>" + nextword.to_s
#res_update = mysql.query("update dabesable set nextword='#{Mysql::quote newword}' where id='#{qid}'")
end
end
end
mysql.close

rescue
print "RuntimeError: ", $!, "\n";
end

(3)形態素テーブルから文章を生成してTwitterに投稿するスクリプト。

#! /usr/bin/ruby -Ku

require 'rubygems'
gem 'twitter4r'
require 'time'
require 'twitter'
require 'pit'

require 'mysql'

begin
mysql = Mysql::new('localhost','USERNAME','PASSWORD','DATABASENAME')
res = mysql.prepare("select id,nextword from dabesable where id=1")
res.execute
nextwords = res.fetch[1].to_s.split(/<>/)
i = nextwords.size
nword = nextwords[rand(i)]
postline = nword

res = mysql.prepare("select surface,nextword from dabesable where surface='#{Mysql::quote nword}'")
res.execute

while res.num_rows != 0 and nword != "EOL" do
nextwords = res.fetch[1].to_s.split(/<>/)
i = nextwords.size
nword = nextwords[rand(i)]
if nword == nil then nword = "EOL" end
postline = postline.to_s + nword.to_s
res = mysql.prepare("select surface,nextword from dabesable where surface='#{Mysql::quote nword}'")
res.execute
end

postline.gsub!(/@/,'.@')
mess = postline.gsub(/EOL/,'')

config = Pit.get("dabesa")
cl = Twitter::Client.new(config)
cl.status(:post,mess)
mysql.close

rescue
print "RuntimeError: ", $!, "\n";
end


このタイムライン解析スクリプトと投稿スクリプトをcronで回してます。しばらくは試験期間中。

なお、同じ構造を使って、僕のFriendsタイムラインから投稿を取得する@AngraMainyuという人工無脳も作りました。コレは無秩序に投稿を取得し続けるので、最初はDBの形態素量も少ないのですが、徐々に成長すればいいなぁと思っています。

このブログの人気の投稿

初めての給与交渉で意識するべき6つのポイント

本記事は、社会人となって1〜3年目くらいの方が、給与アップのためにどのように考え、どのようにアクションするべきなのかを、僕の経験を踏まえてまとめたものです。 背景として、僕が初めて働いたIT企業は、年棒制で給与交渉は各自が行うものであり、年次で成果レポートと希望する年収額を会社に提示し、それが査定されて翌年の年俸が確定する、という制度でした。なので僕自身は若い頃からずっと給与交渉をし続けています。 大前提:給与とは与えられるものではなく勝ち取るものである 給与は勝手に上がるものではありません。自分の努力や成果を誰か(=会社や上長)が適切に判断し公平に給与を払ってくれる、なんてことはありません。何故なら多くの仕事は定量的なだけでは評価できず、そこに定性的な判断を必要とするからです。そして人間に公平で完璧な意思決定を求めるのはそもそも無理です。人間は感情的で、多くのバイアスを持ち、その時々のコンディションで常に意思決定が歪みます。だからこそ、定性的な評価に関する成果は、被評価者自身が自らアピールしないと評価者に正しく伝わりません(ただしアピールしたところで正しく伝わらないこともあります) もちろん定量的なだけで評価できる仕事は世の中にはあるし、その場合は給与はその成果に比例して決まり、人間の判断は必要としません。でもそうではない、定性的な評価が含まれる仕事をしているのであれば、自ら自分が何をし、どのような成果を出したのかを、きちんと会社に伝え、その分の給与を要求する、というアクションが必要になります。 大前提:給与は会社が儲かっていないと上がらない これもまぁ当たり前ですよね。会社は利益が出てるから社員に投資できる=社員の給与を上げられるわけで、利益が出てなかったらその個人がどんなに頑張ったところで給与は上がりません。何故なら給与を上げるための原資が無いからです。 だから、利益が無い会社に所属しているのであれば、給与交渉はそもそも無駄です。だって交渉しても上がるわけないし。その場合は、給与アップが必須なのであれば転職を検討するしかないし、給与アップしなくてもメリットがあるのであればその会社に在籍し続ける、という選択が必要になります。 目標と現状のギャップを把握する 具体的な希望も無く「給与上げてください」と言うのは給与交渉ではありません。これだと会社もどのくらい上げてほ

40代の減量戦略 〜体重-14kg、体脂肪率-12%を実現した具体的な方法〜

コロナ禍はもちろん辛い時期ではあったけど、生活習慣が良い方へ大きく変わた時期でもあった。具体的には食生活がほぼ自炊になり、酒量が減り、ジム通いを再開し、マラソン大会にも定期的に参加した。そんな中で一念発起し、きちんと減量に取り組んで、体重75kg→61kg(-14kg)、体脂肪率25%→13%(-12%)を実現した。 具体的な体重遷移は以下。2020年12月がMAXの75kg、その後減量とリバウンドを繰り返しつつ70kg前後を推移、2022年後半で一気に落とし、2023年1月30日時点で61kgとなった。 そこで、その具体的な方法をお伝えしたい。減量とは3つの要素の組み合わせだ。 食事 運動 休養 この順番はそのまま優先順位でもある。それぞれについて以下に説明する。 0.プロにアドバイスをもらう 3つの要素と言ったがあれは嘘だ。すまない。もっと重要なことがある。それはプロにアドバイスをもらうことだ。 WHO NOT HOWという本がある。 WHO NOT HOW 「どうやるか」ではなく「誰とやるか」  posted with AmaQuick at 2023.01.21 ディスカヴァー・トゥエンティワン (2022-05-27T00:00:01Z) ダン・サリヴァン(著), ベンジャミン・ハーディ(著), 森由 美子(翻訳) Amazon.co.jpで詳細を見る 要約すると、起業家や経営者がやるべきことはビジネスを成功させることだけれど、人は皆スーパーマンではなく、得意なことと不得意なことがあるんだから、得意なことは得意な人に一任することが大事なんだよ、という内容の本。 これは減量についても同じ。本を読んだりYoutubeで動画を見て、実際に減量出来たのであればそれはそれで構わないし、そういう人はこのブログ投稿を読まないだろう。 自分で学んで、自分でチャレンジして、それでも減量出来ないのであれば、素直に投資してプロのアドバイスをもらったほうが効率が良い。具体的にはパーソナルトレーナーだ。パーソナルトレーナーは運動生理学やスポーツ栄養学などについて学び実践してきた人

最近、僕と妻の仲が良い

SNSでは書きましたが、先日長女が大学を卒業し、同時に結婚しました。僕には3人の子供がいるのですが、これで1人は結婚して家を出て、もう1人は就職して家を出て、残りは高校1年生(4月から2年生)の次男のみとなりました。 で。子どもたちが自立していく状況になってから、僕と妻の関係性が良くなりました。元々良かったんですけど、なんというか、更に仲良くなってきたんですよね。 これってなんでだろう...って考えてたんですが夫婦の状況の変化によるものなんだろうと思います。 結婚した当初は恋愛感情が関係性の大きな理由になります(これは恋愛結婚の場合なので、お見合いや相談所経由での結婚の場合は違うのかも知れません) 子供が出来て子育てが始まると、子供を含めた家族をいかに良い形で運営するか、そして外圧から以下に守るか、が関係のベースになります。 そして子供が自立していくと、そこにはまた夫婦二人が残ります。そうすると、これから一緒に老いて、そして死んでいこう、という覚悟が定まるんですよね。 僕も若い頃は老いってあんまり分からなかったんですが、いざ自分が中年になると、いろんな老いを感じます。肉体的には白髪や顔の皺や老眼といったものから、体力の減少、筋肉の付きづらさ、脂肪の落ちづらさ、などなど。精神的には感情の揺れ幅が少なくなって、怒ったり悲しんだりといった発露をしなくなったり。 当然その先には死があるわけです。今この老いかけの時期から死まで長ければ50年くらいあるんですが、子どもたちが自立しつつある今となっては、そこを一緒に過ごすのは僕にとっては妻しかいないし、妻にとっても僕しかいない。それが「これから一緒に老いて、そして死んでいこう、という覚悟」となり、そしてお互いに関係性を良くしよう、よく保とう、というモチベーションになるんだな、と思っています。 そんなわけで、最近僕と妻は仲が良いです。というノロケでした!!以上!!! 妻は俺の嫁 posted with AmaQuick at 2023.03.25 smokeymonkey (2013-10-15T15:00:06.000Z) smokeymonkey(著) Amazon.c