Twitter人工無脳: @dabesa & @AngraMainyu

以前北海道開発オフの中で作成した、マルコフ連鎖を使用して日本語タイムラインから投稿文を生成してポストする人工無脳、@dabesa。
しばらく放置されていたのですが、Rubyの勉強を始めたのを機に一念発起、Ruby化、DB化しました。最初に僕の半年分のTwitter Archiveを食わせ、後は定期的に僕のTwitter Archiveから更新分の投稿を取得して形態素解析しDBに投入。投稿は二階のマルコフ連鎖です。つまり@dabesaが投稿する要素は全て僕のTwitterへの投稿です。
Special Thanks to @showyou & @ha_ma.

(0)形態素テーブル作成。

create table dabesable ( 
  id int not null auto_increment primary key,
  surface text not null,
  nextword text);

(1)テキストファイルを解析して形態素テーブルに登録するスクリプト。

#!/usr/bin/ruby -Ku

require 'MeCab'
require 'mysql'

begin
  c = MeCab::Tagger.new(ARGV.join(" "))
  mysql = Mysql::new('localhost','USERNAME','PASSWORD','DATABASENAME')

  dfile = open("data.txt",'r')
  dfile.each do |sentence|
    sentence.chop!
    n = c.parseToNode(sentence)
    n = n.next
    # 行頭単語の登録
    res = mysql.prepare("select id,nextword from dabesable where id=1")
    res.execute
    newword = res.fetch[1].to_s + "<>" + n.surface
    res = mysql.query("update dabesable set nextword='#{Mysql::quote newword}' where id=1")

    while n do
      surfword = n.surface
      n = n.next
      if n then
        nextword = n.surface
      else
        nextword = "EOL"
      end

      res = mysql.prepare("select id,surface,nextword from dabesable where surface='#{Mysql::quote surfword}'")
      res.execute
      
      if res.num_rows == 0 then
        # 単語が登録されていない場合には新規登録する
        res_insert = mysql.query("insert into dabesable values(NULL,'#{Mysql::quote surfword}','#{Mysql::quote nextword}')")

      else
        # 単語が登録されている場合にはnextwordを追加する
        qid,qsurf,qword = res.fetch
        newword = qword.to_s + "<>" + nextword.to_s
        res_update = mysql.query("update dabesable set nextword='#{Mysql::quote newword}' where id='#{qid}'")
      end
    end
  end
  mysql.close
  dfile.close

rescue
      print "RuntimeError: ", $!, "\n";
end

(2)タイムラインを解析して形態素テーブルに登録するスクリプト。

#! /usr/bin/ruby -Ku

require'rubygems'
gem 'twitter4r'
require 'twitter'
require 'time'
require 'pit'

require 'MeCab'
require 'mysql'
require 'kconv'

begin
  # 前回の最新投稿のIDを取得
  flg = 0
  sid = nil
  idfile = open("id.txt",'r')
  idfile.each do |id| sid = id.chop end
  idfile.close

  c = MeCab::Tagger.new(ARGV.join(" "))
  mysql = Mysql::new('localhost','USERNAME','PASSWORD','DATABASENAME')

  config = Pit.get("dabesa")
  cl = Twitter::Client.new(config)

  # smokeymonkeyのArchiveを取得
  timeline = cl.timeline_for(:user, :id=>'smokeymonkey') do |status|
    # 前回取得より新しいデータがあれば最新のIDをファイルに保存
    if flg == 0 and status.id.to_i >= sid.to_i then
      idfile = open("id.txt",'w')
      idfile.puts status.id.to_i
      idfile.close
      flg = 1
    end

    # 前回取得より新しいデータがなければ終了
    if status.id.to_i <= sid.to_i then
      mysql.close
      exit
    end

    post = Kconv.kconv("#{status.text}",Kconv::UTF8)
    post.chop!
    n = c.parseToNode(post)
    n = n.next
    # 行頭単語の登録
    res = mysql.prepare("select id,nextword from dabesable where id=1")
    res.execute
    newword = res.fetch[1].to_s + "<>" + n.surface
    res = mysql.query("update dabesable set nextword='#{Mysql::quote newword}' where id=1")

    while n do
      surfword = n.surface
      n = n.next
      if n then
        nextword = n.surface
      else
        nextword = "EOL"
      end

      res = mysql.prepare("select id,surface,nextword from dabesable where surface='#{Mysql::quote surfword}'")
      res.execute
            if res.num_rows == 0 then
        # 単語が登録されていない場合には新規登録する
        #res_insert = mysql.query("insert into dabesable values(NULL,'#{Mysql::quote surfword}','#{Mysql::quote nextword}')")
      else
        # 単語が登録されている場合にはnextwordを追加する
        qid,qsurf,qword = res.fetch
        newword = qword.to_s + "<>" + nextword.to_s
        #res_update = mysql.query("update dabesable set nextword='#{Mysql::quote newword}' where id='#{qid}'")
      end
    end
  end
  mysql.close

rescue
      print "RuntimeError: ", $!, "\n";
end

(3)形態素テーブルから文章を生成してTwitterに投稿するスクリプト。

#! /usr/bin/ruby -Ku

require 'rubygems'
gem 'twitter4r'
require 'time'
require 'twitter'
require 'pit'

require 'mysql'

begin
  mysql = Mysql::new('localhost','USERNAME','PASSWORD','DATABASENAME')
  res = mysql.prepare("select id,nextword from dabesable where id=1")
  res.execute
  nextwords = res.fetch[1].to_s.split(/<>/)
  i = nextwords.size
  nword = nextwords[rand(i)]
  postline = nword

  res = mysql.prepare("select surface,nextword from dabesable where surface='#{Mysql::quote nword}'")
  res.execute

  while res.num_rows != 0 and nword != "EOL" do
    nextwords = res.fetch[1].to_s.split(/<>/)
    i = nextwords.size
    nword = nextwords[rand(i)]
    if nword == nil then nword = "EOL" end
    postline = postline.to_s + nword.to_s
    res = mysql.prepare("select surface,nextword from dabesable where surface='#{Mysql::quote nword}'")
    res.execute
  end

  postline.gsub!(/@/,'.@')
  mess = postline.gsub(/EOL/,'')

  config = Pit.get("dabesa")
  cl = Twitter::Client.new(config)
  cl.status(:post,mess)
  mysql.close

rescue
      print "RuntimeError: ", $!, "\n";
end


このタイムライン解析スクリプトと投稿スクリプトをcronで回してます。しばらくは試験期間中。

なお、同じ構造を使って、僕のFriendsタイムラインから投稿を取得する@AngraMainyuという人工無脳も作りました。コレは無秩序に投稿を取得し続けるので、最初はDBの形態素量も少ないのですが、徐々に成長すればいいなぁと思っています。

このブログの人気の投稿

転職のお知らせ

イメージ
退職のお知らせ 2024年6月末をもって クラスメソッド株式会社 を退職致しました。 本来であればお世話になった皆様に直接ご挨拶すべきところではございましたが、退職後までお伝えすることが出来ず、大変申し訳ございません。 略儀ながらブログでのご挨拶にて失礼致します。 在籍中について 2014年1月に入社してから丸10年半、勤めさせて頂きました。 当初はソリューションアーキテクトとして入社し、AWSに関するコンサルティングや環境構築に従事させて頂きました。当時のクラスメソッド株式会社はまだ東京オフィスしか無い小さな会社で、僕も北海道から半年間単身赴任で東京に滞在しました。 その後2014年7月に北海道に戻って来るのと同時に札幌オフィスを立ち上げ、以降は部長->本部長->執行役員->取締役と、幅広い経験を積ませて頂きました。また海外子会社にも役員として関わらせて頂きましたので、何度も海外出張する機会も頂きました。 これもひとえに横田社長の度量の広さと、たくさんサポートして頂いた同僚の皆さん、そして協業させて頂いたパートナーの皆さんのおかげです。長い間お世話になりました。 ありがとうございました！ 退職の経緯について 私事ではありますが、今年の3月で45歳になりました。一般的な定年年齢である60歳まで残りたった15年、65歳だとしても20年しかありません。この短い時間で、僕はどれくらい新しいチャレンジが出来るんだろう、どのくらい新しい知見や経験を得ることが出来るんだろう、と最近ずっと考えていました。もちろん最初から転職を考えていたわけではなく、今いる会社の中で新しいチャレンジをすることも視野に入れていました。 しかし、たまたま良い出会いがあり、退職という選択をするに至りました。快く受け入れてくれた社長と同僚の皆さんには感謝しかありません。本当にありがとうございます。 退職後のクラスメソッドとの関わりについて 社員としてはクラスメソッド株式会社を退職しましたが、2024年7月以降も社外取締役として関与させて頂くこととなりました。合わせて関係子会社の役員も継続致します。今までのような濃密な関係ではないものの、今後もクラスメソッドの事業成長に少しでも貢献出来たらと考えておりますので、皆様よろしくお願い致します。 入社のお知らせ 2024年7月から 株式会社サッポ...
もっと読む

妻と長女とスキーしてきた

今日は妻と長女とスキーに行ってきました。今期3回目、妻と行くのは初めてです。場所は初心者に優しいセントレジャー北広島スキー場。一日券を購入し、10:00～17:00まで滑ってきました。 長女はさすがに慣れてきたので、ボーゲンでの滑走は問題なし。あとは重心移動とか、基礎を何度かやれば大分良くなりそうです。妻は元々運動が苦手なのですが、やっぱりスキーも「とりあえず滑れる」というレベルだったので、基礎練習をしました。 妻が長女を見てくれる時間を作ってくれた為、合計2時間ほど僕に自由時間がもらえましたので、全速力スラロームと、ジャンプを繰り返し練習しました。普通にジャンプするのは問題無いんだけど、スプレッドするとちょっとバランスが危うい。もう若くない証拠か...でも学生時代より恐怖感が薄れて大胆に飛べる気がします。それはそれでマズイのかも知れないけど(笑) 子供に付き添って滑るのも楽しいけれど、やっぱり自分の滑りが出来るのは楽しかったので、今期もう一回くらい、自分のスキーを滑りに行きたいです。
もっと読む

40代の減量戦略 〜体重-14kg、体脂肪率-12%を実現した具体的な方法〜

イメージ
コロナ禍はもちろん辛い時期ではあったけど、生活習慣が良い方へ大きく変わた時期でもあった。具体的には食生活がほぼ自炊になり、酒量が減り、ジム通いを再開し、マラソン大会にも定期的に参加した。そんな中で一念発起し、きちんと減量に取り組んで、体重75kg→61kg（-14kg）、体脂肪率25%→13%（-12%）を実現した。 具体的な体重遷移は以下。2020年12月がMAXの75kg、その後減量とリバウンドを繰り返しつつ70kg前後を推移、2022年後半で一気に落とし、2023年1月30日時点で61kgとなった。 そこで、その具体的な方法をお伝えしたい。減量とは3つの要素の組み合わせだ。 食事 運動 休養 この順番はそのまま優先順位でもある。それぞれについて以下に説明する。 0.プロにアドバイスをもらう 3つの要素と言ったがあれは嘘だ。すまない。もっと重要なことがある。それはプロにアドバイスをもらうことだ。 WHO NOT HOWという本がある。 WHO NOT HOW　「どうやるか」ではなく「誰とやるか」　 posted with AmaQuick at 2023.01.21 ディスカヴァー・トゥエンティワン (2022-05-27T00:00:01Z) ダン・サリヴァン(著), ベンジャミン・ハーディ(著), 森由 美子(翻訳) Amazon.co.jpで詳細を見る 要約すると、起業家や経営者がやるべきことはビジネスを成功させることだけれど、人は皆スーパーマンではなく、得意なことと不得意なことがあるんだから、得意なことは得意な人に一任することが大事なんだよ、という内容の本。 これは減量についても同じ。本を読んだりYoutubeで動画を見て、実際に減量出来たのであればそれはそれで構わないし、そういう人はこのブログ投稿を読まないだろう。 自分で学んで、自分でチャレンジして、それでも減量出来ないのであれば、素直に投資してプロのアドバイスをもらったほうが効率が良い。具体的にはパーソナルトレーナーだ。パーソナルトレーナーは運動生理学やスポーツ栄養学などについて学び実践してきた人...
もっと読む