第12回北海道開発オフに参加した

今日は第12回北海道開発オフでした。

開発オフはいつも通り、勉強会というよりはサークルのようなものなので、やってる事はいつも通り「各個人が黙々と開発して、ランチして、成果発表する」なのですが、今回はなんと過去最多の20人の参加！すごい！人が増えてもやることは変わりませんけど(笑)でもこの「もくもくやる」という事の楽しさが、少しでも多くの人に伝わってきたのかなぁ、なんて思います。

さて、今日の僕の成果ですが、しばらく中途半端になっていた、我が愚息@dabesaの教育です。結構作り込みを変えたのですが、大きくは以下のような構造をしています。

---
・Twitter絡みの部分は全てTwitter4Rを使用。
・@smokeymonkeyのFriend Timelineから最新200ポストを取得。
・元となるデータファイルに、最新200ポストをマージ。このデータファイルは常に新しいほうから5000個のポストを保持。
・5000個のポストをMeCabで形態素解析して、マルコフテーブルを生成。このとき、各ポストの一番最初の単語にフラグをつけておく。
・フラグをつけられた「各ポストの一番最初の単語」をランダムに抽出し、そこから文章を生成。
・生成された文章のうち、一部を北海道弁に置換。
・Twitterにポスト。
・Replyは、Replyでもらったポストから名詞・動詞を抽出し、その単語を元に文章を生成して返す。ただし文章を生成出来なかった場合は複数パターンの応答を返す。
・一日2回(9時・21時)、Google TrendsからHottrendキーワードをポストする。
---

ソース自体は素人の日曜大工なので腐ってるのですが、まぁ以前よりはちゃんと日本語っぽい言葉を発することが出来てるんじゃないかな、と思います。今後も改善していきたいですね。

Ruby 逆引きレシピ すぐに美味しいサンプル&テクニック 232 (PROGRAMMER’S RECIPE)
Ruby 逆引きレシピ すぐに美味しいサンプル&テクニック 232 (PROGRAMMER’S RECIPE)
posted with amazlet at 09.09.13
島田 浩二 設樂 洋爾 村田 賢太 前田 智樹 谷口 文威
翔泳社
売り上げランキング: 168012
Amazon.co.jp で詳細を見る

人様にさらせるほど立派なものでは無いですが、一応ソースは以下に。



#! /usr/bin/ruby -Ku

require 'rubygems'
gem 'twitter4r'
require 'time'
require 'twitter'
require 'pit'

require 'MeCab'
require 'kconv'

require 'uri'
require 'net/http'
require 'rexml/document'

require 'cgi'
class Hash
  def to_http_str
    self.map{|key,value| "#{key}=#{CGI.escape(value.to_s)}"}.join("&")
  end
end

# ************************************************
# データを取得するところ
# ************************************************
def getData
  data = Array.new
  fdata = Array.new
  ndata = Array.new

  # smokeymonkeyのアカウントを使う
  config = Pit.get("Twitter")
  cl = Twitter::Client.new(config)

  # 元となるデータを取得
  timeline = cl.timeline_for(:friend, :count=>200) do |status|
    post = Kconv.kconv("#{status.text}",Kconv::UTF8)
    if /[!-~]/ !~ post then
      data.push(post)
    end
  end

  # データファイル読み込み
  f = File.open("data.txt",'r')
  fdata = f.readlines
  f.close

  # データファイルの内容に最新データを追加
  fdata.concat(data)

  # データファイルの最新5000行を取得
  i=0
  fdata.reverse_each do |post|
    ndata.unshift post
    if i > 5000 then
      break
    end
    i = i+1
  end

  # データファイルに書き込み
  f = File.open("data.txt",'a')
  f.puts ndata
  f.close

  # 分析用データを返す
  return ndata
end

# ************************************************
# マルコフしちゃうところ
# ************************************************
def makeMarkov(data)
  ary = Array.new
  tbl = Array.new

  c = MeCab::Tagger.new(ARGV.join(" "))

  # データからマルコフテーブル作成
  data.each do |line|
    line.chop!
    node = c.parseToNode(line)
    node = node.next
    i = 0
    while node do
      hash = Hash.new
      hash["0"] = i
      hash["1"] = node.surface
      node = node.next
      if node then
        hash["2"] = node.surface
      else
        hash["2"] = nil
      end
      ary.push(hash)

      # 各文章の最初の単語だけのArrayを作成
      if hash["0"] == 0 then
        tbl.push hash
      end
      i = i+1
    end
  end
  return ary,tbl
end

# ************************************************
# マルコフしちゃうところ
# ************************************************
def execMarkov(ary,tbl)
  mess = ""

  # 連鎖する
  post = tbl[rand(tbl.size)]
  mess.concat(post["1"])

  # 継続する単語が無くなるまでループ
  while post["2"] != nil do

    # 候補を抽出
    rndline = Array.new
    i = 0
    ary.each do |line|
      if post["2"] == line["1"] then
        rndline.push(line)
        i = i + 1
      end
    end

    # 候補からランダムに接続
    post = rndline[rand(i)]
    mess.concat(post["1"])

    # 候補が以下3種類だった場合はEnd
    s1 = Kconv.kconv("。",Kconv::UTF8)
    s2 = Kconv.kconv("！",Kconv::UTF8)
    s3 = Kconv.kconv("？",Kconv::UTF8)

    if post["1"] == s1 or post["1"] == s2 or post["1"] == s3 then
      post = Hash.new
    end
  end

  # ポストするメッセージを戻す
  return mess
end

# ************************************************
# 北海道弁変換するところ
# ************************************************
def subDabesa(mess)
  mess.gsub!(/すごく/,'なまら')
  mess.gsub!(/すげえ/,'なまら')
  mess.gsub!(/とても/,'なまら')
  mess.gsub!(/バカ/,'はんかくさ')
  mess.gsub!(/酷い/,'わやい')
  mess.gsub!(/ひどい/,'わやい')
  mess.gsub!(/落ち着かない/,'あずましくない')
  mess.gsub!(/交換した/,'バクった')
  mess.gsub!(/いじった/,'ちょした')
  mess.gsub!(/バイバイ/,'したっけ')
  mess.gsub!(/冷たい/,'しゃっこい')
  mess.gsub!(/疲れた/,'こわい')
  mess.gsub!(/大変だ/,'ゆるくない')
  mess.gsub!(/痒い/,'いずい')
  mess.gsub!(/ヤバイ/,'やくい')
  mess.gsub!(/ヤバい/,'やくい')
  mess.gsub!(/やばい/,'やくい')
  mess.gsub!(/格好悪い/,'がさい')
  mess.gsub!(/カッコ悪い/,'がさい')
  mess.gsub!(/頑張/,'けっぱ')
  mess.gsub!(/捨て/,'なげ')
  mess.gsub!(/本州/,'内地')
  mess.gsub!(/小さい/,'ちゃんこい')
  mess.gsub!(/ちいさい/,'ちゃんこい')
  mess.gsub!(/止めろ/,'止めれ')
  mess.gsub!(/やめろ/,'やめれ')
  mess.gsub!(/だな/,'だべな')
  mess.gsub!(/だね/,'だべね')

  return mess
end

# ************************************************
# ポストするところ
# ************************************************
def putPost(mess)
  # Twitterにポスト
  config = Pit.get("dabesa")
  cl = Twitter::Client.new(config)
  cl.status(:post,mess)

  # Wassrにポスト
  wmess = 'status=' + URI.escape(mess)
  req = Net::HTTP::Post.new("/statuses/update.json?")
  req.basic_auth(config["login"],config["password"])
  Net::HTTP.start('api.wassr.jp',80) {|http|
    response = http.request(req,wmess)
  }
end

# ************************************************
# RepliesからReplyを返信する
# ************************************************
def SendReplies(ary,tbl)
  data = Array.new

  c = MeCab::Tagger.new(ARGV.join(" "))

  config = Pit.get("dabesa")
  cl = Twitter::Client.new(config)

  flg = 0
  sid = nil

  idfile = open("repid.txt",'r')
  idfile.each do |id| sid = id.chop end
  idfile.close

  # Twitterのreplies APIを取得
  req = Net::HTTP::Get.new("/statuses/replies.xml")
  req.basic_auth(config["login"],config["password"])
  xml = Net::HTTP.start('twitter.com',80) {|http|
    http.request(req).body
  }

  # API(XML)を解析しstatusがある間ループ
  doc=nil
  doc=REXML::Document.new xml
  doc.elements.each('/statuses/status') do |elm|
    scname = elm.elements['user/screen_name'].text.to_s
    # dabesa自身のポストなら無視
    if scname == "dabesa" then next end

    # 最新Replyのidをファイルに書き込み
    if flg == 0 and elm.elements['id'].text.to_i >= sid.to_i then
      idfile = open("repid.txt",'w')
      idfile.puts elm.elements['id'].text.to_i
      idfile.close
      flg = 1
    end

    # 取得していた最新Replyまで到達したらBreak(既にRelyしたポストは無視)
    if elm.elements['id'].text.to_i <= sid.to_i then
      break
    end

    #Replyのテキストを取得し、名詞と動詞を探す
    post = elm.elements['text'].text
    # 半角全角を削除
    while /^\.*\/*@[A-Za-z0-9_]*/ =~ post do
      post.sub!(/^\.*\/*@[A-Za-z0-9_]*/,'')
      post.sub!(/\s*/,'')
    end
    post.chop!
    n = c.parseToNode(post)
    n = n.next

    word = Array.new
    while n do
      ftr = n.feature.split(",")
      if ftr[0] == "名詞" or ftr[0] == "動詞" then
        word.push n.surface
      end
      n = n.next
    end

    # Replyの名詞or動詞がマルコフテーブルにあればそこから文章を作る。
    # マルコフテーブルに無ければ疑問を返す。
    wflg = 0
    ary.each do |line|
      if word[0] == line["1"] then
        post = line
        wflg = 1
      end
    end

    mess = String.new
    if wflg == 1 then
      mess.concat(post["1"])
    else
      mflg = rand(10)
      case mflg
      when 0,5,10
        mess = word[0].to_s + "ってなんだべか。"
      when 1,3
        mess = word[0].to_s + word[0].to_s + "はんかくさい。"
      when 2,6
        mess = "そったら" + word[0].to_s + "とか興味無いし。"
      when 4,7,8,9
        post = tbl[rand(tbl.size)]
        mess.concat(post["1"])
      end
      post = Hash.new
    end

    # 継続する単語が無くなるまでループ
    while post["2"] != nil do

      # 候補を抽出
      rndline = Array.new
      i = 0
      ary.each do |line|
        if post["2"] == line["1"] then
          rndline.push(line)
          i = i + 1
        end
      end

      # 候補からランダムに接続
      post = rndline[rand(i)]
      mess.concat(post["1"])

      # 候補が以下3種類だった場合はEnd
      s1 = Kconv.kconv("。",Kconv::UTF8)
      s2 = Kconv.kconv("！",Kconv::UTF8)
      s3 = Kconv.kconv("？",Kconv::UTF8)

      if post["1"] == s1 or post["1"] == s2 or post["1"] == s3 then
        post = Hash.new
      end

    end
    pmess = "@" + scname + " " + mess
    cl.status(:post,pmess)
  end
end

# 実行部
data = Array.new
ary = Array.new
tbl = Array.new

data = getData()
ary,tbl = makeMarkov(data)
mess = execMarkov(ary,tbl)
pmess = subDabesa(mess)
putPost(pmess)

SendReplies(ary,tbl)

exit

このブログの人気の投稿

転職のお知らせ

イメージ
退職のお知らせ 2024年6月末をもって クラスメソッド株式会社 を退職致しました。 本来であればお世話になった皆様に直接ご挨拶すべきところではございましたが、退職後までお伝えすることが出来ず、大変申し訳ございません。 略儀ながらブログでのご挨拶にて失礼致します。 在籍中について 2014年1月に入社してから丸10年半、勤めさせて頂きました。 当初はソリューションアーキテクトとして入社し、AWSに関するコンサルティングや環境構築に従事させて頂きました。当時のクラスメソッド株式会社はまだ東京オフィスしか無い小さな会社で、僕も北海道から半年間単身赴任で東京に滞在しました。 その後2014年7月に北海道に戻って来るのと同時に札幌オフィスを立ち上げ、以降は部長->本部長->執行役員->取締役と、幅広い経験を積ませて頂きました。また海外子会社にも役員として関わらせて頂きましたので、何度も海外出張する機会も頂きました。 これもひとえに横田社長の度量の広さと、たくさんサポートして頂いた同僚の皆さん、そして協業させて頂いたパートナーの皆さんのおかげです。長い間お世話になりました。 ありがとうございました！ 退職の経緯について 私事ではありますが、今年の3月で45歳になりました。一般的な定年年齢である60歳まで残りたった15年、65歳だとしても20年しかありません。この短い時間で、僕はどれくらい新しいチャレンジが出来るんだろう、どのくらい新しい知見や経験を得ることが出来るんだろう、と最近ずっと考えていました。もちろん最初から転職を考えていたわけではなく、今いる会社の中で新しいチャレンジをすることも視野に入れていました。 しかし、たまたま良い出会いがあり、退職という選択をするに至りました。快く受け入れてくれた社長と同僚の皆さんには感謝しかありません。本当にありがとうございます。 退職後のクラスメソッドとの関わりについて 社員としてはクラスメソッド株式会社を退職しましたが、2024年7月以降も社外取締役として関与させて頂くこととなりました。合わせて関係子会社の役員も継続致します。今までのような濃密な関係ではないものの、今後もクラスメソッドの事業成長に少しでも貢献出来たらと考えておりますので、皆様よろしくお願い致します。 入社のお知らせ 2024年7月から 株式会社サッポ...
もっと読む

転職して1年が経ちました

イメージ
2024年7月1日から現職に 転職 して1年が経ちました。今日から2年目です。最初の3カ月でやったことは別途 ブログに書きました が、同僚の皆さんや家族に支えられて、無事1年目を乗り越えることが出来ました。深く感謝します。 この1年の振り返りです。 毎月1回、店舗作業をし続けた 僕はいわゆる三現主義者なので、小売企業にとって最前線である店舗で、実際に自分で業務を行い、そこで働いている皆さんのお話を直接自分で聞くことが、課題を解決するために最も重要だと思っています。 今も毎月1日は時間を空けて、色々な店舗にお邪魔させて頂き、店舗作業をし続けています。 自分で業務を行うことで見える課題、面倒くさいと思ったこと、店長さんやパートナーさんへのヒアリングを持ち帰り、改善や施策に取り入れています。 実際に解決できた課題や、将来の意思決定に役立てることが出来ています。 今後も店舗作業はし続けます。 IT領域だけでなくシェアードサービスセンターも担当することになった 先日「 2025年5月期 決算説明及び中期経営計画 」が公開されましたが、DX推進、基幹システム刷新、ITガバナンスの強化だけでなく、シェアードサービスセンターも管掌することになりました。 本部業務を集約し、効率化し、筋肉質な体制へ変革していきます。 優秀なメンバーが自ら施策を考えて推進してくれています。素晴らしい。 中期施策が明確になった 社会情勢の変化や技術のトレンドに合わせた短期的な施策は日々アップデートするのですが、企業の根幹になるシステム群を中期的にどうしていくかは明確になりました。 ここから3年間は、会社の骨格部分を組みなおし続けます。 あわせて常にアンテナを張りながら、会社の筋肉部分はバルクアップしていきます。 飲み仲間が出来た 40代～50代のおじさんしかいないのですが、毎月宴会する仲間が出来ました。 2時間の飲み放題を2セット、合計4時間、これを毎月です。 毎回カレンダーに「おじさん」という予定を入れるので、社内で不審がられています。ただおじさんが酒を飲む会だよ。 キャンプ仲間が出来た キャンプ好きの同僚がたくさんいまして、3カ月に1回程度のタイミングで、一緒にキャンプに行っています。 ソロキャンプの集まりで、みんなでそれぞれテントを張って、夜だけ一緒に宴会する、という感じのゆるさです。 このおかげで...
もっと読む

46歳になりました

イメージ
45歳は僕の人生にとって大きな岐路でした。 46歳はその岐路での選択が正解であったと胸を張れる1年にしたいです。 近況の写真を1枚置いておきます。僕と弟と長女の夫と楽しくお酒を飲んでる写真。撮影者は長女。長女夫婦とはとても仲良くさせてもらってます。 個人 無理せず健康を維持します。 昨年は右ひざの故障（腸脛靭帯炎）と腰痛（椎間板ヘルニア3か所）に悩まされました。 柔軟性の無さが原因なので、毎晩ストレッチを続けています。 筋トレは週5で続けています。 4分割で2日筋トレ→有酸素→2日筋トレ→オフの6日サイクルで回しています。 昨年も年末にかけてバルクアップしたので、年始から減量中。 こちらも無理に重量を求めず、怪我をしないように続けます。 マラソンは北海道マラソンと札幌マラソンのみを予定。 足腰に爆弾を抱えているので、定期的にLSDを挟みつつ、大会出場は極端に減らします。 とか言いながら4月にRed Bull 400に出場予定で、それに向けたトレーニング中。 電車通勤になったので読書が捗っています。 積読をだいぶ消化しました。 まだまだ積んでるので地道に読んでいきます。 そろそろビジネス書じゃなくて小説を読みたい。 逆に、飛行機に乗る機会が減ったので動画を見なくなりました。途中まで見てたアニメとかがあるけど、もう見ないかもしれない。 家族 転職してから出張が減ったので、妻と過ごす時間が増えました。 むしろそのために転職したと言っても過言ではない。 毎晩一緒にNetflixで映画を見たりゲームをしたりしてます。 週末も一緒に出掛ける機会が増えました。 もうすぐ結婚25周年です。いつもありがとう妻様。 次男が今年高校を卒業します。 本人の希望でそのまま就職予定。 これで3人とも社会人となり、僕の子育ては完全終了です。頑張ったぞ僕と妻様。 犬と猫と兎は今日も元気です。 毎晩わんことうさぎと一緒に寝ています。 仕事 転職後も忙しくやってます。 そういえば昨年の誕生日に「仕事人生のゴールを見据え始めました」って書いてたけど、まさかそのまま転職することになるとは思わなかったな。 既にいくつものプロジェクトが立ち上がっており、ここから4年間くらいはやることが既に見えてきました。 まずはきちんと成果を出し続けます。 誕生日プレゼント こちらで絶賛受付中 です。 過去のお誕生日 200...
もっと読む