スキップしてメイン コンテンツに移動

Twitter廃人をRedshift + Tableau Desktopで丸裸にする

やってはみたけど会社のブログに書くには微妙だったシリーズ。

皆さんご存知かも知れませんが、当方Tweet数20万オーバーのTwitter廃人です。


さて、Twitterには自アカウントの過去の全ツイートを取得できる機能があります。取得は[Settings]-[Account]-[Your Twitter Archive]から[Request Your Archive]ボタンを押すことで、登録してあるメールアドレスに対しダウンロードリンクが通知される仕組み。で、このアーカイブには全ツイートがCSVとして格納されています。

このCSVをAmazon Redshiftに突っ込んでTableau Desktopで分析してやるぜ、というのが今日の主旨です。

前提条件

この辺は特に説明しません。

  1. Redshiftを普通に構築しておきます。Database名は"Twitter"で。
  2. Redshiftにpsqlコマンドで接続可能なようにしておきます。ローカル環境でもEC2でも構いません。
  3. Redshiftに接続可能なIAMアカウントを用意しておきます。
  4. S3のバケットにダウンロードしたCSV(tweets.csv)を配置しておきます。

Redshiftにデータを突っ込む

Redshiftにpsqlコマンドで接続します。
$ psql -h myredshift.xxxxx.ap-northeast-1.redshift.amazonaws.com -U admin -d twitter -p 5439
ユーザ admin のパスワード:
psql (9.2.9, サーバー 8.0.2)
注意: psql バージョン 9.2, サーバーバージョン 8.0.
         psql の機能の中で、動作しないものがあるかもしれません。
SSL 接続 (暗号化方式: ECDHE-RSA-AES256-SHA, ビット長: 256)
"help" でヘルプを表示します. 
とりあえずcreate tableします。Twitterのtimestampは[2014-07-09 02:59:12 +0000]みたいな感じになっているので、RedshiftのDate型にはそのまま入りません。面倒臭いのでとりあえずvarcharで突っ込んでおきます。
twitter=# create table tweet (
twitter(# tweet_id bigint,
twitter(# in_reply_to_status_id bigint,
twitter(# in_reply_to_user_id bigint,
twitter(# timestamp varchar,
twitter(# source varchar,
twitter(# text varchar,
twitter(# retweeted_status_id bigint,
twitter(# retweeted_status_user_id bigint,
twitter(# retweeted_status_timestamp varchar  ,
twitter(# expanded_urls varchar);
CREATE TABLE
作ったtableにcsvをcopyコマンドでぶっ込みます。IGNOREHEADERで1行目のヘッダ行は読み込まない、空のカラムはNULLとして入れておく、ってことをしてます。
twitter=# COPY tweet FROM 's3://mybucket/tweets.csv'
twitter-# CREDENTIALS 'aws_access_key_id=%ACCESSKEY%;aws_secret_access_key=%SECRETKEY%'
twitter-# CSV
twitter-# TRUNCATECOLUMNS
twitter-# IGNOREHEADER AS 1
twitter-# EMPTYASNULL;
INFO:  Load into table 'tweet' completed, 202324 record(s) loaded successfully.
COPY
そんでcommit。
twitter=# commit;
COMMIT

Tableau DesktopからRedshiftに接続する

さて、Tableau Desktopを立ち上げてみます。なおTableau Desktopは全機能利用可能な無償トライアル版があります。Redshift接続用のドライバをインストールする必要があるのでこちらからダウンロードしてインストールしましょう。

Tableau Desktopを立ち上げて、[データに接続]をクリック。


接続先サーバから[Amazon Redshift]をクリック。


Amazon Redshiftへの接続情報を入力して[接続]ボタンをクリック。


[スキーマ]から"Public"を選択、[表]の"tweet"を右上にドラッグします。

 すると下欄にデータが表示されます。前述の通り、timestampが文字列として格納されているので、Tableau Desktopの力で変換してしまいます。


該当行で[日付と時刻]を選択。


するとtimestampがちゃんと日付と時刻として表示されます。


分析してみる

例えば月ごとのtweet数を集計してみる。2010年4月の5192tweetが最大。1日100以上tweetしてることになります。バカじゃないか俺


さらにユーザ毎のリプライ数を集計してみます。2位3位に圧倒的な差をつけていたのが@koiwa仲良過ぎじゃないのか


まとめ

20万レコードくらいなら一瞬でグラフ表示してくれます。よく「Redshift + Tableauの組み合せ最強」と言われるけど、こりゃ確かに簡単ですね。今回は簡単な集計しかしていないけれど、Tableauの計算フィールドを使うことでより高度な分析が可能だし、データインポートのバッチの中で付加レコードを作ってもいいでしょう。例えばtext項目を形態素解析して別テーブルに突っ込むことで、どの時期にどんな単語をtweetしているのかを分析すれば、僕の趣味嗜好の傾向が分かって面白そうだなぁ。

ってことで、面白いですよ、Tableau。

コメント

このブログの人気の投稿

リモートワークは仕組みじゃなくて文化です

ここ最近、コロナウイルス関連の報道が数多くあるが、その中でも多くの企業がリモートワークを推奨するという記事やプレスリリースが注目を浴びている。それ自体はもちろん大変望ましい。不要な対面での接点を減らすことで感染リスクを抑えることが出来るし、通勤ラッシュや首都圏への経済集中も抑制出来るからだ。

だがちょっと待ってほしい。リモートワークというのは社員が在宅で働くことだけを指すのではない。社員が在宅で働いても出社時と同じパフォーマンスが出ることをリモートワークというのだ。だからこの記事のタイトルで「リモートワークは仕組みじゃなくて文化です」と書いた。

弊社がリモートワークを導入したのは2011年の東日本大震災がきっかけだけれど、9年経った今、どのようにリモートワークを運用して、そしてパフォーマンスを維持しているかを共有したいと思う。以下のことが文化として根付けば、その会社のメンバーはリモートワークでもオフィスでも同じようなパフォーマンスが発揮出来るはずだ。

1.勤怠を厳密に管理しない え、だってダルくないすか。管理するの。何時に働き始めて何時に働き終わったかなんて関係ないっしょ。大事なのは働いた結果のアウトプットであり、働いた時間なんか問題じゃない。

2.休憩も厳密に管理しない え、だってダルくないすか。管理するの。何時に休憩し始め(ry

3.工数を厳密に管理しない え、だ(ry

4.目に見えるアウトプットを意識する 当然のことながら、仕事は結果が全てであり、結果が出なければどこで何時間働いたって意味がない。そして結果というのは目に見えなければ意味がない。 だからこそ、アウトプットを出すこと、アウトプットを評価することに徹底的にこだわる。それはドキュメントかもしれないし、お客様やパートナーとコミュニケーションするためのメールかもしれないし、社内の改善活動かもしれないし、メンバーへのフォローかもしれないし、ブログかもしれないし、Slackでの発言かもしれない。 とにかく目に見えないものは周りも認められない。目に見えるアウトプットしか評価されないし、そのために徹底的にアウトプットするんだ、という意識を社内でしっかりと作ることが重要。

5.コミュニケーションコストを意識する どんなに頑張っても、オンラインのコミュニケーションはオフラインのコミュニケーションの密度を越えられない…

41歳になりました

30代の頃は40歳になるまでの1年1年を意識しながら生きていたんだけど、40歳を越えてから自分の年齢にまるで興味が無くなり「あれ、今40歳だっけ、41歳だっけ」くらいの感じだったのですが、昨晩妻に確認したところ今日で41歳になりました。本厄ですが今の所は大きなトラブルもなく、もしかしたらコロナウイルスって僕が厄年のせいかな?くらいの気持ちでおります。

折角なので近況報告です。

コロナウイルス ... 現在弊社ではBCP体制として全オフィス閉鎖、全員在宅勤務、出張禁止となっています。僕も在宅勤務をしており、3月の出張を全てキャンセルしました。丸々一ヶ月自宅にいるのはなんと2015年8月以来4年7ヶ月ぶりです。ほぼ5年じゃん...この5年出張しかしてねえじゃん俺...おかげで毎朝6時起床で飲酒ゼロという健康的な生活を送っております。仕事 ... 2019年7月に弊社執行役員から取締役に変わったのですが、「使用人兼務役員だし大した変わらないだろ」と高をくくっていたところ、なんだかんだと自分の部署以外にも目を向ける必要が出てきたり、海外拠点のビジネスについても責任が伴ったりと、なんか結構変わっちゃったな、という感じです。41歳もまた新しいチャレンジをする一年になる予定なのでお楽しみに。家庭 ... 長女が大学進学して一人暮らしを始め、一安心していたところに長男が酒と煙草で停学2連チャンし自主退学、何とか私立高校に編入させて寮に引っ越しをさせ、結果的に妻と次男と3人暮らし、というのが現状です。この長男についてはまぁちょっと色々酷い時期があったものの、正直なところ僕も他人様に胸を晴れるほど立派な高校生だったわけでもないし、長男自体は編入後にすごく大人になったことから、コレ自体はまぁ長男にとって必要な経験だったんだろう、とポジティブに捉えています。彼も来年は高校卒業を迎えるので、ちゃんと手に職つけてくれると良いな。あと長女には2歳年上の彼氏が出来ました。うん、お父さん大丈夫。お父さん冷静。お父さんちょっとジム行ってくる。英語 ... 1日2時間の英語の勉強時間をキープし続けて、まぁとりあえず海外に独りで行っても困らないし、英語のミーティングは70%くらいは言ってることわかる、たまに返事も出来る、くらいが現状。今年も勉強頑張ります。大学 ... 僕は工業高校卒ですぐ就職しており大学…

贅沢に対する恐怖に怯えている

僕が小さい頃、我が家は貧乏だった。

とは言え、極端なほどではない。家もあったし、サッカーという習い事も出来ていたし、三食ちゃんと食べることが出来た。でも例えば外食はしないとか、ブランドものの服は着ないとか(今思い出せばジャージ以外着たことなかった)、旅行には行かないとか、ファミコンを買ってもらえないとか、そういうレベルでは裕福ではなかった。母子家庭だったので父親はおらず、慰謝料は一銭も入ってくることがなく、母はいつも頑張って働いてくれていた。

そんな母の姿を見ていたから、僕もとにかく金を稼がなくては生きていないという想いが強く、中学時代は知り合いの伝手でちょっとした日銭が稼げるアルバイトをしていて、中学卒業後にはすぐに手に職を得ることが出来そうな工業高校に進学した。高校時代は平日も土日もずっとアルバイトで、年末年始も休まず働いていた。その後進学したいと思うようになり、高度専門士の取得が可能な4年生の専門学校への入学が決まっていたものの、金銭的な事情から進学を諦めざるを得なかった。結果として、高校卒業にすぐ就職した。

その後21歳という若年で結婚し、長女が生まれたけど、もちろん高卒で21歳の若者の給与なんかたかだか知れており、必死に働いた。本業だけでは食って行けず、知人の紹介で副業を持ち、朝8時から夜中3時まで働いた。結婚後の幸せ太りで10kg増えた僕の体重は、一番過酷だった2ヶ月間であっという間に元に戻った。

そんながむしゃらに生きて、今の僕がある。

率直に言えば、今の僕は僕の人生の中で最も金銭的な余裕がある。40歳になり、ある程度の給与を貰えるようになり、幸いなことにボーナスまでもらえる(僕がボーナスをもらったのは今の会社が初めてだ。ボーナスを初めてもらった時、「あ、ボーナスって本当に存在するんだな」と思った)ような状況だ。すごく幸せなことだと思う。

しかし、だからこそ、僕は贅沢が怖い。贅沢をすること、それに慣れること、そして贅沢にスポイルされることが怖い。必死に働いて、節約して、誰もやらないような泥臭い仕事をして、それで何とか生きていた経験の積み重ねが、今の僕を作っている。僕が今仕事をさせてもらえているのは、その経験を買ってもらえているからだけれど、それも「たまたま」であり、仕事がなくなった時にまた同じように必死の努力をしなくてはならない。必死の努力をするのは…