Twitter廃人をRedshift + Tableau Desktopで丸裸にする

やってはみたけど会社のブログに書くには微妙だったシリーズ。

皆さんご存知かも知れませんが、当方Tweet数20万オーバーのTwitter廃人です。


さて、Twitterには自アカウントの過去の全ツイートを取得できる機能があります。取得は[Settings]-[Account]-[Your Twitter Archive]から[Request Your Archive]ボタンを押すことで、登録してあるメールアドレスに対しダウンロードリンクが通知される仕組み。で、このアーカイブには全ツイートがCSVとして格納されています。

このCSVをAmazon Redshiftに突っ込んでTableau Desktopで分析してやるぜ、というのが今日の主旨です。

前提条件

この辺は特に説明しません。

  1. Redshiftを普通に構築しておきます。Database名は"Twitter"で。
  2. Redshiftにpsqlコマンドで接続可能なようにしておきます。ローカル環境でもEC2でも構いません。
  3. Redshiftに接続可能なIAMアカウントを用意しておきます。
  4. S3のバケットにダウンロードしたCSV(tweets.csv)を配置しておきます。

Redshiftにデータを突っ込む

Redshiftにpsqlコマンドで接続します。
$ psql -h myredshift.xxxxx.ap-northeast-1.redshift.amazonaws.com -U admin -d twitter -p 5439
ユーザ admin のパスワード:
psql (9.2.9, サーバー 8.0.2)
注意： psql バージョン 9.2, サーバーバージョン 8.0.
         psql の機能の中で、動作しないものがあるかもしれません。
SSL 接続 (暗号化方式: ECDHE-RSA-AES256-SHA, ビット長: 256)
"help" でヘルプを表示します. 
とりあえずcreate tableします。Twitterのtimestampは[2014-07-09 02:59:12 +0000]みたいな感じになっているので、RedshiftのDate型にはそのまま入りません。面倒臭いのでとりあえずvarcharで突っ込んでおきます。
twitter=# create table tweet (
twitter(# tweet_id bigint,
twitter(# in_reply_to_status_id bigint,
twitter(# in_reply_to_user_id bigint,
twitter(# timestamp varchar,
twitter(# source varchar,
twitter(# text varchar,
twitter(# retweeted_status_id bigint,
twitter(# retweeted_status_user_id bigint,
twitter(# retweeted_status_timestamp varchar  ,
twitter(# expanded_urls varchar);
CREATE TABLE
作ったtableにcsvをcopyコマンドでぶっ込みます。IGNOREHEADERで1行目のヘッダ行は読み込まない、空のカラムはNULLとして入れておく、ってことをしてます。
twitter=# COPY tweet FROM 's3://mybucket/tweets.csv'
twitter-# CREDENTIALS 'aws_access_key_id=%ACCESSKEY%;aws_secret_access_key=%SECRETKEY%'
twitter-# CSV
twitter-# TRUNCATECOLUMNS
twitter-# IGNOREHEADER AS 1
twitter-# EMPTYASNULL;
INFO:  Load into table 'tweet' completed, 202324 record(s) loaded successfully.
COPY
そんでcommit。
twitter=# commit;
COMMIT

Tableau DesktopからRedshiftに接続する

さて、Tableau Desktopを立ち上げてみます。なおTableau Desktopは全機能利用可能な無償トライアル版があります。Redshift接続用のドライバをインストールする必要があるのでこちらからダウンロードしてインストールしましょう。

Tableau Desktopを立ち上げて、[データに接続]をクリック。


接続先サーバから[Amazon Redshift]をクリック。


Amazon Redshiftへの接続情報を入力して[接続]ボタンをクリック。


[スキーマ]から"Public"を選択、[表]の"tweet"を右上にドラッグします。

 すると下欄にデータが表示されます。前述の通り、timestampが文字列として格納されているので、Tableau Desktopの力で変換してしまいます。


該当行で[日付と時刻]を選択。


するとtimestampがちゃんと日付と時刻として表示されます。


分析してみる

例えば月ごとのtweet数を集計してみる。2010年4月の5192tweetが最大。1日100以上tweetしてることになります。バカじゃないか俺。


さらにユーザ毎のリプライ数を集計してみます。2位3位に圧倒的な差をつけていたのが@koiwa。仲良過ぎじゃないのか。


まとめ

20万レコードくらいなら一瞬でグラフ表示してくれます。よく「Redshift + Tableauの組み合せ最強」と言われるけど、こりゃ確かに簡単ですね。今回は簡単な集計しかしていないけれど、Tableauの計算フィールドを使うことでより高度な分析が可能だし、データインポートのバッチの中で付加レコードを作ってもいいでしょう。例えばtext項目を形態素解析して別テーブルに突っ込むことで、どの時期にどんな単語をtweetしているのかを分析すれば、僕の趣味嗜好の傾向が分かって面白そうだなぁ。

ってことで、面白いですよ、Tableau。

このブログの人気の投稿

転職のお知らせ

イメージ
退職のお知らせ 2024年6月末をもって クラスメソッド株式会社 を退職致しました。 本来であればお世話になった皆様に直接ご挨拶すべきところではございましたが、退職後までお伝えすることが出来ず、大変申し訳ございません。 略儀ながらブログでのご挨拶にて失礼致します。 在籍中について 2014年1月に入社してから丸10年半、勤めさせて頂きました。 当初はソリューションアーキテクトとして入社し、AWSに関するコンサルティングや環境構築に従事させて頂きました。当時のクラスメソッド株式会社はまだ東京オフィスしか無い小さな会社で、僕も北海道から半年間単身赴任で東京に滞在しました。 その後2014年7月に北海道に戻って来るのと同時に札幌オフィスを立ち上げ、以降は部長->本部長->執行役員->取締役と、幅広い経験を積ませて頂きました。また海外子会社にも役員として関わらせて頂きましたので、何度も海外出張する機会も頂きました。 これもひとえに横田社長の度量の広さと、たくさんサポートして頂いた同僚の皆さん、そして協業させて頂いたパートナーの皆さんのおかげです。長い間お世話になりました。 ありがとうございました！ 退職の経緯について 私事ではありますが、今年の3月で45歳になりました。一般的な定年年齢である60歳まで残りたった15年、65歳だとしても20年しかありません。この短い時間で、僕はどれくらい新しいチャレンジが出来るんだろう、どのくらい新しい知見や経験を得ることが出来るんだろう、と最近ずっと考えていました。もちろん最初から転職を考えていたわけではなく、今いる会社の中で新しいチャレンジをすることも視野に入れていました。 しかし、たまたま良い出会いがあり、退職という選択をするに至りました。快く受け入れてくれた社長と同僚の皆さんには感謝しかありません。本当にありがとうございます。 退職後のクラスメソッドとの関わりについて 社員としてはクラスメソッド株式会社を退職しましたが、2024年7月以降も社外取締役として関与させて頂くこととなりました。合わせて関係子会社の役員も継続致します。今までのような濃密な関係ではないものの、今後もクラスメソッドの事業成長に少しでも貢献出来たらと考えておりますので、皆様よろしくお願い致します。 入社のお知らせ 2024年7月から 株式会社サッポ
もっと読む

40代の減量戦略 〜体重-14kg、体脂肪率-12%を実現した具体的な方法〜

イメージ
コロナ禍はもちろん辛い時期ではあったけど、生活習慣が良い方へ大きく変わた時期でもあった。具体的には食生活がほぼ自炊になり、酒量が減り、ジム通いを再開し、マラソン大会にも定期的に参加した。そんな中で一念発起し、きちんと減量に取り組んで、体重75kg→61kg（-14kg）、体脂肪率25%→13%（-12%）を実現した。 具体的な体重遷移は以下。2020年12月がMAXの75kg、その後減量とリバウンドを繰り返しつつ70kg前後を推移、2022年後半で一気に落とし、2023年1月30日時点で61kgとなった。 そこで、その具体的な方法をお伝えしたい。減量とは3つの要素の組み合わせだ。 食事 運動 休養 この順番はそのまま優先順位でもある。それぞれについて以下に説明する。 0.プロにアドバイスをもらう 3つの要素と言ったがあれは嘘だ。すまない。もっと重要なことがある。それはプロにアドバイスをもらうことだ。 WHO NOT HOWという本がある。 WHO NOT HOW　「どうやるか」ではなく「誰とやるか」　 posted with AmaQuick at 2023.01.21 ディスカヴァー・トゥエンティワン (2022-05-27T00:00:01Z) ダン・サリヴァン(著), ベンジャミン・ハーディ(著), 森由 美子(翻訳) Amazon.co.jpで詳細を見る 要約すると、起業家や経営者がやるべきことはビジネスを成功させることだけれど、人は皆スーパーマンではなく、得意なことと不得意なことがあるんだから、得意なことは得意な人に一任することが大事なんだよ、という内容の本。 これは減量についても同じ。本を読んだりYoutubeで動画を見て、実際に減量出来たのであればそれはそれで構わないし、そういう人はこのブログ投稿を読まないだろう。 自分で学んで、自分でチャレンジして、それでも減量出来ないのであれば、素直に投資してプロのアドバイスをもらったほうが効率が良い。具体的にはパーソナルトレーナーだ。パーソナルトレーナーは運動生理学やスポーツ栄養学などについて学び実践してきた人
もっと読む

妻と長女とスキーしてきた

今日は妻と長女とスキーに行ってきました。今期3回目、妻と行くのは初めてです。場所は初心者に優しいセントレジャー北広島スキー場。一日券を購入し、10:00～17:00まで滑ってきました。 長女はさすがに慣れてきたので、ボーゲンでの滑走は問題なし。あとは重心移動とか、基礎を何度かやれば大分良くなりそうです。妻は元々運動が苦手なのですが、やっぱりスキーも「とりあえず滑れる」というレベルだったので、基礎練習をしました。 妻が長女を見てくれる時間を作ってくれた為、合計2時間ほど僕に自由時間がもらえましたので、全速力スラロームと、ジャンプを繰り返し練習しました。普通にジャンプするのは問題無いんだけど、スプレッドするとちょっとバランスが危うい。もう若くない証拠か...でも学生時代より恐怖感が薄れて大胆に飛べる気がします。それはそれでマズイのかも知れないけど(笑) 子供に付き添って滑るのも楽しいけれど、やっぱり自分の滑りが出来るのは楽しかったので、今期もう一回くらい、自分のスキーを滑りに行きたいです。
もっと読む