2007/12/20

MyMiniCity部を巡回するPerlスクリプト

これの続き。今度は全部Perlでやってみました。MyMiniCity部のHTMLを取得して、MyMiniCityのURLを抽出して、GETしてます。これをCronで動かすだけ。ツッコミ募集。


#!/usr/bin/perl

use LWP::UserAgent;
use HTTP::Request;
use HTTP::Response;
use HTML::LinkExtor;

# MyMiniCity CluB
my $URL = 'http://twitter.g.hatena.ne.jp/keyword/MyMiniCity%E9%83%A8';

my $proxy = new LWP::UserAgent;
my $req = HTTP::Request->new('GET' => $URL);
my $res = $proxy->request($req);

my $p = HTML::LinkExtor->new(unlink(),$URL);
$p->parse($res->{_content});
for $link ($p->links){
my $href = join(" ", @{$link});
if ($href =~ /.*http:\/\/.*\.myminicity\.com/) {
$href =~ s/a\shref\s//;
my $proxy = new LWP::UserAgent;
my $req = HTTP::Request->new('GET' => $href);
my $res = $proxy->request($req);
sleep(5);
}
}

exit;