サーバサイドJavaScriptとjQueryでスクレイピング

さくら — Fri, 07 Jan 2011 16:06:46 +0000

jQuery でスクレイピングできたらセレクタ使えるし便利かなーと思ったりしたんですが、Rhino と env-js を使うと超簡単にできたのでレポートしてみます。

Rhino と env-js って何ぞい？

Rhino ってのは Java で書かれた JavaScript エンジンです。Rhino を使うとコマンドラインから JavaScript を実行できます。

Rhino には DOM が無いので単体では jQuery を実行することはできませんが、env-js という DOM ライブラリを使用するとこの辺はクリアできます。

env-js の中に jQuery を使ったサンプルがいくつか入ってますので、Java とか JavaScript とか詳しい方はそちらを見てもらった方が早いと思います。

使ってみる

まず env-js をビルドしないといけないのでその辺の手順から説明します。

とりあえず Rhino は Java で書かれてますので、動かすのに Java が要ります。あと env-js をコンパイルするのに ant が必要です。持ってなかったら以下のリンクからダウンロードして適当にインスコしてください。

Java6
ant

インスコしたら github から env-js を clone し、Rhino 用の env-js をコンパイルします。

$ git clone https://github.com/thatcher/env-js.git
$ cd env-js
$ ant
Buildfile: build.xml
...

ant の実行が終わると、dist/env.rhino.js というのができます。これが Rhino 用の env-js です。

env-js には Rhino 本体と jQuery が添付されています。rhino/js.jar が Rhino、plugins/jquery.js が jQuery です。

env-js のソースツリーのまま使っても問題ありませんが、説明がややこしいので実行に必要なファイルを全部どこか適当なディレクトリにコピーします。実際にスクレイピングする際はこの辺はよしなにしてください。

mkdir WHERE
cp dist/env.rhino.js rhino/js.jar plugins/jquery.js WHERE
cd WHERE

以上で準備は終わりです。早速 jQuery でサーバサイドスクレイピングしてみましょう。

動かしてみる

大筋を理解するために簡単な HTML をスクレイピングするコードを書いてみます。

まず HTML はこれ。exam1.html として保存してください。

<html>
<head>
<meta http-equiv="Content-Type" content="text/html;charset=utf-8" />
</head>
<body>
<ul>
<li><a href="http://www.google.co.jp/">Google</a></li>
<li><a href="http://www.yahoo.co.jp/">Yahoo</a></li>
</ul>
</body>
</html>

次に exam1.html をスクレイピングする JavaScript です。exam1.js として保存してください。

JavaScript では HTML ファイルから a タグを読み込み (a タグのテキスト, URL) の並びで CSV に出力しています。

// exam1.js
// importPackage で Rhino から Java のクラスを直接使える
importPackage(java.io);

// env-js と jQuery をロード
load('env.rhino.js');
load('jquery.js');

// exam1.html を読み込む
window.location = 'exam1.html';

// document.ready を手動で起動する必要あり
jQuery.ready();

// $('a') を CSV にして exam1.txt へ出力する
var out = new PrintWriter(new OutputStreamWriter(
new FileOutputStream("exam1.txt"), "UTF-8"));
$('a').each(function() {
var obj = $(this);
out.println(obj.text() + ',' + obj.attr('href'));
});
out.close();

exam1.html、exam1.js ともに env.rhino.js とかと同じディレクトリに置いてください。できたら動かしてみます。

Rhino は直接実行可能な jar ファイルになっていますので、以下のように java から起動できます。起動する際、LANG 環境変数に適切な文字コードをセットしておかないと Java の文字コード変換ルーチンがちゃんと動かないようなので注意してください。

あと Rhino を起動する際に、コマンドライン引数で実行する JavaScript ファイルを指定できるらしいのですが、手元の環境だとそのやり方では起動時にエラーが出ましたので load() を使ってスクリプトを起動しています。この辺の問題が無い環境の方は、コマンドラインから動かした方が便利だと思います。

$ env LANG=ja_JP.UTF-8 java -jar js.jar
Rhino 1.7 release 2 2009 03 22
js> load('exam1.js');
[ Envjs/1.6 (Rhino; U; Linux i386 2.4.18; en-US; rv:1.7.0.rc2)
Resig/20070309 PilotFish/1.2.35 ]
js> quit();
$ cat exam1.txt
Google,http://www.google.co.jp/
Yahoo,http://www.yahoo.co.jp/
$

とりあえず CSV はちゃんとできてるようです。

もう少し本格的に

ローカルのファイルをスクレイピングしてもあんまりうれしくないので、Google の検索結果をスクレイピングしてみることにします。

といっても基本の部分は先ほどのコードでほとんどできあがってまして、window.location を Google 検索の URL に変えて、jQuery のセレクタを Google の検索結果に合わせて書き換えればできあがりです。

// exam2.js
importPackage(java.io);

load('env.rhino.js');
load('jquery.js');

window.location = 'http://www.google.co.jp/search?q=AAA&ie=utf-8&oe=utf-8';
jQuery.ready();

var out = new PrintWriter(new OutputStreamWriter(
new FileOutputStream("exam2.txt"), "UTF-8"));
$('#ires li.g a.l').each(function() {
var obj = $(this);
out.println(obj.attr('href') + ',' + obj.text());
});
out.close();

スクレイピングするコードは正規表現がグっちゃらグっちゃらになってることが多いと思いますが、jQuery を使うとすごいすっきりしたコードになっていい感じです。

スクリプトができたら exam1.js と同じように実行します。

$ env LANG=ja_JP.UTF-8 java -jar js.jar
Rhino 1.7 release 2 2009 03 22
js> load('exam2.js');
[ Envjs/1.6 (Rhino; U; Linux i386 2.4.18; en-US; rv:1.7.0.rc2)
Resig/20070309 PilotFish/1.2.35 ]
js> quit();
$ cat exam2.txt
http://www.avexnet.or.jp/aaa/index.html,AAA（トリプル・エー）OFFICIAL WEBSITE
http://ja.wikipedia.org/wiki/AAA_(%E9%9F%B3%E6%A5%BD%E3%82%B0%E3%83%AB%E3%83%BC%E3%83%97),AAA (音楽グループ) - Wikipedia
http://www.youtube.com/watch?v=y3qXINoOURI,AAA（トリプル・エー）/ MUSIC!!!
http://www.youtube.com/watch?v=zrXBmpuikBM,AAA / 負けない心
http://www.actagainstaids.com/,Act Against AIDS - エイズには「知るワクチン」。
http://www.aaaf.jp/,アフィリエイトを進化させたアドバンスドアクティブアフィリエイト(AAA)
http://musicmovie.blog48.fc2.com/blog-category-9.html,AAA/トリプル・エーのPV動画を無料視聴/試聴+歌詞 - Music-PV Style -
http://www.oricon.co.jp/prof/artist/373048/,AAAの画像、AAAの経歴・プロフィールならオリコン芸能人事典 ...
http://www.aaaparis.net/,フランス留学 AAA言語学院
http://www.pachinko-live.com/,Pachinko Live
http://aaa.avex.jp/,avex artist academy
http://www.daily.co.jp/newsflash/2011/01/07/0003722836.shtml,ＡＡＡ・宇野紅白は最高でした！
$

ちゃんと動いてるようです。

2011年はサーバサイド JavaScript の年らしいですが、ついでに jQuery で爆速スクレイピングコーディングとかいかがでしょう。

んでは

さくらたんどっとびーず » Rhino

サーバサイドJavaScriptとjQueryでスクレイピング

Rhino と env-js って何ぞい？

使ってみる

動かしてみる

もう少し本格的に