Perl，使用機械化導航網頁

Question

我有一堆網頁我想通過腳本導航並抓取所有內容。我知道鏈接是每頁上的第18個鏈接。我有以下代碼爲一個測試，只需按照鏈接一次，屏幕抓取：

use strict; 
use WWW::Mechanize; 

my $start = "http://*some-webpage*"; 

my $mech = WWW::Mechanize->new(autocheck => 1); 
$mech->get($start); 
open(Output, ">mech_test.txt") or die $!; 
$mech->follow_link(url_regex => qr//, n => 18); 
print Output $mech->response()->content(); 
close(Output); 

不幸的是，我試圖訪問該鏈接有沒有在href標記。查看頁面的鏈接如下：

<a href="" onclick="return _doClick('CA256D6E001A7020.80376e858b0791b1ca256d7300098304/$Body/0.155A', this, null)">Next &gt;&gt;</a> 

我相信這是javascript，沒有辦法機械化可以按照這個鏈接。任何想法來解決這個問題？

Answer 1

如果JS很簡單，那麼可以是純粹的perl。

你必須找到JavaScript子程序，如果它合理簡單，你可以重現它作爲Perl子。

然後你可以自己建立鏈接。

my @javascript_links = $html =~ m#return _doClick\((.*?)\)#gis; 
#array contain 'CA256D6E001A7020.80376e858b0791b1ca256d7300098304/$Body/0.155A', this, null 
my @links = extract_links(@javascript_links); 
foreach my $link (@links){ 
    $mech->get($link) 
} 
#*** 
sub extract_links{ 
my $line = shift; 
my @params = split(/,/,$line); 
trim(@params); 
#mimic JS logic here, whatever it is 
my $link = "/some/path/here/to/add/some.php?someparam1=val1&param=$params[0]"; 
return $link; 

} 

Answer 2

你應該使用WWW::Scripter模塊，它是使用W3C DOM，並提供腳本支持的WWW::Mechanize一個子類。