Perl：意外的行爲與網站刮

Question

我使用WWW::Mechanize和HTML::TokeParser解析網站的更新。我不能在網站上提供任何細節，因爲它需要登錄。該網站基本上有一個數據表。我只是簡單地解析html直到我到達表的第一行，檢查它是否是我最後一次刮的值，如果不發送郵件。當我在現有的表格條目上進行測試時，這非常有效，除非發生實際更新時，刮擦並不會停留在最後的刮擦處。它會一直髮送郵件，直到表格耗盡並無限期重複。我無法弄清楚發生了什麼事。我知道沒有任何人可以在沒有網站的情況下進行驗證，但無論如何我都會發布我的代碼。我會很欣賞可能出錯的想法。

代碼：

sub func{ 
    my ($comid, $mechlink) = @_; 

    my $mechanize = WWW::Mechanize->new(
     noproxy => 0, 
     stack_depth => 5, 
     autocheck => 1 
    ); 

    $mechanize->proxy(https => undef); 
    eval{ 
      my $me = $mechanize->get($mechlink); 
      $me->is_success or die $me->status_line; 
    }; 
    return $comid if ($@); 

    my $stream = HTML::TokeParser->new(\$mechanize->{content}) or die $!; 

    while ($tag = $stream->get_tag('td')) { 
    if($tag->[1]{class} eq 'dateStamp') { 
     $dt = $stream->get_trimmed_text('/td'); 
     $tag = $stream->get_tag; 
     $tag = $stream->get_tag; 
     $name = $stream->get_trimmed_text('/td') if($tag->[1]{class} eq 'Name'); 
     return $comid unless($tag->[1]{class} eq 'Name'); 
     $tag = $stream->get_tag; 
     $tag = $stream->get_tag; 
     $tag = $stream->get_tag; 
     $tag = $stream->get_tag; 
     $info = $stream->get_trimmed_text('/td'); 
     print "$name?\n"; 
     return $retval if($info eq $comid); 
     print "You've Got Mail! $info $comid\n"; 
     $tcount++; 
     $retval = $info if($tcount == 1); 
     $tag = $stream->get_tag; 
     $tag = $stream->get_tag; 
     $tag = $stream->get_tag; 
     $link = "http://www.abc.com".$tag->[1]{href} if ($tag->[0] eq 'a'); 
     my $outlook = new Mail::Outlook(); 
     my $message = $outlook->create(); 
     $message->To('abc@def.com'); 
     $message->Cc('abc@def.com;abc@def.com'); 
     my $hd = "$name - $info"; 
     $message->Subject($hd); 
     $message->Body(" "); 
     $message->Attach($link); 
     $message->send; 
    } 
} 
}  

Answer 1

對於這種我更喜歡使用HTML::TableExtract任務。這是非常容易使用：

use HTML::TableExtract; 
$te = HTML::TableExtract->new(headers => [qw(header1 header2)]); 
$te->parse($html); 
foreach $ts ($te->tables) { 
    foreach $row ($ts->rows) { 
     my ($field1, $field2) = @$row; 
     # Your code here 
    } 
} 

Answer 2

有時，網站有變化。我經常使用Web :: Scraper。使用XPath編寫元素是可能的。

use Web::Scraper; 
use URI; 

my $uri = URI->new("http://...."); 
my $entries = scraper { 
    process 'id("content")/div[@class="section"]', 'news[]' => scraper { 
     process 'h2', title => 'TEXT'; 
     process 'p', body => 'TEXT'; 
    }; 
}; 

# if you have instance of WWW::Mechanize, set like following. 
# $entries->user_agent($mech); 

my $res = $entries->scrape($uri); 
for my $entry (@{$res->{news}}) { 
    # use $entry->title or $entry->body 
} 
# language: lang-perl 

Answer 3

當你匹配你所尋找的東西時，退出while循環，否則它會一直循環。

while ($tag = $stream->get_tag('td')) { 
    if($tag->[1]{class} eq 'dateStamp') { 
     $dt = $stream->get_trimmed_text('/td'); 
        ... 
        ... 
     last; 
    } 
} 

Answer 4

您將$comid傳遞給您的函數。在您的while循環中，首先設置$info，然後將其與$comid進行比較。如果兩個值匹配，則退出該功能。如果它們不匹配，則發送電子郵件。

一旦電子郵件已發送，循環繼續，並處理下一個標記。當你下一次比較$info和$comid時，我想他們會有所不同，因爲你已經轉向下一個標籤。因此會發送另一封電子郵件。

我不知道這是否是預期行爲 - 您是打算爲表中的每個更新發送一封電子郵件，還是隻有一封電子郵件，如果表中有任何更新？如果您只需發送一封電子郵件，無論有多少次更新，只要在發送第一封電子郵件後退出循環 - 正如manu_v所建議的那樣。

我也會考慮重構你的代碼，使它更強大 - 所有的get_tag調用看起來有點脆弱。查看其他答案，瞭解如何執行此操作的建議。

Answer 5

聽起來，這是循環終止比使用TokeParser更多的問題。這聽起來像你的循環繼續迭代，即使你得到你正在尋找的價值。

您可能需要做這樣的事情：

While($x) { 

    . 
    . 
    . 
    last if ($foundWhatINeeded) 
}