如何僅使用LWP獲取網頁的開頭？

Question

有沒有人知道在GET或POST請求中只獲取網頁50％的最佳方式？我讀取的網頁需要10,20秒才能完全加載，而我只需要從頁面的開頭只過濾幾行。

Answer 1

use 5.010; 
use strictures; 
use LWP::UserAgent qw(); 

my $content; 
LWP::UserAgent->new->get(
    $url, 
    ':content_cb' => sub { 
     my ($chunk, $res) = @_; 
     state $length = $res->header('Content-Length'); 
     $content .= $chunk; 
     die if length($content)/$length > 0.5; 
    }, 
); 

Answer 2

如果Web應用程序需要很長時間才能呈現頁面，通常無法通過獲取頁​​面的「一半」來加速該過程。

頁面將在所有數據庫查詢和實際呈現完成後發送。而這些可能是長時間拖延的原因。

Answer 3

如果有問題的網站提供了Content-Length標題，您可以問一下要發送多少數據並只請求一半數據。

此代碼演示。

use strict; 
use warnings; 

use LWP; 

my $ua = LWP::UserAgent->new; 
my $url = 'http://website.test'; 

my $resp = $ua->head($url); 
my $half = $resp->header('Content-Length')/2; 

$resp = $ua->get($url, Range => "bytes=1-$half"); 
my $content = $resp->content;