lwp

2熱度

1回答

我很難從特定的網頁抓取日期，因爲日期顯然是一個傳遞給javascript函數的參數。我在過去寫了一些簡單的刮板，沒有任何重大問題，所以我沒有想到會出現問題，但我正在爲此而苦苦掙扎。該頁面在定期爲yyyy/mm/dd格式5-6日這樣的日期格式（「2012/02/07」）理想我想刪除一切除了半打日期，我想保存在一個數組中。在這一點上，我甚至不能成功獲得一個約會，更不用說所有的約會了。這可能只是一個畸

0熱度

3回答

Perl：爲什麼這個網頁刮板正則表達式工作不一致？

我遇到了另一個問題，涉及到一個網站，我想刮。基本上我已經剝離了我不想從頁面內容中獲得的大部分內容，也感謝here已經設法隔離我想要的日期。儘管一些初始問題與非破壞性空間相匹配，但大部分似乎工作正常。然而，我現在遇到了最後一個正則表達式的困難，這個正則表達式旨在將每行數據分割成字段。每條線代表股價指數的價格。在每一行中的字段是：從字符從拉丁字母有時逗號或符號，沒有NUMERICS製成任意長度的名

1熱度

1回答

Perl LWP不起作用

我在Windows 7 Pro上使用Padre作爲我的IDE與Strawberry Perl。我正在嘗試創建一個perl腳本，轉到網站上的文本文件，然後讀取/複製文本文件。但是即使是最簡單的LWP命令，我也無法讓LWP工作。 #!/usr/bin/perl use strict; use warnings; use LWP::Simple; getpr

0熱度

2回答

如何指定自己的robots.txt規則LWP :: RobotUA

我寫了一個腳本來檢查我自己的網站與LWP :: RobotUA。我想避免經常請求我的robots.txt。 LWP :: RobotUA的規則參數應該允許我指定這些參數，但是我不會理解應該爲「允許所有頁面」傳遞的內容。 my $ua = LWP::RobotUA->new(agent=>'my-robot/0.1', from=>'[email protected]', rules=> ???);

0熱度

1回答

Perl LWP內存泄漏？

我有一個持續運行的爬行（使用Perl LWP），我使用HTML :: TreeBuilder在爬網的網頁上進行提取。我孜孜不倦地刪除了我創建的HTML :: TreeBuilder的每個實例，但是爬蟲的內存佔用卻緩慢而穩定地增長（我正在觀看它爬滿每個頁面的10到30個字節）（我正在使用Valgrind爲了測量堆使用）眼下的流動是這樣的：抓取頁面創建新樹生成器對象解析頁面刪除樹生成器對象

9熱度

1回答

LWP :: UserAgent的HTTP基本認證

我試圖運行此程序的perl5： #!/usr/bin/env perl use strict; use warnings; use LWP; my $ua = LWP::UserAgent->new('Mozilla'); $ua->

1熱度

2回答

Perl腳本只能下載某些URL（https：// ...）

以下是正常工作：但現在我試圖從需要驗證的網站下載文件（並且可能會保存一個cookie，該cookie會在24小時後過期）訪問內容。如何向網站提供此身份驗證？如果聯合國認證的用戶訪問URL（或網站），他/他將被重定向到認證頁面，您必須放置用戶名和密碼，然後按回車鍵（登錄按鈕）。認證控制返回到您最初自動請求的URL。這裏是我到目前爲止，這是工作的非權威性需要網站： #!/usr/bin/perl

0熱度

1回答

LWP :: UserAgent 6.04，POST和作爲內容的一部分的新行爲

從舊版本（5.8x？）升級到LWP 6.04後，我注意到在分佈式應用程序中使用的一些代碼運行永遠開始打破。我將其追溯到POST中處理\ n的更改。在客戶端： $post_data{'good'} = qq(This is a text line); $post_data{'bad'} = qq(This is a first line\nThis is a second line);

0熱度

2回答

使用LWP獲取網頁內容

我試圖使用LWP :: UserAgent來收集網頁的內容，但由於某種原因，當我運行腳本時，我得到一個Windows彈出窗口，說「Perl命令行解釋器已停止加工」。我不明白爲什麼，因爲我已經簡化了代碼到它的基本要點如下： #!C:/Perl/bin/Perl.exe use LWP::UserAgent; $URL = 'http://www.google.com'; my $oHTTP

2熱度

1回答

LWP ::簡單getstore無法在Windows

的工作作爲我的Perl腳本的一部分，我這是爲了下載一個$url和存儲其內容的文件$file以下簡單的命令： getstore("$url", "$file"); 這當我在Fedora Linux上運行它時，它的工作狀態非常好，但是當我在Windows上運行相同的代碼時，似乎$file仍然是空的。這很奇怪，因爲正如我所提到的那樣，代碼和這個命令是非常基本的。也許任何人都知道爲什麼會出現這種行