使用Web收穫颳去網頁的內容

我想從網頁上抓取特定內容，因爲我正在使用網頁收穫。當我試圖抓取內容但它不是爲this URL刮取內容時，它對其他網站運行良好。使用Web收穫颳去網頁的內容

我的Java代碼是在這裏：

import org.webharvest.definition.ScraperConfiguration; 
import org.webharvest.runtime.Scraper; 
import org.webharvest.runtime.variables.Variable; 
import java.io.FileNotFoundException; 
public class App 
{ 
public static void main(String[] args) 
{ 
    try 
    { 
     ScraperConfiguration config = new ScraperConfiguration("twit88.xml"); 
     Scraper scraper = new Scraper(config, "c:/temp/"); 
     //scraper.getHttpClientManager().setHttpProxy("proxy-server", 8001); 
     scraper.addVariableToContext("url", "http://freesearch.naukri.com/preview/preview?uname=63017692f2b266780bfd20476cd67466001a4a17005b4a5355041f121b502e18514b4e4e43121c4151005&sid=73682841&LT=1339495252"); 
     scraper.setDebug(true); 
     scraper.execute(); 
     // takes variable created during execution 
     Variable article = (Variable)scraper.getContext().getVar("article"); 
     // do something with articles... 
     System.out.println(article.toString()); 
     //System.out.println("1234=====rtyu"); 
    } 
    catch (FileNotFoundException e) 
    { 
     System.out.println(e.getMessage()); 
    } 
} 
}

和我的XML是在這裏：

<?xml version="1.0" encoding="UTF-8"?> 

<config charset="UTF-8"> 
<!-- 
<var-def name="url">http://twit88.com/blog/2008/01/02/java-encrypt-and-send-a- large-file-securely/</var-def>   
--> 

<!-- <file action="write" path="twit88/twit88${sys.date()}.xml" charset="UTF-8"> --> 

    <!-- 
    <template> 
     <![CDATA[ <twit88 date="${sys.datetime("dd.MM.yyyy")}"> ]]> 
    </template> 
    --> 
<var-def name="article"> 
    <xquery> 
     <xq-param name="doc"> 
      <html-to-xml outputtype="browser-compact" prunetags="yes"> 
       <http url="${url}"/> 
      </html-to-xml> 
     </xq-param> 

     <xq-expression><![CDATA[ 
     declare variable $doc as node() external;   
     let $title := data($doc//div[@class="bdrGry"]/div[@class="boxHD1"]/h1) 

     return 
      <article>     
       <title>{data($title)}</title> 
      </article>    
     ]]> 
     </xq-expression> 

    </xquery> 
    </var-def> 
    <!-- 
     <![CDATA[ </twit88> ]]> --> 
    <!-- </file> -->    

    </config>

我想這刮URL如候選人名字的第一個塊，目前的指定，公司等，但我無法通過在XML文件中使用它的類來刮擦，例如（我只嘗試了第一次只嘗試刮候選名稱）

但它不工作。任何人都可以告訴我我做錯了什麼？

來源

2012-06-12 kailash gaur

另一方面，這是'刮'或'刮'，而不是'廢'廢料'或'報廢'。你可能會從上面看到的代碼中找到一些提示。 –

感謝您的正確me.But這是什麼解決方案？ –

拼寫？編輯（我已經完成了）。在將來打字問題時要多加註意/多加小心。 –

..它不是爲this URL刮取內容。

從Naukri.com的Terms & Conditions：

Naukri.com使用技術手段抓取網站和抄襲內容排除機器人等。用戶承諾不要規避這些方法。

來源

2012-06-12 11:19:15

使用Web收穫颳去網頁的內容

回答

相關問題