Java中的Scrapy？

是否可以在Java項目中使用Scrapy？Java中的Scrapy？

以Jython爲例，或者可能是「間接」解決方案。

2012-11-23 Gill Bates

我懷疑你可以在jython下運行扭曲，而scrapy是基於扭曲的。不確定你想要做什麼，但我建議運行scrapyd並使用Web服務接口與java通信。你可以給我們更多關於你想達到的細節嗎？

2012-11-27 13:07:21 gvtech

應該是，但你有沒有考慮使用類似jsoup？

2012-11-23 15:47:05 Miquel

JSoup是新的？上次我這樣做的時候（前一段時間！），TagSoup是最好的解析器 - 任何解析器，而且Neko是一個很好的解析器。 –

最新版本是從12月9日開始的。 TagSoup看起來有點過時... – Miquel

AFAIK jsoup不能處理AJAX頁面。而Scrapy似乎是非常有前景的項目。我讀過Jython不能通過C語言編寫的Python庫來與Java一起工作 - 我想知道 - Scrapy是否使用這些庫？ –

回答