1
我正嘗試構建一個網站，該網站可以抓取.onion域上託管的各種網頁。這意味着它不像調用requests.get("http://XXX.onion")那麼簡單，因爲.onion只能通過TOR連接纔可用。最簡單的方式來抓取.onion域的網站？
我可以使用像onion.to這樣的重定向器，但需要點擊瀏覽，這在我爬行時不起作用。
我不關心anononimity，我只是想要數據。
A
回答
0
你爲什麼不設置Tor和使用一堆wget和torsocks的？
例如
# torsocks wget -c -mirror http://kpvz7ki2v5agwt35.onion
相關問題
- 1. Scrapy - 抓取簡單網站的問題
- 2. 獲取網站根域的最簡單方法
- 3. 在C中抓取網頁的最簡單方法是什麼？
- 4. 最好，最快的方式來建立一個簡單的託管網站
- 5. 從網站上抓取數據的最佳方式是什麼？
- 6. 抓取網站數據（內容）的最佳方式是什麼？
- 7. 允許搜索引擎抓取網站的最佳方式
- 8. 簡單的方法來翻譯網站
- 9. 最簡單的方法來設置網站的顛覆？
- 10. 最簡單的方法來禁用鏈接到外部網站？
- 11. 最快的方法來在一個網站內抓取所有網頁
- 12. 最簡單的方式來承載HTML
- 13. 建立簡單網站的最佳方式是什麼？
- 14. 向網站添加簡單博客的最佳方式？
- 15. 從不同網站獲取數據的最簡單方法
- 16. 從這個網站讀取數據的最簡單方法？
- 17. 這是簡單的抓取與多個網站，但它無法
- 18. Scrapy在特定深度抓取簡單的網站
- 19. 最簡單的方式來更新網站內容，而無需編輯頁面
- 20. 抓取單個域及其所有子網站的Java爬蟲
- 21. 解析網站的HTML最快/最簡單的方法？
- 22. 抓取基於登錄的網站的最佳方式是什麼？
- 23. 在C中抓取網頁的最簡單方法是什麼？ （通過HTTPS）
- 24. scrapy抓取網站
- 25. 使用python來抓取一個網站
- 26. 使用curl和xpath來抓取網站
- 27. 用於抓取YouTube類別的簡單網址格式？
- 28. NodeJS Xray無法抓取到多個網站來抓取數據
- 29. 以類似於Google bot的方式抓取網站html和javascript
- 30. 安裝抓取，網站抓取庫
你在乎洋蔥嗎？ –
我想說明一下，您的用戶名與問題是一種痛苦的結合。 – orlp