我一直在谷歌搜索了一段時間,但我想我正在使用一組錯誤的關鍵字。有沒有人知道這個URI,讓我請求Facebook允許我抓取他們的網絡?上次我使用Python來做到這一點,有人建議我看看它,但我也找不到那篇文章。Facebook的抓取權限請求表單?
2
A
回答
5
令人吃驚的是,在他們的robots.txt給了。
你要找的這個鏈接是這個:
http://www.facebook.com/apps/site_scraping_tos.php
如果你不是已經是一個龐大的組織,不希望被列入白名單明確那裏。根據robots.txt和TOS,如果您沒有明確列入白名單,則根本不允許您抓取。您必須改用API。
不要想着假裝成爲白名單爬行者之一。 Facebook將每個爬蟲的IP列入白名單,而其他任何類似抓取的爬蟲都會立即進行永久禁用。一段時間用戶只是點擊過快就偶爾會遇到這種情況。
0
由於這是一個登錄&密碼的社區,我不確定它有多少法律可以抓取。如果你甚至看到Google只索引用戶個人資料頁面。但不是他們的牆貼或照片等
我建議你發佈這個問題在Facebook論壇。但你可以在這裏查看它 -
相關問題
- 1. Facebook請求權限
- 2. Facebook請求權限javascript?
- 3. 每次請求facebook權限
- 4. Facebook Jquery ajax權限請求?
- 5. Facebook請求權限示例?
- 6. 在Facebook的iFrame標籤請求權限
- 7. Facebook應用的權限請求使用
- 8. 請求在Facebook的權限c#sdk
- 9. Facebook(FB.login)沒有請求我的權限
- 10. Facebook請求丟失的權限
- 11. Facebook oAuth擴展權限請求
- 12. 從Facebook請求擴展權限?
- 13. 請求延長權限Facebook頁面
- 14. 無法從Android Facebook SDK請求權限
- 15. Facebook SDK - 權限請求後重定向
- 16. 沒有請求權限的Facebook應用程序請求
- 17. 發佈或管理權限不被允許請求讀取權限FACEBOOK SDK
- 18. 請求寫權限
- 19. DayDream權限請求
- 20. 抓取時請求?
- 21. 抓取AJAX請求
- 22. Facebook iOS SDK 3.1請求讀取和發佈權限
- 23. Android:請求多個權限時僅請求第一個權限
- 24. as3 facebook應用程序不要求請求的權限
- 25. PACKAGE_USAGE_STATS的請求權限
- 26. 請求INTERNET權限的BindException
- 27. Facebook API:申請publish_stream權限
- 28. Facebook不要求權限
- 29. Facebook ios sdk授權打開兩個權限請求對話框
- 30. Facebook授權w /權限請求收益「找不到頁面」