Web開發人員是否允許刮取html內容？

我想刮幾個網站的html內容，並在我的網站上查看他們的混搭。我會參考並鏈接到他們aswelll！Web開發人員是否允許刮取html內容？

謝謝

來源

2012-03-31 MidnightCoder

繼續操作，然後檢查它們的robots.txt文件，並確保有一種方法可以讓他們在出現問題時與您聯繫。大多數人會很樂意從你的混搭中獲得流量。無論如何，他們的負擔是要求你不要。

來源

2012-04-01 04:33:22 pguardiario

，則不應視爲「客氣」，但它仍然是常做。有些網站採取反措施來應對此類活動，但總的來說，您可以做到這一點，而不會產生任何影響。

如果你想以正確的方式做到這一點，你只需詢問網站運營商。對於你所知道的，他們會沒事的，或者他們甚至可能有一套你可以使用的API。

但是，如果您未經允許就進行欺詐，如果您的網站受到歡迎並且原始網站發現了您正在做的事情，他們可以向您發送停止和停止信件和/或採取其他法律措施覺得你侵犯了任何受版權保護的材料。

http://en.wikipedia.org/wiki/Web_scraping

來源

2012-03-31 22:08:56 msigman

如果你超載他們的服務器或不尊重他們的robots.txt是唯一不禮貌的 - 他們的責任是告訴你不要刮掉他們的內容，而不是要求你提問。 – pguardiario 2012-04-01 02:58:57

我不一定同意......對我來說，這聽起來像是你說如果有人不鎖門，走進他們的房子是可以的，因爲負擔是鎖在門上 - 如果他們不這樣做，他們會暗示批准進入。作爲很多網站的網站管理員，我當然不希望任何人爲了在他們自己的網站上重新發布目的而刮掉我的內容。 – msigman 2012-04-01 03:03:11

真的嗎？您不希望Google爲了列出您的內容並顯示您的內容摘錄而抓取您的內容？如果確實如此，則可以在robots.txt中禁用它們。否則是通過讓公共網站給予每個人隱含權限訪問您的網站。 – pguardiario 2012-04-01 04:21:29

這通常不是天經地義的事。如果這些網站的作者想要提供他們的數據，他們可能會通過API或某種類型的Feed提供。

最好的辦法是直接詢問他們。他們甚至可能會爲你提供一個比拼湊更好的方法。

來源

2012-03-31 22:11:06

Web開發人員是否允許刮取html內容？

回答

相關問題