抓取基於表單身份驗證的https網站

Question

您好我能夠抓取使用html敏捷包無法保護的http網站。但是一些被https保護的網站需要認證（可能是表單認證）才能看到它的內容，因此我無法抓取。我看到IBM的omnifind爬蟲插件可以用於.net。請你們提示一下如何處理這個問題。

Answer 1

您顯然需要憑據，所以您應該理清認證位的工作方式。

假設它是基於表單的，你不應該在這個環節的底部實現的東西用的CookieContainer（http://msdn.microsoft.com/en-us/library/dd920298(v=vs.95).aspx）

樣品任何麻煩演示瞭如何在被從網站返回的餅乾迭代。

這裏是一個存在的問題，應該幫助引導您還有：WebRequest class to post data to login form

乾杯。