下載twitter搜索頁時出現問題

我正在嘗試一個小程序來下載網頁並收集一些數據。該程序適用於大多數網頁。但是，下載Twitter搜索結果存在問題。下載程序似乎只獲得微博主頁。我正在使用WinInet進行下載。下載twitter搜索頁時出現問題

注意到Twitter使用「＃！」在其網址。（www.twitter.com /＃！/ ......）。這是否與此有關？

感謝有關如何處理此問題的任何建議。

感謝

來源

2011-06-15 Dhurka

爲什麼被標記爲「C++」？聽起來像wget + bash腳本的完美工作，或者Perl和Perl :: curl ...？ – 2011-06-15 22:20:28

如果你想收集來自Twitter，你應該用自己的API一些數據。

來源

2011-06-15 21:10:56 Marcelo

感謝您的回覆。我最近在更多頁面上碰到這些hashbang。即使正常的Google搜索頁面似乎也有hashbang。有沒有一些特定的方法來下載這些網頁？有沒有可用的下載庫來處理這個問題？ – Dhurka 2011-06-19 19:05:23

只要刪除hashbang，它會沒事的。但是，使用API更合適。

來源

2011-06-15 22:27:16 MendelGusmao

您可能成爲緩存的受害者，特別是在URL中使用＃。試試INTERNET_FLAG_RELOAD |對於HttpOpenRequest或InternetOpenURL中的dwFlags，INTERNET_FLAG_NO_CACHE_WRITE（忽略緩存並從網絡重新加載|不要爲緩存寫入響應）。你也可以嘗試URLEncoding＃。

來源

2011-06-20 05:49:04

下載twitter搜索頁時出現問題

回答

相關問題