如何避免Google網站管理員工具API限制

Question

我剛剛編寫了一個應用程序，它可以解決Google網站管理員工具的抓取問題。每個請求的API限制爲100個條目。有沒有解決方法或解決方法來一次獲取所有爬網問題？

Answer 1

谷歌API查詢瓶頸問題通常可以通過控制通過靜態/動態內部線程運行速度（即Java併發線程池帶/緩衝），每個或（批）查詢線程（S）來解決。總之，你會想擁有自己的查詢線程控制器。