我正在研究一項來自Google Scholar的論文分析的項目。我所做的基本上是解析HTML,將相關字段存儲到數據庫等。但是,當我拿着出版物的標題,我意識到,我能夠獲得前20個元素。不過,也有相關的帳戶60篇論文:以編程方式單擊Windows窗體應用程序中的網頁按鈕
http://scholar.google.com/citations?user=B7vSqZsAAAAJ
所以,我覺得作爲一個解決方案,我需要點擊「顯示更多」按鈕編程,這樣我就可以擁有所有的標題的,出版地點等等。
你覺得呢?我如何執行這種操作?
編輯:我檢查了'顯示更多'按鈕,雖然沒有什麼可以顯示爲下一頁,但它的html代碼仍然保持不變。作爲一種解決方案,我可以循環使用n次。不過,我正在尋找更強大的解決方案。 謝謝你的時間!
嗯,這是一個不錯的嘗試=)。不過,您可以查看Google Scholar中的Richard Feynman的161篇論文。用你的近似值,我可以看到1到100 ... – Elesmoth 2014-12-08 09:01:01
糟糕,看起來像他們限制頁面大小。 我使用fiddler進行了檢查,只有點擊< or >時有更新cstart querystring的GET請求。它可能需要一點調整,但應該運作良好。其他網站也是如此,它支持分頁。 – 2014-12-08 09:22:30