以編程方式搜索查詢

Question

我正在做一個研究項目，爲此我需要獲得近150萬個查詢的結果。

任何人都可以建議我如何實現它？如果有幫助，我只需要從特定網站獲得結果。

我看到所有的搜索引擎都提供API，但我不認爲任何人都有可以處理數百萬個查詢的空閒限制。

任何建議，將不勝感激

Answer 1

您可以抓取的網站，並使用自己的搜索引擎進行查詢。例如，您可以使用Apache Lucene作爲提供「搜索引擎」功能的開源庫。您需要爲每個頁面創建一個文檔，並將其提供給IndexWriter，稍後再查詢您的索引。

另一種方法是使用由搜索引擎提供的paid API，該API允許更多數量的查詢。