如何訪問（大規模，不只是搜索幾個結果）科學網絡的數據庫？

我在做需要大量引用數據的研究。我想訪問科學網的數據庫。例如，我可能需要2013年在Nature上發表的所有論文的引文。我如何獲得這樣的數據集？科學網絡是否向用戶開放數據庫？或者我需要以某種方式自己抓取數據？任何建議表示讚賞。 T如何訪問（大規模，不只是搜索幾個結果）科學網絡的數據庫？

2014-07-10 apogne

如果您想在自己的計算機上獲得離線的Citations，則必須抓取數據並存儲。爲了抓取數據，我建議使用Apache Tika：「Apache Tika™工具包可以從Tika網站Apache Tika中檢測並提取來自各種文檔的元數據和文本內容 - 從PPT到CSV到PDF - 使用現有的解析器庫」。

在大規模談話時，我認爲這是最好的方法，因爲一旦下載完成，它將在您的計算機上執行許多您想要的搜索，而無需等待由於遠程延遲而完成搜索搜索

2014-07-10 02:22:47

你可以使用Zillabyte的domain_crawler組件：

$ zillabyte execute domain_crawl "example.com" --output_file some_file

2014-07-31 16:52:37 jake256

回答