是否可以從其他公司的數據庫獲取數據？

Question

我想知道這麼多的工作網站有這麼多的工作機會/其他公司提供的信息。例如，如果我要開始自己的工作搜索引擎，我將如何能夠獲得像我的網站一樣的網站在我自己的數據庫中的信息？一個網站（jobmaps.us）表示，它的確「確實爲動力」，並且似乎遵循與Indeed.com相同的格式（就像所有其他搜索網站一樣）。有什麼可以使用的通用求職模板嗎？

在此先感謝。

Answer 1

一些服務提供了一個API，允許您「聯合」搜索（將它們轉發到多個數據源，然後將所有結果集中在一起以便在一個地方顯示）。或者，一些提供了一種機制，可以讓你下載/檢索數據，所以你可以加載到你自己的搜索索引。

後一種方法通常更快，並且可以完全控制，但需要您維護搜索索引並跟蹤遠程系統上數據項更新/添加/刪除的情況。這並不總是微不足道的。

在任何一種情況下，一些API將是開放/免費的，有些將需要註冊和/或許可證。大多數會有費率限制。這完全取決於誰擁有數據。

可以模擬瀏覽網站，發送HTTP請求和分析來自Web服務器的響應的用戶。通過了解HTML的結構，可以提取（「刮擦」）所需的信息。

這種方法通常違反網站政策，很可能會阻止您。如果您確實採用這種方法，請確保遵守任何政策以避免被列入黑名單。