棘手的問題我可以說這可能被認爲是不道德的,但這裏有雲:最佳方式編程
什麼是查詢網站編程的最佳方式?換句話說,假設存在某種搜索引擎,並且您希望以編程方式/自動地向其提供查詢(即,無需鍵入它們),然後提取結果。假設絕對沒有API,所有的都是網頁界面。最好的辦法是什麼?
我們需要它進行一些研究工作,並且該網站的API至今尚未公開。
謝謝!
棘手的問題我可以說這可能被認爲是不道德的,但這裏有雲:最佳方式編程
什麼是查詢網站編程的最佳方式?換句話說,假設存在某種搜索引擎,並且您希望以編程方式/自動地向其提供查詢(即,無需鍵入它們),然後提取結果。假設絕對沒有API,所有的都是網頁界面。最好的辦法是什麼?
我們需要它進行一些研究工作,並且該網站的API至今尚未公開。
謝謝!
總是有好的老式screen scraping與捲曲。
然後寫你自己的api。 沒什麼大不了的,用你想要的查詢 撥打searchresult頁面,然後檢查DOM的結果,保存你所需要的,然後用不同的查詢重新開始。 使用一些php serverscript和數據庫很容易,但它也應該可以與本地腳本一起工作。 只要你有一個DOMInspector或至少可以搜索正則表達式。
由於不道德的部分,我不會給任何代碼, ,但提示搜索不存在的API並添加「php」到您的搜索,您可能會發現一些文件可能是您的需要的指導
我擡頭看屏幕刮(我不知道這是技術術語),並發現HTMLUnit。看起來很有希望。
許多搜索引擎會將搜索查詢放入網址中,以便將結果加入書籤。用適當的URL請求頁面,並解析結果。 – mowwwalker
我想說的最好的方式是讓他們禮貌地接受API或某種特殊訪問。 – Ryan
得到了你的觀點Walkerneo。我會試試這種方式。 Bdw,無論如何都看不到選票的角度。 –