在應用商店抓取數據

有誰知道AppShopper.com如何抓取蘋果應用商店的數據？我們是否需要使用像Watir這樣的自動化測試來模擬瀏覽器？這是收集數據的唯一方式（例如，下載統計數據，價格）？在應用商店抓取數據

2011-01-19 Nimit Pattanasri

如果您右鍵單擊iTunes中的任何鏈接或圖標，它會爲您提供它用於下載顯示的下一個iTunes頁面的數據的URL。 HTML數據的格式會以非文檔方式定期更改。如果您使用wget或curl從這些網址下載數據，您可能還需要模仿iTunes用戶代理和國家商店前臺名稱，您可以通過使用諸如電話鯊魚之類的方式監控iTunes流量來獲得該名稱。

來源

2011-01-19 05:17:17 hotpaw2

有數百個像你提到的一個服務的......但是建立自己的刮板不難..

比方說，你想看到在英國所有評論爲ID的應用程序= XXXXXXXXX（右鍵單擊應用程序鏈接上的iTunes並選擇「複製鏈接」）。你應該檢索文件：

http://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews?s=143444&id=xxxxxxxxx&displayable-kind=11

如果你把你的瀏覽器這個URL，你將無法看到相同的信息量，你會與iTunes看到。也可能是因爲您根本看不到任何東西，您的瀏覽器會要求打開iTunes。儘管如此，上面的網址與iTunes訪問的網址一樣 - 只是iTunes要求網頁瀏覽器做的稍微不同。爲此，您可以使用cURL，這是大多數GNU/Linux發行版默認使用的命令，但您也可以在Windows上安裝。

如果您使用的是Windows，並且沒有安裝捲曲，下載（http://curl.haxx.se/download.html），將它解壓縮，並添加bin目錄到PATH變量（http://www.computerhope.com/issues/ch000549.htm）;
打開終端窗口（META + R，數字CMD）;

一旦你安裝了嫋嫋，都在Windows和* nix，切割和在終端粘貼：

捲曲-H '主機：itunes.apple.com' -H「的Accept-Language： en-us，en; q = 0.50'-H'X-Apple-Store-Front：143444,5' -H'X-Apple-Tz：3600'-U'iTunes/9.2.1（Macintosh; Intel Mac OS X 10.5.8）AppleWebKit/533.16''http://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews?s=143444&id=xxxxxxxxx&displayable-kind=11'

您應該看到現在由iTunes看到的實際XML文件以及所有評論。

來源

2011-02-08 11:12:42

如何找到iTunes支持的其他URL？ – Dmitry 2017-03-06 23:46:05

爬行不是最好的方法。有一個partner feed program，這是完全免費加入。可以給你所需的數據。閱讀FAQ

來源

2012-11-06 12:49:07

+1這很有趣！ – 2012-11-06 16:10:02

在應用商店抓取數據

回答

相關問題