技術爲網絡抓取需要？

Question

隊友我需要知道什麼是最好的編程技術是最好的動態網站，如谷歌搜索，bing搜索，社交媒體網站等網站刮等希望你明白我的觀點。

想要的東西是高度可擴展性和低資源接受者也。

還浪費大多數開發者社區？

現代語言與DATABASE的最佳組合也是我在想MYSQL InnoDB？因爲我們需要存儲刮取的數據並呈現。

原因我們一直在使用PHP與MYSQL，這是在報廢緩慢工作。

請讓我知道，謝謝。

問候

Answer 1

查找的特定刮你想要的（如排名關鍵字）的API。

然後使用適當的語言來解碼API給你的東西。如果它給你JSON或CSV，那麼Perl和PHP非常好。使用編程語言來處理數據，然後構建批量INSERT或CSV文件（對於LOAD DATA）並將其插入InnoDB表中。

如果你找不到合適的API，但你可以找到合適的網頁，那麼Perl可能是解析的最佳選擇。在CPAN查找合適的圖書館以幫助您;會有幾個（比別人好一些）。