Python到PHP異步數據傳輸

Question

我有建立一個網頁抓取工具的要求。抓取部分將用python編碼，結果將以PHP顯示。 結果應該在PHP中異步顯示，而python正在刪除頁面。

客戶端認爲python是web報廢的快速和更好的選擇。你認爲混合python和php仍然給出了快速的結果，或者更快/更好地堅持php的網絡報廢？

什麼是這兩種語言之間異步交換數據的首選方法？

謝謝！

Answer 1

您可以使用支持自定義項目導出器的Scrapy。

通過繼承BaseItemExporter類，您可以創建一個導出程序，該導出程序可能會打開一個websocket並通過它將每個抓取的項目發送到您的PHP應用程序。您甚至可以僅使用HTTP請求發送它們，也可以將它們發送到持久性消息隊列（如RabbitMQ或Apache Kafka），並讓PHP應用程序使用隊列中的項目。