使用Twisted製作異步API請求的類

Question

我正在開發從其他服務器收集數據並對其進行處理的系統。

其中一個要求是多重且頻繁的API請求。我們目前以一種有些同步的方式實現這一點。我可以使用線程輕鬆實現這一點，但考慮到系統可能需要每秒支持數千個請求，我認爲使用Twisted有效實現上述功能是明智的。我見過this blog post，延期清單的整個想法似乎可以做到。但我對如何構建我的課程感到困惑（無法將我的想法包含在Twisted的工作方式中）。

您可以嘗試概述將運行事件循環的類的結構，並能夠獲取URL和頭列表，並在異步發出請求後返回結果列表？

你知道更好的方式在python中實現嗎？

Answer 1

聽起來像您想要使用一個名爲treq的Twisted項目，它允許您將請求發送到HTTP端點。它的工作原理很像requests。我最近幫朋友here in this thread。我的回答可能對你有一些用處。如果您仍然需要更多幫助，請發表評論，我會盡我所能更新此答案。