是否可以通過Python對Mongo進行非阻塞批量插入？

Question

我必須讀取網絡中的一些數據，然後將其插入到MongoDB中。所有這些都是使用Python腳本完成的。有什麼辦法可以通過Python對Mongo進行非阻塞插入，這樣我可以在Mongo服務器處理插入時繼續處理通過網絡傳來的數據嗎？

Answer 1

是。有三種可能性：

1. 做一個未確認的插入：collection.insert(documents, w=0)。一旦數據被寫入到套接字的輸出緩衝區，對insert（）的調用就會返回，並且您的代碼不會阻止等待來自MongoDB的確認。您將無法向您的應用程序報告錯誤。有關寫入問題的更多信息here和here。
2. 將批處理文檔添加到Queue，並在隊列中彈出一個單獨的線程並插入到MongoDB中：collection.insert(q.get())。
3. 按照James Mills的建議將您的應用程序移植到Tornado和Motor上;這似乎需要三者中最多的學習，可能是矯枉過正。

Answer 2

給Motor一試。它是Tornado Web框架的異步Mongo驅動程序。

否則還有其他選擇：

• https://pypi.python.org/pypi/asyncmongo
• https://github.com/fiorix/mongo-async-python-driver