使用Python腳本自動將實體存儲在GAE雲數據存儲中

Question

我已經編寫了一個Python腳本，用於擦除我們大學的HTML頁面，以獲取所需的所有度數信息。它會生成所有數據的.csv文件。然後使用我們的API中的方法將.csv文件中的數據上傳到數據存儲區。

這是一個特別沉悶的過程。由於我們只能提出一分鐘以內的請求，因此我們需要將.csv文件拆分爲許多不同的位。顯然，這並不酷。

我們最初設想了一個數據庫，它將採用我們的python腳本並每年更新/填充所有新的學位信息。與Java編碼的GAE雲數據存儲一起運行的python腳本。

可以做到這一點嗎？我們可以讓數據庫自行更新嗎？

如果是這樣，我們可以手動和自動地實現它嗎？

感謝您的閱讀！

Answer 1

因此，基本上，您希望使用一個Python腳本創建您創建的csv文件，然後使用另一個程序解析該文件，並將該數據上傳到數據存儲區，以便其他物件可以訪問該數據。

有幾個選項，我看到：

1. 使用拉入隊列。設置一個Appengine項目，該項目託管一個RESTful服務，您當前的Python腳本可以將CSV文件上傳到該應用程序，並且應用程序將其處理/放入數據存儲區。

2. 使用cron作業構建應用程序，檢查新CSV文件的特定位置，使原始Python腳本（或手動）將CSV文件放入該特定文件夾並使用該應用程序。該應用程序也可以有一個頁面，您可以手動上傳CSV文件，這會給你自動和手動選項。

每個人的具體細節以及如何構建它們將由您自行決定。