我有很多將各種數據源中的數據移動到BigQuery的腳本。這些腳本需要每天運行。我無法在我的機器上運行它,因爲它可能在腳本運行時處於脫機狀態。使Python腳本自動化的最佳方式
我應該使用哪種服務來自動執行此操作,以及在選擇時應該注意什麼? Google/Google Cloud環境中是否有這樣的內容?
一旦我擁有服務器,自動化腳本的過程如何呢? 欣賞任何建議或指向文檔的鏈接。
我有很多將各種數據源中的數據移動到BigQuery的腳本。這些腳本需要每天運行。我無法在我的機器上運行它,因爲它可能在腳本運行時處於脫機狀態。使Python腳本自動化的最佳方式
我應該使用哪種服務來自動執行此操作,以及在選擇時應該注意什麼? Google/Google Cloud環境中是否有這樣的內容?
一旦我擁有服務器,自動化腳本的過程如何呢? 欣賞任何建議或指向文檔的鏈接。
你有兩個選擇:
後者將是我首選的武器。
https://airflow.incubator.apache.org/
http://engineering.pmc.com/2017/03/playing-around-with-apache-airflow-bigquery-62/
https://medium.com/google-cloud/airflow-for-google-cloud-part-1-d7da9a048aa4
Reliable Task Scheduling on Google Compute Engine 您可以使用此設置併爲腳本設置每日執行時間。
寶途,您可以編寫一些腳本像開始AWS EC2實例 Boto
感謝您的回覆!不幸的是,我無法在我的機器上運行它,因爲它可能在腳本運行時處於脫機狀態。剛剛用這個編輯了這個問題。 – user912830823
Jenkins是這樣的事情一個有用的工具,自動化的東西。它適用於CI/CD,但可用於在特定時間或滿足特定條件後自動執行作業。
一旦你安裝它,你可以通過localhost:8080上的瀏覽器訪問它並設置你的構建條件。
您可以在GUI中輕鬆瀏覽大約一百萬個插件,因此您應該找到可以幫助您的插件。
謝謝!你的意思是在我的機器上安裝Jenkins嗎?事情是我無法在我的機器上運行它,因爲它可能在腳本運行時處於脫機狀態。剛剛用這個編輯了這個問題。或者你是否意指在服務器上安裝Jenkins。那麼什麼樣的服務器? – user912830823
是的,只是看到你的編輯。如果你有機會訪問另一臺服務器或機器,那麼你可以將它安裝在那裏,並以相同的方式訪問它 - serverAddress:8080(如果別的東西正在使用它,你可以很容易地更改端口)。 – user8199329
,基本上我的問題的一部分是關於:我應該如何尋找這樣的服務器?任何建議等?谷歌提供這樣的服務器? 但是,謝謝你推薦詹金斯! – user912830823
您可以使用 '的crontab' 調度日常執行腳本。 – ammy
@ammy謝謝你的回覆!不幸的是,我無法在我的機器上運行它,因爲它可能在腳本運行時處於脫機狀態。剛剛用這個編輯了這個問題。 – user912830823
好的。所以你需要自動化? – ammy