如何使用雲ML來預測csv文件而不是json？

Question

也可以有人列出詳細的步驟來訓練和部署Gcloud張量流模型？ 我有我自己的代碼，我不想改變。看起來代碼必須採用某種剛性格式才能用於Gcloud，例如task.py文件等。

Answer 1

我剛剛在2周前第一次自己經歷了這個過程。我推薦的是使用這個tutorial（由Google友善的人創建）。

• Develop and validate your trainer locally

• Run a single-instance trainer in the cloud

• Deploy a model to support prediction

• Send a prediction request to a deployed model

我不記得遇到任何大問題，但讓我知道如果你碰到任何路障，我可能會幫助你。

從JSON的例子從上面的鏈接教程改變預測輸入到CSV，你會發現，給出的默認值是「JSON」，但可以更改爲「CSV」（source）：

parser.add_argument(
     '--export-format', 
     help='The input format of the exported SavedModel binary', 
     choices=['JSON', 'CSV', 'EXAMPLE'], 
     default='JSON' 
) 

這意味着您可以在創建模型時指定--export-format 'CSV'。例如：

python trainer/task.py \ 
--train-files ~/Documents/data/adult.data.csv \ 
--eval-files ~/Documents/data/adult.test.csv \ 
--job-dir ~/Documents/models/census/v1 \ 
--train-steps 100 \ 
--verbosity 'DEBUG' \ 
--export-format 'CSV' 

Answer 2

讓我看看我能否幫助您 - 這可能需要後續問題（這是值得歡迎的），超越了這個高層次的答案。

首先閱讀文檔 - 希望您已經看過https://cloud.google.com/ml-engine/docs/how-tos/training-steps哪些鏈接到與此處相關的各種主題。

讓我試着總結一些你想記住的關鍵事項。

1. 在很高層次上，您需要編寫一個接受一組命令行參數的Python程序，因此該接口相當一般。你不需要命名task.py。

2. 您確實需要打包Python代碼以及聲明依賴關係，以便在您的作業在雲上運行時安裝它們。 （請參閱https://cloud.google.com/ml-engine/docs/how-tos/packaging-trainer）

3. 在分佈式培訓的情況下，您需要使用TF_CONFIG環境變量實例化TensorFlow服務器，以便與作業中的其他工作人員進行協調。看到這個https://cloud.google.com/ml-engine/docs/concepts/trainer-considerations

4. 當你使用gcloud工具提交你的工作時，你需要指定一個集羣配置。

5. 在雲中，您需要閱讀培訓數據，並將檢查點，摘要和生成的模型寫入雲存儲，而不是本地磁盤（即瞬態）。 TensorFlow在其文件I/O API中支持GCS。見https://cloud.google.com/ml-engine/docs/how-tos/working-with-data

6. 最後，當你製作一個模型，用於部署/預測與ML引擎（如果需要），然後確保你使用SavedModel的API - https://cloud.google.com/ml-engine/docs/how-tos/deploying-models

希望這有助於給你一個廣泛的概述。

另一件有用的事情是理解你的代碼 - 它是基於低級別的TensorFlow API嗎？還是基於Estimators？後者簡化了許多方面（尤其是分佈式培訓）。