如何使用max_batch_size，batch_timeout_micros，num_batch_threads和其他參數進行批量性能調整？嘗試使用這些參數與查詢客戶端，它不起作用。Tensorflow服務配料參數
在下面的例子中，我有100個圖像，我想批量大小爲10.查詢對所有圖像運行而不是10. bazel-bin/tensorflow_serving/example/demo_batch --server = localhost：9000 - -max_batch_size = 10
另外，對於批量調度，如何在第一批完成後每10秒運行一次？謝謝。
我遇到了和你一樣的問題。
我檢查TF-服務的源代碼，這些參數是在其中在
serving/tensorflow_serving/servables/tensorflow/session_bundle_config.proto
限定的protobuf的文件而且我發現在
服務的示例CONF文件/ tensorflow_serving/servables/tensorflow/testdata/batching_config.txt
我相信你可以按照batching_config.txt格式，參數配置應該是工作。
希望它有幫助。
max_batch_size {值：1024}
batch_timeout_micros {值：0}
max_enqueued_batches {值：1000000}
num_batch_threads {值：8}
allowed_batch_sizes：1
allowed_batch_si ZES：2
allowed_batch_sizes：8
allowed_batch_sizes：32
allowed_batch_sizes：128
allowed_batch_sizes：256
allowed_batch_sizes：512
allowed_batch_sizes：1024