batch-processing

0熱度

2回答

我正在尋找關於在大數據規模下實施歸檔工作流的一些建議/解決方案。數據來源是kafka中的消息。它是實時寫入的。目標是S3存儲桶。我需要根據消息中的字段對數據進行分區。對於每個分區，我需要將數據批量處理爲100Mb塊，然後將其上傳。數據速率爲〜5GB /分鐘。所以100Mb批次應該在幾秒鐘內完成。我的問題在於縮放和配料。由於我需要爲消息中的「字段」批處理和壓縮數據，因此我需要通過分區將這部分

7熱度

1回答

如何對張量流中的一批圖像執行tf.image.per_image_standardization

我想知道如何對一批圖像執行圖像白化。根據https://www.tensorflow.org/api_docs/python/tf/image/per_image_standardization中的文檔，據說tf.image.per_image_standardization輸入形狀爲[height, width, channels]的3D張量，即圖像。這是一個缺少的功能還是有不同的方法？任

2熱度

4回答

無盡循環與控制出口

我需要一個無限循環的批處理程序。在這個循環中，他正在做一些事情，然後等待X秒。現在的問題是，我怎樣才能阻止程序之外的循環？一個選項是讀取一個文件，如果s.o中斷，在內部寫道「停止」，但如果我總是打開和關閉文件，它的表現如何？難道不可能在同一運行時間內啓動第二個線程，例如：將布爾運行設置爲false或其他東西？這是我的代碼「stop-file」。 Integer endurance = args

0熱度

1回答

批處理業務流程

我想問一下批處理。我需要處理100 000個由以下步驟組成的業務流程：生成PDF（異步），發送郵件並將文檔上載到歸檔系統。我正在考慮在spring引導（異步服務任務）中使用activiti，因爲我可以控制失敗的作業，並且可以輕鬆地重試它們等。我不知道使用activiti或camunda還是其他工具是不錯的主意。

-1熱度

1回答

Gimp批量圖層自動化

我目前使用GIMP將兩張照片分層爲一個工作項目的照片文件。我有超過7000張107x80的JPG圖片，我需要將其放置在160 x 100 PNG背景上，該背景上有一個徽標並保存爲JPG文件名。需要將107x80 JPG放在背景上徽標的左側。我一直在做這一件事，但現在是非常令人厭煩的。我使用BIMP來調整所有JPG圖像的尺寸，並且真的想要找到一種方法來使用BIMP來自動執行此過程或找到可以執行此過程

0熱度

1回答

Java EE批處理：當一個失敗時停止執行步驟

我正在使用批處理，我假設如果一個步驟失敗，那麼下一個步驟將不會執行，但似乎並非如此。那麼我怎麼能得到這種行爲？這是我的批處理文件的一部分： <?xml version="1.0" encoding="UTF-8"?> <job id="review-job" xmlns="http://xmlns.jcp.org/xml/ns/javaee" xmlns:xsi="http://www.w3

0熱度

1回答

熊貓：批量替換來自不同行的值符合相同條件

我已經從sql server中提取了一些熊貓格式的數據。像這樣的結構： df = pd.DataFrame({'Day':(1,2,3,4,1,2,3,4),'State':('A','A','A','A','B','B','B','B'),'Direction':('N','S','N','S','N','S','N','S'),'values':(12,34,22,37,14,16,23,43

0熱度

1回答

如果沒有用戶登錄，自動/計劃任務失敗

我有一個計劃任務，它啓動一個.exe程序，我自己編程。如果我登錄到我們的服務器並自己啓動.exe，一切正常。該程序連接到我們的數據庫，從互聯網上下載文件，將一些數據寫入硬盤上的xml文件，並對我們的數據庫進行一些更新。但是，如果該exe文件是在晚上啓動的，並且具有完全權限的Windows計劃任務，則該程序會崩潰。我沒有機會看到錯誤。我實現了一些日誌記錄，但日誌文件總是空的。它在程序開始時似乎崩潰

2熱度

1回答

如何在Python中形成洗牌批次？

我有一個100k條目的列表，並希望將它們拆分爲10k混洗的批次。這個怎麼做？我在sklearn找到一個函數shuffle，它的參數爲n_samples。但我沒有看到任何保證，這批將涵蓋所有設置。我想從整個集合中隨機抽取一批，但不會重複，直到採集所有樣本。這可能嗎？

5熱度

1回答

什麼是keras.models.Model.fit中的「epoch」？

什麼是keras.models.Model.fit中的「epoch」？它是一個漸變更新？如果它是多個梯度更新，那麼定義一個時代是什麼？假設我將自己的批次送到fit。我將「時代」視爲完成處理整個訓練集（這是否正確）？那麼如何通過這種方式來控制keras？我可以設置batch_size等於x和y大小和epochs等於1？