我在SSIS中進行了複雜轉換的概念驗證。我現在擁有在虛擬機中創建的POC的性能指標,具有1個內存,分配了1個內核。 SSIS轉換都是基於文件的(源和目標)。SSIS有多少個內核?
現在我想使用這個指標來選擇生產環境中正確數量的內核和內存。
如果我知道每天的文件數量和每天要轉換的文件大小總量,那麼如何確定正確的核心和內存用於生產?
(編輯)考慮每天100GB和5000個文件的總傳輸大小!
我在SSIS中進行了複雜轉換的概念驗證。我現在擁有在虛擬機中創建的POC的性能指標,具有1個內存,分配了1個內核。 SSIS轉換都是基於文件的(源和目標)。SSIS有多少個內核?
現在我想使用這個指標來選擇生產環境中正確數量的內核和內存。
如果我知道每天的文件數量和每天要轉換的文件大小總量,那麼如何確定正確的核心和內存用於生產?
(編輯)考慮每天100GB和5000個文件的總傳輸大小!
你想要做另外兩個基準測試:2GB mem,1核和1GB mem,雙核。如果沒有更多的數據點,拍攝一個相當微小的環境的快照很難推斷出來。
此外,只有1GB內存,您還需要確保服務器沒有耗盡內存和分頁到磁盤(這會使您的數據在某種程度上隨着磁盤訪問而變化 - 並且給您無論如何,我已經從磁盤讀取...)。所以請確保你知道那裏發生了什麼。
SSIS試圖儘可能緩衝內存中的速度,所以更多的內存總是很好:-)更大的問題是額外的內核會給你帶來多大的好處。
有一些表現領域。一個是核心數量。更多的核心可以完成更多的並行工作。這當然也取決於你如何建立你的軟件包。某些對象是同步的,其他的是異步的內存也是一個因素,但它僅限於100MB /數據流組件。
你能解釋爲什麼有100mb /數據流組件的限制?你有任何參考,說明這一點? – 2011-06-22 05:08:05
http://msdn.microsoft.com/en-us/library/ms141031.aspx – 2011-06-22 19:20:52
請注意,組件使用的內存僅限於同步(流式)組件。異步(排序,聚合等)可能會消耗更多的內存。 – Michael 2011-06-23 04:32:59