2015-12-21 146 views
0

是否有任何簡單的方法遠程發送作業到主Carte服務器並讓它將每個作業委託給不同的從服務器?Pentaho Carte負載平衡

根據我讀到的,我在Pentaho中開箱即用的負載平衡的唯一選擇是調整我的轉換中的步驟上的集羣配置,然後包含此配置的轉換步驟將使用定義的從服務器。通過這種方式,我可以採用「某種」負載均衡方法,但實際上這是個別作業的並行化。

這不是我要找的。我需要的是一種更簡單的方法,它不涉及工作中並行化的複雜性,而是簡單地將每個工作或轉換以循環方式傳遞給不同的從服務器,從而實現所有硬件,而不是所有在主服務器上運行的硬件。

在此先感謝

回答

3

我希望我的回答可以幫助你,儘管我不是專家,但誰是試圖做的完全一樣,你描述的,我的經驗,到目前爲止,這是一個老鄉Pentaho的用戶:

(如果有人發現不對勁對我的回答,請讓我知道我要學的太多= d)

什麼PDI集羣是? - 一個橫向擴展解決方案

Pentaho數據集成集羣非常棒(1)打破巨大的轉換,將大量的CPU /內存用到較小的塊中,(2)通過巧妙的設計加速執行時間或至少讓它運行在通用硬件(不是一個有24個CPU和256GM內存的巨大服務器)

有沒有一種方法可以自動分配集羣內的轉換(循環)?

我很抱歉地說,直到現在我還沒有能夠在我的AWS實例中做到這一點。我用3 EC2在AWS測試與如下幾個不同的結構分佈:

  • 一主,兩個奴隸 - 我給所有轉換進入由同一主,希望這將循環賽執行在奴隸之間,只有在奴隸充滿了事情的時候纔會進行一些轉變。但事情並沒有發生,主人爲自己完成了所有的工作,奴隸們也沒有做任何事情。 (如果發送具有並行轉換的作業,則會發生同樣的情況)
  • 通過彈性負載平衡器的三個主控制器 - AWS的ELB是一種將來自不同源的應用程序請求分發到所有EC2實例以及我認爲它可以幫助我將改造分配給所有的carte機器(所有的主人)。那麼事實證明,如果它是提出請求的主機,則會指向相同的EC2實例。所以每次我發送測試作業運行時,一位隨機的主人接受了所有請求,其他人只是坐在那裏等待。這裏沒有好消息。
  • 三位大師,路由53 - Route 53是AWS DNS服務,並且具有以許多不同方式路由您的網站/ webapp請求的特殊功能。其中之一是循環賽。但是我得到了Elastic Load Balancer給我的同樣的問題。一臺隨機服務器遇到了麻煩,所以,這裏也沒有好消息。

可能sollution

嗯,這還不是全部在其他機器上執行,你不能分發您的變換來了一堆的噩夢。你真的可以!但是Carte,Elastic Load Balance和Route 53都不會爲你循環賽。因此,您所做的只是將所有從屬服務器(或主服務器)添加到您的作業中,爲每個轉換分配一個不同的從屬服務器。這是在高級選項卡上可行的,像截圖:

Where to select the remote server that should run this transformation

+1

感謝您分享您的經驗,這是最有幫助的。 –