2015-01-09 56 views
1

工作節點使用Amazon EMR,蜂巢0.13,Hadoop的2.x和普雷斯托服務器0.89。嘗試設置Presto以查詢通常通過Hive查詢的數據。 Hive元數據存儲在MySQL中。 Presto服務器安裝在所有節點上。大多數情況下,一切都按照prestodb.io上的記錄進行設置。普雷斯托/ PrestoDB - 查詢...無可用

我第一次開始的所有節點(協調和工人)在服務器上,然後啓動協調員/名稱節點上的CLI。當我嘗試使用下面的命令來運行查詢,我得到一個「查詢...沒有工作節點用」錯誤:

presto-cli presto-cli --server localhost:8080 --catalog jmx --schema default 
presto:default> SELECT * FROM sys.node; 
"Query ... No worker nodes available" 

如果我包括我的協調config.properties文件的node-scheduler.include-coordinator=true,則返回1個節點從這個查詢。

CONFIGS:

等/ config.properties(僅在協調)

coordinator=true 
node-scheduler.include-coordinator=false 
http-server.http.port=8080 
task.max-memory=1GB 
discovery-server.enabled=true 
discovery.uri=http://aws.internal.ip.of.coordinator:8080 

等/ config.properties(僅在工)

coordinator=false 
http-server.http.port=8080 
task.max-memory=1GB 
discovery.uri=http://aws.internal.ip.of.coordinator:8080 

等/catalog/hive.properties(所有節點)

connector.name=hive-hadoop2 
hive.metastore.uri=thrift://aws.internal.ip.of.coordinator:9083 

等/目錄/ jmx.properties(所有節點)

connector.name=jmx 

等/ jvm.config(所有節點)

-server 
-Xmx16G 
-XX:+UseConcMarkSweepGC 
-XX:+ExplicitGCInvokesConcurrent 
-XX:+CMSClassUnloadingEnabled 
-XX:+AggressiveOpts 
-XX:+HeapDumpOnOutOfMemoryError 
-XX:OnOutOfMemoryError=kill -9 %p 
-XX:ReservedCodeCacheSize=150M  

等/日誌。屬性

com.facebook.presto=INFO 

等/ node.properties對我而言

node.environment=production 
node.id=unique-uuid #used uuidgen 
node.data-dir=/mnt/presto-data 

回答

1

簡單的錯誤,就是使這個無法運行。我有一個隨機的分號,而不是我的aws.internal.ip.of.coordinator IP地址中的一段時間。看着我的配置,我只是沒有看到它。

上面的代碼將類似於上面的一個一個Amazon EMR多節點集羣上運行。