工作節點使用Amazon EMR,蜂巢0.13,Hadoop的2.x和普雷斯托服務器0.89。嘗試設置Presto以查詢通常通過Hive查詢的數據。 Hive元數據存儲在MySQL中。 Presto服務器安裝在所有節點上。大多數情況下,一切都按照prestodb.io上的記錄進行設置。普雷斯托/ PrestoDB - 查詢...無可用
我第一次開始的所有節點(協調和工人)在服務器上,然後啓動協調員/名稱節點上的CLI。當我嘗試使用下面的命令來運行查詢,我得到一個「查詢...沒有工作節點用」錯誤:
presto-cli presto-cli --server localhost:8080 --catalog jmx --schema default
presto:default> SELECT * FROM sys.node;
"Query ... No worker nodes available"
如果我包括我的協調config.properties文件的node-scheduler.include-coordinator=true
,則返回1個節點從這個查詢。
CONFIGS:
等/ config.properties(僅在協調)
coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8080
task.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://aws.internal.ip.of.coordinator:8080
等/ config.properties(僅在工)
coordinator=false
http-server.http.port=8080
task.max-memory=1GB
discovery.uri=http://aws.internal.ip.of.coordinator:8080
等/catalog/hive.properties(所有節點)
connector.name=hive-hadoop2
hive.metastore.uri=thrift://aws.internal.ip.of.coordinator:9083
等/目錄/ jmx.properties(所有節點)
connector.name=jmx
等/ jvm.config(所有節點)
-server
-Xmx16G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M
等/日誌。屬性
com.facebook.presto=INFO
等/ node.properties對我而言
node.environment=production
node.id=unique-uuid #used uuidgen
node.data-dir=/mnt/presto-data