spark-thriftserver

1熱度

1回答

這個問題看起來可能重複，事實上，我已經看到了一些與此相關的問題，但並不完全具有相同的錯誤，所以我要求查看是否有人有線索。我已經設置了一個使用默認設置運行的Spark Thrift Server。 Spark版本是2.1，它運行在YARN上（Hadoop 2.7.3）事實是，我無法設置Simba配置單元ODBC驅動程序和Microsoft，因此ODBC設置中的測試成功。這是我使用微軟蜂房ODB

0熱度

1回答

在Spark Beeline上從S3創建外部表

在4節點集羣中的每個節點上，更改爲/etc/dse/spark/hive-site.xml。 <property> <name>fs.s3.awsAccessKeyId</name> <value>****</value> </property> <property> <name>fs.s3.awsSecretAccessKey</name> <val

0熱度

1回答

使用HiveThriftServer2與sqlContext的Spark 2.x

我的需求是啓用ODBC/JDBC訪問SparkSQL 臨時表，其中有一個Spark中的DataFrame（混合基於JSON和流）。我使它在Spark 1.6中工作，然後最近升級到Spark到2.1.1。我調整了我的代碼作爲this question中的第二個應答者。我注意到，對這一條款棄用警告，但是： val sqlContext = new org.apache.spark.sql.SQLCo

0熱度

2回答

如何配置火花sql節儉服務器

我想安裝Apache節儉服務器。我安裝了火花，hadoop和紗。我配置蜂巢metastore併成功啓動兩metastore 和hiveserver2： nohup的蜂巢--service metastore> /var/log/hive/metastore.log & nohup的蜂巢--service hiveserver2> /無功/日誌/蜂巢/ hiveserver2。登錄& hives

1熱度

1回答

在ThriftServer中註冊臨時表

我是Spark新手，想了解如何（如果有的話）在Spark節點服務器中將數據框註冊爲臨時表。要澄清一下，這就是我想要做的事：提交，生成一個數據幀並將其註冊爲一個臨時表從JDBC客戶端，以星火ThriftServer連接的應用程序（在主機上運行）並查詢臨時表，即使在註冊完成的應用程序之後。到目前爲止，我還沒有成功 - Spark ThriftServer在Spark master上運行，但我無

2熱度

2回答

在Spark Thrift服務器中緩存數據幀

我有一個Spark Thrift服務器。我連接到Thrift Server並獲取Hive表的數據。如果我再次查詢同一個表，它將再次將文件加載到內存中並執行查詢。有什麼辦法可以使用Spark Thrift Server緩存表數據？如果是的話，請讓我知道如何做到這一點

0熱度

1回答

apache節儉監視器hdfs文件

我計劃使用Apache Thrift來監視對本地更改的任何更改並將該數據推送到客戶端（更改後的數據）。當我檢查了勤儉節約的文檔林看到多個傳輸層，但不明白我應該使用哪一個傳輸層 http://thrift-tutorial.readthedocs.io/en/latest/thrift-stack.html Tranport Layer The transport layer is respon

1熱度

2回答

如何在MySQL中使用Hive Metastore（用於Thrift Server或Spark-Shell）？

我正在使用Apache Spark 2.1.1，並且希望使用外部Hive Metastore（特別針對Spark Thrift Server）進行設置。我已經加入hive-site.xml到$SPARK_HOME/conf文件夾如下： <?xml version="1.0"?> <configuration> <property> <name>javax.jdo.optio

2熱度

1回答

如何在HiveThriftServer2中註冊自定義的UDF jar？

在HiveThriftServer2類中，調用startWithContext與調用main之間有什麼區別？我有一個客戶UDF jar，我想註冊，所以每次當節儉服務器啓動時，所有這些都是自動配置。有沒有辦法做到這一點？我可以使用Hive上下文來註冊UDF jar和函數並調用HiveThriftServer2.startWithContext來啓動服務器嗎？感謝

1熱度

1回答

在火花中啓動節儉服務器

任何人都可以幫助啓動節儉服務器嗎？我正在以獨立模式運行腳本，並且希望在我的商業智能工具中獲取數據。爲了做到這一點，我需要啓動節儉服務器。我試圖運行shell腳本： $SPARK_HOME/sbin/start-thriftserver.sh ，但我得到一個錯誤： error "ps unknown option --0"