使用Spark JDBC連接到Teradata

Question

我試圖連接到使用Spark JDBC從Teradata中提取數據。我在主父目錄上創建了一個「lib」目錄，並放置了外部Teradata JAR並運行了sbt包。另外，我還在我的spark-shell命令中提供了「--jars」選項來提供jar。然而，當我運行火花外殼，它似乎並沒有找到類

Exception in thread "main" java.lang.ClassNotFoundException: com.teradata.hadoop.tool.TeradataImportTool 

然而，當我做「罐子TVF」的jar文件，我看到了類。不知何故，Spark實用程序無法找到該jar。還有什麼我需要做的，所以Spark能找到它嗎？請幫助

Answer 1

這種特殊類com.teradata.hadoop.tool.TeradataImportTool在teradata-hadoop-connector.jar

你可以嘗試在提交的工作就像下面的例子來傳遞：

--conf spark.driver.extraClassPath complete path of teradata-hadoop-connector.jar 
--conf spark.executor.extraClassPath complete path of teradata-hadoop-connector.jar 

OR

進口罐子兩個司機&執行。所以，你需要編輯conf/spark-defaults.conf在下面添加兩行。

spark.driver.extraClassPath complete path of teradata-hadoop-connector.jar 
spark.executor.extraClassPath complete path of teradata-hadoop-connector.jar 

• 注意：您可以使用uber jar is also known as fat jar即罐子 與依賴。還有另一種方法來避免這種問題的