databricks

0熱度

1回答

我正在使用Spark和dataSet API創建一些分析數據集。我得分手在那裏我calcuating一些變量，它看起來是這樣的： CntDstCdrs1.groupByKey(x => (x.bs_recordid, x.bs_utcdate)).agg( count(when(($"bc_sub_org_id" === lit(500) && $"bc_utcdate" >= $"day

0熱度

1回答

適合功能無法執行減少與靈活類型

我有一個數據集的面積和價格從42個公寓。我正在使用Python與數據庫，我加載了一個csv文件作爲列分隔符,。之後，我將區域指定爲整數和價格雙倍。於是我進口的圖形庫和做迴歸： import matplotlib.pyplot as plt from sklearn import linear_model 後來我讀我的數據庫： aptos=sqlContext.read.format('csv

1熱度

2回答

Apache Spark SQL是否支持MERGE子句？

Apache Spark SQL是否支持與Oracle的MERGE SQL子句類似的MERGE子句？ MERGE into <table> using ( select * from <table1> when matched then update... DELETE WHERE... when not matched then insert... )

0熱度

1回答

如何計算在databricks筆記本中的命令單元執行時間

我需要知道在每個筆記本中執行命令單元列表所需的時間。 Databricks顯示「執行了幾秒鐘的命令」。與顯示的執行時間類似，我需要捕獲執行筆記本中所有命令所需的時間。

0熱度

1回答

Graphframe錯誤/星火

我寫在斯卡拉2.11這行代碼到Databricks： import org.graphframes._ val user_ridotto = sqlContext.sql("SELECT * FROM userRidotto") var users_1 = user_ridotto.select("user_id", "name", "city", "num_fr", "fans", "

0熱度

1回答

Spark數據集或數據框聚合

我們有一個Spark版本2.0的MapR羣集我們試圖測量當前在TEZ引擎上運行的Hive查詢的性能差異，然後在Spark-sql上運行它，只需編寫在.hql文件中查詢sql查詢，然後通過shell文件調用它。查詢中包含很多Join，這些Join肯定會創建多個階段，並且在這種情況下將會發生混洗，那麼最合適的選擇是什麼？這是真的，數據集，星火比Dataframes較慢像GROUPBY，最大值，最

2熱度

1回答

如何檢查列（數組類型）是否包含SQL中的值（不含任何）？

我有一個SQL表table其中一列arr是一個整數數組。如何將表格篩選到arr下的數組包含整數值的行？（例如，如果我搜索1，那麼應該包含數組[1,2,3]和[1,4]，但[3,4]不應該）。我在Databricks上使用Spark並且無法訪問ANY或MEMBER OF函數。

0熱度

1回答

Apache Spark數量的執行程序

我在數據庫上有Spark應用程序，它在32個節點的集羣上運行，每個16個內核和30GB內存。我想改變一些會話配置，但無論我改變了什麼，我都無法再讓更多的執行者，然後32（如執行者頁面上看到火花ui）？這些CONFIGS我已經改變了： spark.executor.instances spark.executor.memory spark.executor.cores 因爲我讀的併發任務最大

1熱度

1回答

在S3存儲區訪問文件從pyspark

我想從pyspark代碼訪問存儲在S3存儲區中的文件。它給我附加的錯誤信息。使用本地存儲的文件時，該程序正常工作。我嘗試過使用s3：//，s3a：//和s3n：//但是它們都不起作用。代碼： ACCESS_KEY = "*********" SECRET_KEY = "**********" EncodedSecretKey = SECRET_KEY.replace("/", "%2F"

0熱度

1回答

錯誤而使用PostgreTable JDBCUtils的truncateTable方法使用星火

我試圖用JDBCUtils截斷表從星火postgre_table，但它拋出下面的錯誤 < console>:71: error: value truncateTable is not a member of object org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils val trucate_table = JdbcUtils.t