qubole

1熱度

1回答

我有包含每日記錄的配置單表。我想從工作日中選擇記錄。所以我使用bellow蜂巢查詢來做到這一點。我正在使用QUBOLE API來執行此操作。 SELECT hour(pickup_time), COUNT(passengerid) FROM home_pickup WHERE CAST(date_format(pickup_time, 'u') as INT) NOT IN

1熱度

1回答

在AWS EMR上使用qubole/streamx時出現AWS S3訪問問題

我正在使用qubole/streamx作爲kafka sink連接器來使用kafka中的數據並將它們存儲在AWS S3中。我在AIM中創建了一個用戶，並且權限爲AmazonS3FullAccess。然後在hdfs-site.xml中設置密鑰ID和密鑰，該密碼在quickstart-s3.properties中指定。配置如下圖所示： quickstart-s3.properties： name=

3熱度

1回答

將Spark DataFrame數據劃分爲單獨的文件

我從s3文件獲得以下DataFrame輸入，並需要將數據轉換爲以下所需的輸出。我在Scala中使用了Spark 1.5.1版本，但可以使用Python更改爲Spark。歡迎任何建議。數據框中輸入： name animal data john mouse aaaaa bob mouse bbbbb bob mouse ccccc bob dog ddddd 所需的輸出： joh

0熱度

1回答

HDFS數據導出錯誤：只能複製到0節點，而不是1

succussefully運行蜂巢查詢時數據導出到MySQL在Qubole開始，我收到以下錯誤（在我的日誌文件）後： org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/mapred/system/CAR/libjars/tmp_clickimpressiontracking.jar40474103229175

7熱度

1回答

如何優雅地殺掉hadoop工作/攔截hadoop job -kill`

我的Java應用程序在mapper上運行，並使用Qubole API創建子進程。應用程序存儲兒童qubole queryID。我需要在退出之前攔截終止信號並關閉子進程。 hadoop job -kill jobId和yarn application -kill applicationId命令都以SIGKILL方式查殺作業，我不知道如何攔截關機。是否有可能以某種方式攔截作業殺手或配置hadoop讓應

0熱度

2回答

從Qubole插入本地csv到Hive表格

我的本地機器上有一個csv，我通過Qubole Web控制檯訪問Hive。我試圖將csv作爲新表格上傳，但無法弄清楚。我曾嘗試以下： LOAD DATA LOCAL INPATH <path> INTO TABLE <table>; 我得到的錯誤說No files matching path file 我猜測的CSV必須是在一些偏遠的服務器裏蜂巢實際運行，而不是我的本地機器上。我看到的解決方案

1熱度

1回答

無法在Qubole中創建類似於mysql的表

我想在Qubole中創建一個類似於在Mysql中創建的表的外部表。在mysql中查詢create table是： CREATE TABLE `mytable` ( `id` varchar(50) NOT NULL, `v_count` int(11) DEFAULT NULL, `l_visited` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP

0熱度

2回答

是否有api根據作業輸出發送通知？

我知道在作業失敗或完成時有配置通知的API。但是，如果我運行一個配置單元查詢來計算表中的行數呢？如果返回結果爲零，我想發送電子郵件給有關方面。我怎樣才能做到這一點？謝謝。

0熱度

1回答

比較1天價值的數據從S3桶更快

考慮下面 1. Front End Box ----> S3 Bucket-1 2. Front End Box ----> Kafka --> Storm ---> S3 Bucket-2 2的數據流從所述盒中的記錄被轉移到S3的桶。要求是用流程2替換流程1. 現在需要在Bucket-1和Bucket-2之間驗證數據以確保可以使用流程2。按照技術方案進行了嘗試： 1. Python :

0熱度

1回答

在qubole上的pyspark作業失敗，並顯示「重試異常讀取映射器輸出」

我有一個通過qubole運行的pyspark作業，失敗時顯示以下錯誤。 Qubole > Shell Command failed, exit code unknown Qubole > 2016-12-03 17:36:53,097 ERROR shellcli.py:231 - run - Retrying exception reading mapper output: (22, 'The