屬性文件來配置hortonworks上的風暴拓撲和kafka

我正在Hortonworks上使用Storm進行Hbase和Hive中的實時數據攝入，並且我開發了風暴拓撲以接收來自kafka代理的數據拓撲結構已提交，我可以看到我的kafkaspout和我的兩個螺栓，但是，我不知道爲什麼我的kafkaSpout不會消耗來自Kafka Brokers的消息，但是當我形象化拓撲時：0%數據已被消耗！屬性文件來配置hortonworks上的風暴拓撲和kafka

我也有一個錯誤在我hdfsbolt：

java.lang.RuntimeException: Error preparing HdfsBolt: Permission denied: user=storm, access=WRITE, inode="/infos-cliens-v4/staging/infosClientshdfsBolt-4-0-1462472414665.txt":hdfs:hdfs:drwxr-xr-x at

我@ip是192.168.1.78

我想我有修復性文件，但我不知道如何：

#Broker host 
    kafka.zookeeper.host.port=localhost 
    #Kafka topic to consume. 
    kafka.topic=TOPICINFORMATIONSCLIENTS 
    #Location in ZK for the Kafka spout to store state. 
    kafka.zkRoot=/infos_clients_sprout 
    #Kafka Spout Executors. 
    spout.thread.count=1 

    #hdfs bolt settings 
    hdfs.path=/infos-cliens-v4 
    hdfs.url=hdfs://sandbox.hortonworks.com:8020 
    hdfs.file.prefix=infosClients 
    #data will be moved from hdfs to the hive partition 
    #on the first write after the 1st minute. 
    hdfs.file.rotation.time.minutes=1 

    #hbase bolt settings 
    hbase.persist.all.events=false 


    PLZ Help me

來源

2016-05-05 Marki

您的用戶是

風暴

但是寫作目錄由HDFS所有。因此改變該目錄的用戶權限，並使用

CHOWN

命令使風暴的用戶。

如果您能夠連接到Hbase，請首先使用java代碼檢查。然後在Storm拓撲中測試相同的邏輯。

來源

2016-05-06 14:24:53

感謝我maked風暴的用戶，但我的卡夫卡壺嘴不消耗我不知道爲什麼 – Marki

仔細檢查正確的主題名稱，IP或主機名等..你檢查風暴和卡夫卡記錄的消息錯誤消息？。另請參閱STORM UI以獲取任何線索。 Thx –

當我運行製片人時，我得到這個錯誤！ – Marki

@Property zk.connect is not valid                 
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".                      
SLF4J: Defaulting to no-operation (NOP) logger implementation                       
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.                 
16/05/07 10:27:09 WARN common.AppInfo$: Can't read Kafka version from MANIFEST.MF. Possible cause: java.lang.NullPointerException    

    enter code here

來源

2016-05-07 10:42:11 Marki

屬性文件來配置hortonworks上的風暴拓撲和kafka

回答

相關問題