2016-03-24 39 views
2

我正在爲我的火花應用寫單元測試。我使用powermockito來測試轉換。 當我運行JUnit測試我有類似錯誤,火花單元測試不符合powermockito。

2016-03-24 17:10:10:805 INFO - Running Spark version 1.6.0 
2016-03-24 17:10:11:479 WARN - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
2016-03-24 17:10:11:586 ERROR - Can't find user in Subject: 
    Principal: NTUserPrincipal: My_userNAME 
    Principal: NTSidUserPrincipal: S-1-5-21-1082354718-1040695487-3441060932-16865 
    Principal: NTDomainPrincipal: MY_DOMAIN 
    ............. 
    ........... 
    Public Credential: NTNumericCredential: 1872 

當我刪除的powermockito上述錯誤消失了udage。我不知道爲什麼powermockito不適用於spark rdd轉換。

+0

你能粘貼示例代碼嗎? –

回答

1

我也遇到了同樣的問題。我找到了解決方案,主要問題是PowerMockRunner和spark會話。這是可以通過添加糾正

@PowerMockIgnore({"org.apache.hadoop.*","javax.*","com.sun.org.apache.*"}) 

它爲我工作。仍然如果你面臨一些錯誤,試着找出哪些內部類被調用,並最終忽略它。