天青分析服務處理使用天藍色數據工廠定製活動沒有天藍色的批次

Question

我有用於處理Azure分析服務的.net dll。它在.Net中工作正常。 現在我想使用Azure數據工廠定製活動而不使用Azure Batch運行相同的dll。

我可以使用什麼方法？

使用Hdinsight我得到錯誤

FAILED 錯誤：了java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：子與org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads代碼2 失敗（PipeMapRed。 java：322） at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished（PipeMapRed.java:535） at org.apache.hadoop.streaming.PipeMapper.close（PipeMapper.java:130） at org.apache。 hadoop.mapred.MapRunner.run（MapRunner.java:61） at org.apache.hadoop.streaming.PipeMapRunner.run（PipeMapRunner.java:34） at org.apache.hadoop.mapred.MapTa在org.apache.hadoop.mapred.YarnChild上運行org.apache.hadoop.mapred.MapTask.run（MapTask.java:343） $ 2.run（YarnChild.java:170 ） at java.security.AccessController.doPrivileged（Native Method） at javax.security.auth.Subject.doAs（Subject.java:422） at org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java： 1866年） 在org.apache.hadoop.mapred.YarnChild.main（YarnChild.java:164）

17/08/05 11時31分07秒INFO mapreduce.Job：任務標識：attempt_1501755343944_0172_m_000000_3，狀態：FAILED 錯誤：java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：子進程失敗，代碼爲2 at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads（PipeMapRed.java:322） at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished（PipeMapRed.java:535） at org.apache.hadoop.streaming。 PipeMapper.close（PipeMapper.java:130） at org.apache.hadoop.mapred.MapRunner.run（MapRunner.java:61） at org.apache.hadoop.streaming.PipeMapRunner.run（PipeMapRunner.java:34） at org.apache.hadoop.mapred.MapTask.runOldMapper（MapTask.java:453） at org.apache.hadoop.mapred.MapTask.run（MapTask.java:343） at org.apache.hadoop.mapred。 YarnChild $ 2.run（YarnChild.java:170） at java.security.AccessController.doPrivileged（Native Method） at javax.security.auth.Subject.doAs（Subject.java:422） 在org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1866） 在org.apache.hadoop.mapred.YarnChild.main（YarnChild.java:164）

17/08/05 11 ：31：12 INFO mapreduce.Job：任務ID：attempt_1501755343944_0172_m_000000_4，狀態：FAILED 錯誤：java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：子進程失敗，代碼爲2 at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads （PipeMapRed.java:322） 在org.apache.hadoop.streaming.PipeMapRed.mapRedFinished（PipeMapRed.java:535） 在org.apache.hadoop.streaming.PipeMapper.close（PipeMapper.java:130） 在有機.apache.hadoop.mapred.MapRunner.run（MapRunner.java:61） at o rg.apache.hadoop.streaming.PipeMapRunner.run（PipeMapRunner.java:34） at org.apache.hadoop.mapred.MapTask.runOldMapper（MapTask.java:453） at org.apache.hadoop.mapred.MapTask。運行（MapTask.java:343） at org.apache.hadoop.mapred.YarnChild $ 2.run（YarnChild.java:170） at java.security.AccessController。在org.apache.hadoop上的org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1866） .mapred.YarnChild.main（YarnChild.java:164）

17/08/05 11點31分17秒INFO mapreduce.Job：任務標識：attempt_1501755343944_0172_m_000000_5，狀態：失敗 錯誤：了java.lang.RuntimeException：PipeMapRed .waitOutputThreads（）：subprocess failed with code 2 at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads（PipeMapRed.java:322） at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished（PipeMapRed.java:535） at org.apache.hadoop.streaming.PipeMapper.close（PipeMapp er.java:130） at org.apache.hadoop.mapred.MapRunner.run（MapRunner.java:61） at org.apache.hadoop.streaming.PipeMapRunner.run（PipeMapRunner.java:34） at org。 apache.hadoop.mapred.MapTask.runOldMapper（MapTask.java:453） 在org.apache.hadoop.mapred.MapTask.run（MapTask.java:343） 在org.apache.hadoop.mapred.YarnChild

Answer 1

當前自定義的.Net活動只能在Azure批處理和Azure HDInsight上執行。由於您不想使用第一個選項，HDInsight是唯一的方法。

基本上，您需要創建HDInsight服務並將其描述爲您的自定義.Net活動管道的鏈接服務。

請參閱Use Custom .Net activity with HDInsight。