閱讀PCAP二進制文件到HDFS

我需要解析的標準PCAP二進制日誌文件庫，用於MR（MapReduce的）工作在Git中here 閱讀PCAP二進制文件到HDFS

已經上市我還看到一個樣本here

ClassNotFoundException: p3.hadoop.mapreduce.lib.input.PcapInputFormat

我見上面的例外，當我運行示例類。

我的POM樣子

<plugin> 
      <groupId>org.apache.maven.plugins</groupId> 
      <artifactId>maven-jar-plugin</artifactId> 
      <version>2.4</version> 
      <configuration> 
       <archive> 
        <manifest> 
         <addClasspath>true</addClasspath> 
         <classpathPrefix>lib/</classpathPrefix> 
         <mainClass>com.name.mr.analytics.main.NetworkAnalytics</mainClass> 
        </manifest> 
       </archive> 
      </configuration> 
     </plugin> 

     <plugin> 
      <artifactId>maven-assembly-plugin</artifactId> 
      <configuration> 
       <archive> 
        <manifest> 
         <mainClass></mainClass> 
        </manifest> 
       </archive> 
       <descriptorRefs> 
        <descriptorRef> jar-with-dependencies </descriptorRef> 
       </descriptorRefs> 
      </configuration> 
      <executions> 
       <execution> 
        <id>make-assembly</id> 
        <phase>package</phase> 
        <goals> 
         <goal>single</goal> 
        </goals> 
       </execution> 
      </executions> 
     </plugin>

我包裝所有必要的罐子，但一些如何Maven是覆蓋MANIFEST.MF文件，我只能看到路徑或主類的罐子的MANIFEST.MF -with依賴性。然而在另一個正在創建的jar中有manifest.mf中的所有細節，但顯然依賴不可用。

任何幫助表示讚賞。

來源

2014-11-05 Raghuveer

你''是空的，根據主類的設置你的工作。還請附上您獲得的jar文件的內容列表作爲輸出（'jar tvf '） – 0x0FFF 2014-11-05 15:06:54

您面臨的問題與在執行您的mapreduce作業的節點上找不到此類相關。你必須對如何使工作3個主要選項：

包的hadoop-pcap類到您的jar文件（可以很容易地使用GUI IDE來完成）
將包含hadoop-pcap類的JAR文件在每個羣集的節點進入CLASSPATH目錄之一（見yarn.application.classpath）
將含有hadoop-pcap到HDFS（hdfs dfs -put hadoop_pcap.jar <hdfs path>）的jar文件，並使用job.addFileToClassPath呼籲jar文件與hadoop-pcap包要與你的工作一起運到所有節點執行它

對於生產使用我建議的解決方案＃2，當你仍然在開發代碼，我建議你嘗試＃1第一

來源

2014-11-05 14:39:57 0x0FFF

更新了該帖子。我曾嘗試將main-class添加到程序集插件中，但它不起作用。 – Raghuveer 2014-11-05 14:57:55

請列出你得到的jar文件的內容和項目結構 – 0x0FFF 2014-11-05 15:45:26

這裏還有一個關於如何在使用maven構建項目時包含依賴關係的選項列表：http://stackoverflow.com/questions/574594/how-can- i-create-an-executable-jar -with-dependencies-using-maven – 0x0FFF 2014-11-05 15:52:49

閱讀PCAP二進制文件到HDFS

回答

相關問題