cascading

    0熱度

    1回答

    我試圖通過自定義文件格式轉儲Hadoop集羣上的一些數據,通常是HBase。 我想什麼做的是多了還是少了以下內容:從記錄,比如通過一些計算功能的滾燙的管道或類似 項目組分佈式列表 開始 使使屬於同一組項目駐留在每個組在同一臺服務器 上,應用轉換 - 涉及排序 - 寫在磁盤上的結果。事實上,我需要編寫一堆MapFile - 它們基本上是對SequenceFile進行排序的,還有一個索引。 我想實現上

    4熱度

    1回答

    我正在使用Scalding處理具有許多(> 22)字段的記錄。在這個過程結束時,我想寫出最後一個Pipe的字段名稱到一個文件中。我知道這是可能的,因爲Mapper和Reducer日誌顯示這些信息。我希望在工作中獲得這些信息,以此作爲窮人模式的基礎。如果這是不可能的,那麼是否有一種很好的方式來爲大型記錄使用類型安全的Pipes API(即,不訴諸任意嵌套的元組或案例類)?

    0熱度

    1回答

    在我創建的[Http post]方法中,除了級聯下拉項外,所有數據都被插入。我有Department,Subject和section模型。一個部門可以有很多科目,一個科目可以有很多部分。添加jquery提交部分後,顯示錶單不能提交!然後它返回到索引!這裏是從區間控制器我代碼: [HttpPost] [ValidateAntiForgeryToken] public ActionResult C

    1熱度

    1回答

    當我在較大的數據集上運行作業時,大量映射器/縮減器失敗導致整個作業崩潰。以下是我在許多映射器上看到的錯誤: java.io.FileNotFoundException: File does not exist: /mnt/var/lib/hadoop/tmp/mapred/staging/hadoop/.staging/job_201405050818_0001/job.split at

    6熱度

    2回答

    當在CentOS 6.5建立教程的第一部分,Java版本「1.7.0_51」我得到的搖籃錯誤: 不能更改配置'providecompile',因爲它已經解決了! [part1的本地主機] $ gradle這個乾淨罐子 失敗:建立失敗,一個例外。 其中: 構建文件 '/home/test/wks/Cascading/Java/Impatient/part1/build.gradle' 行:43 出了

    0熱度

    1回答

    我試圖在hdfs中的csv中讀取,使用級聯解析它,然後使用結果元組流形成正則表達式的基礎另一個使用RegexParser的元組流。據我所知,做到這一點的唯一方法是編寫自己的自定義函數,我想知道是否有人知道如何使用Java API來做到這一點。 如何編寫我自己的函數來在級聯框架內完成此操作的指針也會受到歡迎。 我跑級聯2.5.1

    0熱度

    1回答

    Scala noob here。 我正在集成一個使用內部級聯的webcrawler(bixo)。所以我一直在投入一些時間來逐行移植一個他們提供的例子(see here)。 到目前爲止我還沒有取得進展,我堅持的一件事是在sinkMap,基本上是級聯Tap s的地圖。 我寫了路線爲: val sinkMap: Map[String, Tap] = Map[String, Tap]() 和特定的線由

    0熱度

    1回答

    #include <iostream> using namespace std; class armon { int a; int b; public: armon(int newA, int newB) : a(newA), b(newB) {} armon setA(int newA) { a = newA; ret

    2熱度

    1回答

    後保留所有的領域,我做了groupBy計算的值,但似乎我的組,我失去了所有未在聚集鍵的字段: filtered.filterNot('site) {s:String => ...} .filterNot('date) {s:String => ...} aggr = filtered.groupBy('id, 'contentHost) { group => group.m

    0熱度

    1回答

    大家好我晚上每個人都在嘗試獲取數據當我的下拉列表中的某個選擇的索引發生變化時,我的代碼我無法得到我在哪裏失蹤或做錯事我非常高興如果你幫我謝謝你。 這是我的腳本代碼 $("#ddOrder").change(function (e) { alert = "basıldı"; var oID = $(this).val(); $.getJSON("../Acc