kiba-etl

1熱度

1回答

我必須將數據加載到Spree應用程序中。 Spree使用Rails引擎。所有示例都使用漂亮打印或CSV目標，但我想在目標中使用大型模型，例如。 SpreeModel.create!(row) 我試着做rails runner "exec('kiba db/etl/convert-csv.etl')"，但我得到這個錯誤： db/etl/convert-csv.etl:4:in `parse': u

0熱度

1回答

使用Kiba：是否可以在同一個文件中定義和運行兩個管道？使用中間目標和第二個來源

我的處理在需要進一步處理之前有一個「濃縮」步驟：來源：各種用戶的原始事件/分析日誌。變換：根據用戶標識將每一行插入一個散列。目標/輸出：一個內存中的散，如： { "user1" => [event, event,...], "user2" => [event, event,...] } 現在，我沒有必要存儲這些用戶組的任何地方，我只是想進行處理它們。與Kiba使用中

1熱度

2回答

使用kiba-etl gem可以跳過加載一行嗎？

如果我認爲使用kiba-etl gem無效行，有沒有辦法可以跳過加載某些行？例如，如果在我將它加載到系統或發生錯誤之前必須通過驗證，並且無論記錄問題如何，我仍然需要將數據推送到sys。

1熱度

1回答

Kiba：表之間的「增量同步」

我的目標是根據GROUP BY語句將來自大表的條目映射到較小的表。我想通過增加的方式通過Kiba同步它們，即不用重寫不變的條目。 Kiba是否能夠識別並運行插入，更新和刪除的最小數量以同步兩個表？乾杯！

2熱度

1回答

是否可以使用Kiba進行查找

是否可以使用Kiba進行「查找」？因爲它是在ETL相當正常的過程。如果是的話，你能演示一個演示嗎，謝謝。

0熱度

1回答

Tmdb :: InvalidApiKeyError（Tmdb :: InvalidApiKeyError）

當我使用Kiba ELT時，我遵循YouTube中的教程以及所有者提供的教程。然而，我收到此錯誤： [email protected]:~/test01$ bundle exec kiba movies.etl { "title: Blade Runner" => "title: Minority Report" } /home/bitlasoft/.rvm/gems/ruby-2

1熱度

1回答

Kiba-etl多重轉換 - 多個目標

我試圖進行多重轉換，將其分發到多個目標。例如： orginal.csv: title movies1 movies2 movies3 movies4 增加了.themoviedb並將其轉化爲這個 better_movies.csv: title movies1=9 movies2=5.5 movies3=7 movies4=8 再次我想變換和推動該文件至S3 rate