0
我試圖使用Hadoop來讀取數據，然後回寫到MySql。但是，似乎我只能做插入。如果我嘗試使用相同的主鍵（它意味着更新）回寫，將出現「主鍵複製XXX」的錯誤。是否有人解決了這個問題？是否可以更新？非常感謝！無法通過Hadoop更新MySql，只能插入
A
回答
0
您是否正在使用Sqoop或在Map/Reduce任務中使用SQL語句？看起來像多個reducer或單個reducer一次又一次地使用相同的主鍵寫入數據您必須重新設計map/reduce任務或數據庫模式以消除錯誤
在reducer中，它是如何知道是否需要更新或插入？是否在數據庫中檢查了具有相同主鍵的行，然後插入或更新完成？
應用程序設計必須詳細瞭解才能解決問題。
相關問題
- 1. 無法通過NetBeans插入MySQL
- 2. 無法通過PDO插入到MySQL
- 3. 無法通過php插入到mysql
- 4. 日誌記錄只能插入，更新和刪除mysql查詢
- 5. mysql插入vs更新性能
- 6. MySQL在重複密鑰更新只插入，不更新
- 7. 通過ajax更新/插入值
- 8. MySQL的TIMESTAMP通過PHP插入時沒有更新
- 9. 插入查詢通過PHP不更新MySQL數據庫
- 10. 如何通過PHP更新/插入MySQL表中的數據
- 11. Mysql更新通過加入並限制
- 12. 無法更新EntitySet的（無插入功能）
- 13. GLSL制服只能通過無關聯的呼叫更新
- 14. Mysql的Xtradb通過插入
- 15. 同步框架 - 無法更新或刪除主鍵表。只能插入工作
- 16. 更新/插入MySQL查詢
- 17. 插入或更新mysql表
- 18. Mysql插入和更新
- 19. MySQL插入/更新問題
- 20. 插入更新多行mysql
- 21. php mysql插入和更新
- 22. 更新或插入MySQL Python
- 23. MySQL插入重複更新
- 24. 無法通過表單數據插入mysql數據庫
- 25. 無法通過servlet將數據插入到mysql
- 26. 無法插入數據在mysql表中通過php
- 27. 無法通過php mysql插入數組中的特定段
- 28. 通過PHP PDO創建MySQL表後無法插入
- 29. 無法通過mysqli插入到mysql數據庫
- 30. 無法通過Chrome擴展插入CSS
從M/R作業插入數據庫時，如果鍵是要插入的表中的主鍵，那麼將reduce任務設置爲1將始終有用。如果你不在意，做一個「重複密鑰更新/忽略」 –
@Thomas - 當Reducer Key = Table的主鍵時，如何讓一個Reducer有幫助？我想，這應該不重要。 –
由於Hadoop在reduce步驟中注意密鑰是不同/唯一的，因此防止了數據庫中的衝突。 –