如何在Django中處理數據更正（但這不是Django特有的！）

Question

我有一個Django應用程序，它從各種來源收集有關作曲家（音樂意義上的）信息 - API，HTTP POST，刮等等上。

一旦這個信息被彙總，它不是很高的質量。所以你可能在一個地方有「J S Bach」，在另一個地方有「J. S。Bach」，還有其他各種錯誤。這導致我的表中有幾行代表同一個人。

我想通過製作「J. S. Bach」的規範版來消除這些重複，並且讓它如此以至於如果我們看到「J S Bach」，我們就知道要糾正它。在現實中，有很多變化，但我很樂意將修正過程作爲人工輸入的手動修正過程。

所以我的問題是，在代碼中表示這個最好的方法是什麼？此刻，我的模型是：

class Composer(models.Model): 
    name = models.CharField(max_length=100) 

我應該：

• 有一個新的ComposerCorrection模式，即映射到composer_idcanonical_id？
• 添加可選canonical_id到Composer型號？
• 其他一些我沒有考慮過的事情？

另外值得一提的是，有其他關係，涉及的作曲家，如Work屬於Composer。當糾正發生時，這些ID也需要以某種方式重新指出，但我認爲這不是主要問題的一部分。

讓我知道你是否想要更多的信息！

Answer 1

添加到VascoP's answer（我會想辦法讓這個cmoment但在它有點太多代碼），你可以存儲自己replace_dic在數據庫中，以便您可以通過例如添加更正Django管理員，而不必更改任何代碼。這可能是這樣的：

class ComposerCorrection(models.Model): 
    wrong_name = models.CharField(max_length=100, unique=True) 
    canonical_name = models.CharField(max_length=100) 

def correct_name(name): 
    try: 
     return ComposerCorrection.objects.get(wrong_name=name).canonical_name 
    except ComposerCorrection.DoesNotExist: 
     return name 

然後你就可以把correct_name在Composer的save()方法（或預保存信號），也可以增加VascoP的correctComposer功能作爲後保存信號ComposerCorrection對象，所以增加一個新的將修復數據庫，而無需做其他任何事情。

Answer 2

如果Composer在完成數據收集之前僅包含名稱，爲了簡單起見，我可以選擇不首先將Composer名稱規範爲Composer，而是直接將它們存儲在Work實例中。就像

class Work(models.Model): 
    composer_name = models.CharField(max_length=100) 
    ... 

然後手動過濾作者名稱，並在Work的admin更改列表中執行批量更新，w/help和filter。

然後，您可以創建Composer實例和鏈接工作實例給他們，甚至使用composer_name作爲作曲家的主鍵..

Answer 3

當你發現一個錯誤命名作曲您應該更新這些關係並刪除錯誤命名Composer ：

def correctComposer(canonical_composer_name, wrong_composer_name): 
    canonical_composer = Composer.objects.get(name__exact=canonical_composer_name) 
    wrong_composer = Composer.objects.get(name__exact=wrong_composer_name) 

    # repeat this for each relationship 
    work = wrong_composer.work_set.all() 
    for entry in work: 
    entry.composer = canonical_composer 

    correction.save() 

    wrong_composer.delete() 

編輯：這適用於以前插入作曲家。爲了在插入時自動校正，可以使用不同的方法，因爲如果已經有適合他的規範作曲家，我們不需要創建新的作曲家。

對於這一點，你可以保持一個字典（應保持模型的可讀性附近）的頻繁失誤和correcNames功能：

replace_dic = { 
    'motzart' : 'Mozart', 
    'j s bach' : 'J. S. Bach' 
    } 

def correctNames(name, dic): 
    return dic.get(name.lower(), name) 

通過使鍵小寫你不區分大小寫的替代這是一種的獎金。

然後你可能會覆蓋Composer保存方法是這樣的：

def save(self, *args, **kwargs): 
    self.name = correctNames(self.name, replace_dic) 
    super(Composer, self).save()