如何檢查mysql中的二進制字符串是否爲UTF-8？

我發現了一個可以檢查字符串是否爲UTF-8的正則表達式（正則表達式來自w3c site）。如何檢查mysql中的二進制字符串是否爲UTF-8？

$field =~ 
    m/\A(
    [\x09\x0A\x0D\x20-\x7E]   # ASCII 
    | [\xC2-\xDF][\x80-\xBF]    # non-overlong 2-byte 
    | \xE0[\xA0-\xBF][\x80-\xBF]  # excluding overlongs 
    | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte 
    | \xED[\x80-\x9F][\x80-\xBF]  # excluding surrogates 
    | \xF0[\x90-\xBF][\x80-\xBF]{2}  # planes 1-3 
    | [\xF1-\xF3][\x80-\xBF]{3}   # planes 4-15 
    | \xF4[\x80-\x8F][\x80-\xBF]{2}  # plane 16 
)*\z/x;

但我不知道如何將它移植到MySQL，因爲它似乎是，MySQL不支持十六進制表示的字符看this question。

任何想法如何將正則表達式移植到MySQL？或者也許你知道任何其他方式來檢查字符串是否有效的UTF-8？

更新： 我需要這個檢查在MySQL上工作，因爲我需要在服務器上運行它來糾正損壞的表。由於數據庫大約爲1TB，因此無法通過腳本傳遞數據。

來源

2010-02-04 Piotr Czapla

我已經設法修復我的數據庫使用測試，只有在您的數據可以使用一個字節的編碼來表示我的情況下，它是一個拉丁1。

我已經使用了一個事實，即mysql將不是utf-8的字節更改爲'？'當轉換到latin1。

下面是檢查的樣子：

SELECT (
     CONVERT(
      CONVERT(
       potentially_broken_column 
      USING latin1) 
     USING utf8)) 
     != 
     potentially_broken_column) AS INVALID ....

來源

2010-03-14 18:21:32

這僅適用於西歐語言，如英語，西班牙語等。如果您有東方字符，則可能無法正常工作。 – 2016-04-12 19:33:28

如果您在控制此數據庫的輸入和輸出端，那麼您應該能夠驗證您的數據是否在您喜歡的任何一方爲UTF-8，並根據需要實施約束。如果你正在處理一個你不控制輸入端的系統，那麼在你把它拉出來之後你將不得不檢查它，並且可能會用你選擇的語言（Perl聽起來像）來轉換。

該數據庫是一個非常好的存儲設施，但不應該積極地用於其他應用程序。我認爲這是一個你應該讓MySQL保存數據的地方，直到你需要做更多的事情。

如果你想繼續你的路徑上，然後檢查了這個MySQL手冊：http://dev.mysql.com/doc/refman/5.0/en/regexp.html

正則表達式是正常語言之間非常相似（其實我的JavaScript，PHP和Perl之間幾乎總是複製只需對它們的包裝函數進行微小的調整），所以如果這是REGEX的工作，那麼你應該能夠輕鬆移植它。

GL！

編輯：看看這個堆棧的文章 - 你可能想使用存儲過程，你不能使用腳本來處理數據考慮：Regular expressions in stored procedures

在存儲過程中可以遍歷數據，並做了很多處理沒有離開MySQL。第二篇文章將引用你回到我列出的那個，所以我認爲你需要首先證明你的REGEX並讓它工作，然後看看存儲過程。

來源

2010-02-04 13:41:51 Shane

我不能端口字符如\ X61十六進制表示看到我指的更多細節 – 2010-02-04 13:45:43

@Piotr Czapla的問題 - 你可以給我想知道你試圖存儲什麼數據，爲什麼你需要以十六進制存儲它？這可能會幫助我或其他人解決它。你用什麼類型的領域來存儲這個？（文|二進制| VARCHAR）。此外，我正在擴展我的答案 - 看看這是否有幫助。 – Shane 2010-02-04 14:19:07

@Shame我不會以十六進制存儲任何數據。我修復一個損壞的數據庫，我需要檢查修復轉換是否正常工作。爲此，我想將問題中引用的正則表達式移植到mysql中。正則表達式使用十六進制表示字符來定義有效的utf字符的值範圍。而且mysql不支持十六進制表示。我需要找到解決這個問題的方法。 – 2010-02-04 15:10:43

如何檢查mysql中的二進制字符串是否爲UTF-8？

回答

相關問題