0
如果我有一個字符串「你好，我是XYZ」它可以被標記爲標記： - 「你好」，「我」，「上午」，「XYZ」。但是，我將如何標記一個非空格分隔的字符串。 例如：「你好，IamXYZ」？我如何標記非空格分隔的字符串？
A
回答
0
如果字符串中沒有空格，則使用字典對其進行標記。
另一種方法是使用ngrams，但要小心字符串的長度，因爲它可能會創建許多ngram！
+0
我將如何使用字典？我可以使用ngrams，但它會很耗時，我必須將它與我的字典中存在的每個單詞的ngram進行比較。例如，如果它是WhereisIndia？ （wh，he，er，re，ei，sI ....}，我必須把{wh，他}與所有單詞的重音進行比較，然後{wh，他，呃}與每個單詞的二元組進行比較，等等。 –
相關問題
- 1. 帶分隔符的標記字符串「/」
- 2. 分裂空格分隔字符串
- 3. 字符串標記，分隔符
- 4. Java字符串標記器分隔符
- 5. （C++）在由空格分隔的字符串中分隔數字
- 6. 如何使用Python爲字符串中的數字標識空格分隔符？
- 7. 如何提取一部分由空格分隔的字符串？
- 8. 空格分隔MySQL字符串搜索
- 9. 使用空格分隔字符串
- 10. 如何標記沒有空格分隔符的連續單詞？
- 11. 以空格分隔字符串作爲分隔符
- 12. 做空格將字符串分隔成不同的字符串？
- 13. 字符串標記化，按標記分隔而不是分隔符
- 14. 如何計算字符串中空格分隔的子字符串的數量
- 15. 如何讀取由C++中的空格分隔的字符串？
- 16. 拆分空間和非數字...包括非數字分隔符，不包括空格分隔符
- 17. 空格上的標記字符串，除非在引號之間
- 18. Java的 - 如何將字符串與空格分隔爲變量？
- 19. 如何解析PHP中的空格分隔字符串？
- 20. 如何將空格分隔的字符串分隔爲多個變量？
- 21. php5從字符串複製子字符串由空格分隔？
- 22. 如何用空格分隔字符串，除非用＃＃或「」括起來「
- 23. bash腳本用空格分隔標記字符串轉換成數組
- 24. 創建由字符串空格分隔的字符列表
- 25. 如何分割沒有連續分隔符的空格的字符串
- 26. 迭代在字符串中沒有空格作爲分隔符的分隔符
- 27. 如何以空格或逗號分隔JavaScript字符串？
- 28. 如何在C＃中用空格分隔字符串？
- 29. 如何使用空格分隔字符串和「|」在javascript中
- 30. 如何解析，保留和檢索標籤以空格分隔的字符串？
Tokenize是什麼，英文單詞？閱讀字典並查看是否有任何組合匹配。但我期望很多字符串都會模糊（兩個或多個有效的解析） – Kevin