是否可以使用自然語言處理來壓縮文本？

Question

我正在考慮使用大多數英語單詞壓縮大塊文本，但現在我懷疑它會很有效，因爲lzw似乎正在以更好的方式實現這一點。因爲人們可以分析句子的結構以更好地將其組織成較小的數據塊，並且結構並不完全一樣，但我不能動搖壓縮字符的感覺有點「殘酷」解壓縮時也是如此，它可以使用經典的壓縮方法。

「基本」NLP允許嗎？

Answer 1

NLP？

標準壓縮技術可以應用於單詞而不是字符。這些技術將基於前面的單詞將概率分配給下一個單詞。儘管如此，我還沒有在實踐中看到這一點，因爲有比字符更多的詞彙，導致內存使用率過高，甚至對於低階模型而言執行時間過長。