查找自动编码检测的原因(UTF-8与Windows-1252)

这就是我最后所做的,以找出为什么文件没有被检测为UTF-8,也就是说,查找没有被编码为UTF-8的字符。由于PHP对我来说更容易使用,所以我决定使用下面的脚本,强制将任何非UTF-8的内容转换为UTF-8,使用非常方便的 neitanod/forceutf8 图书馆。

$before = file_get_contents('export.csv');
$after = \ForceUTF8\Encoding::toUTF8($before);
file_put_contents('export.fixed.csv', $after);

然后我使用了一个类似于beyond-compare的文件比较工具来比较两个产生的CSV,以便更容易地看到哪些字符最初不是用UTF-8编码的。

这反过来表明,只有一个特定的出口栏受到影响。经过进一步的调查,我发现该列的内容是用php处理的,下面是 preg_replace :

$value = preg_replace('/([^\pL0-9 -])+/', '', $value);

使用 \p 在正则表达式中有一个未知的副作用:所有特殊字符都被转换为另一种编码。解决这个问题的快速方法是使用 u regex上的标志(请参见 regex pattern modifiers reference )这将强制由此产生的编码 前置替换 成为UTF-8。也见 this answer .