UTF-8 与 Shift-JIS：为什么文本编码问题仍然会发生

字符是抽象文本单位，字节才是文件、网络请求和数据库实际存储或传输的内容。编码规则定义字符如何变成字节、字节如何还原成字符。UTF-8 用来表示 Unicode 字符，Shift-JIS 是旧式日文编码，两者映射规则不同。

所谓乱码，就是字节被错误编码规则解释后的结果。用 Shift-JIS 保存的日文如果按 UTF-8 读取，可能出现替换字符或不可读符号。关键是不要把屏幕上看到的错误文字当作原始数据，而要检查每个边界处的字节和编码假设。

现代系统多以 UTF-8 为默认，但旧软件、区域性表格、支付系统、标签打印机和历史 CSV 仍可能使用 Shift-JIS。一个文件能在某个编辑器里打开，不等于它就是 UTF-8，因为编辑器可能在猜测、记住设置或静默替换非法字节。

往返测试是把文本编码成字节，再按预期规则解码回来。如果结果和原文不同，说明路径上存在不兼容或信息丢失。测试样例应包含真实失败字符，尤其是标点、半角全角、假名、罕见汉字、emoji 和符号。

CSV 同时涉及文本编码、分隔符、引号和表格软件行为。文件字节可能是正确 Shift-JIS，但导入器默认 UTF-8 仍会失败；也可能解码正确，却因为字段里有逗号或换行而拆列错误。排查时要拆开看：字节是否正确解码、行是否正确解析、列是否正确映射。

编码问题常来自客户姓名、地址、订单号或付款说明。排查时应用合成文本替换真实值，同时保留失败字符、字段长度和结构。目标是重现字节行为，不是暴露原始记录。

从包含一个已知失败字符的小样例开始，按可能的源编码查看十六进制字节，再分别用 UTF-8 和 Shift-JIS 解码比较。随后在完整导入路径里显式指定编码。如果问题因此消失，把预期输入编码写进导入器文档或代码注释。