网页中文乱码:区分响应声明、文件编码和数据内容
网页能打开但中文变成问号或杂乱字符,先确定乱码发生在哪一层。HTTP响应头、HTML声明、文件字节及数据库内容可能彼此不一致;仅把页面写上UTF-8,不能修复已经被错误转换的数据。
一、用一个无敏感页面保留原始证据
先找一页能稳定复现的公开测试内容,记录URL、浏览器和发生时间。查看网络面板中的Content-Type及实际响应,别只看“查看源代码”里的一行meta。
也可以在Linux上创建新的检查目录,然后保存响应头和内容。下面目录必须是尚不存在的新目录;域名和路径换成自己的公开测试页:
mkdir -m 700 charset-check-01 && cd charset-check-01 && \
curl --compressed -sS --connect-timeout 5 --max-time 15 \
-D headers.txt -o page.html https://www.example.com/encoding-check.html
目录创建或切换失败时,命令不会继续下载;先换一个新目录,不能覆盖已有检查文件。--compressed让curl按支持的内容编码请求并解压响应,再保存供字符检查的字节;同时核对Content-Encoding,不把未解压的gzip等内容当成文字编码错误。headers.txt保留传输时的原始响应头,即使仍显示gzip,page.html也可能已由curl解压,不要重复解压。curl失败时先处理错误,不继续分析未完整下载的文件。若返回跳转或错误页,先核对实际响应,不把它当成目标网页。不要用包含个人资料的登录后页面做这项演示。
二、分别看声明与真实内容
| 检查对象 | 要比较什么 |
|---|---|
| HTTP的Content-Type | 是否带charset,是否与实际文件或应用输出一致。 |
| HTML的meta charset | 是否明确且没有相互冲突的旧声明,应放在文档前部。 |
| 源文件保存格式 | 编辑器显示的实际文件编码,不是文件名里写了UTF-8。 |
| 数据库或接口原始文字 | 乱码是否在进入模板前就已经存在。 |
下面只检查保存的响应能否按UTF-8严格解码,不打印网页内容:
from pathlib import Path
try:
Path('page.html').read_bytes().decode('utf-8')
print('字节可以按 UTF-8 解码;还需核对原始文字是否正确')
except UnicodeDecodeError:
print('内容不是有效 UTF-8,先核对真实源编码,不做批量转换')
将代码保存为check_utf8.py,运行python3 check_utf8.py。通过检查只证明字节合法,错误转换后的乱码也可能是合法UTF-8。
三、只修复确认不一致的一层
如果静态文件本身正确保存为UTF-8,却被声明为另一编码,可在实际提供该文件的Nginx静态配置中核对charset utf-8;,同时检查应用或代理是否又发送了冲突响应头。先备份、检查语法,再加载;不要全站强制改写未知编码。
如果源文件使用另一种已知编码,先保留原件,用编辑器按正确源编码打开,再另存为UTF-8副本,核对文字后替换对应文件。不能反复尝试各种转换后直接覆盖唯一原件。
如果数据库里已经存着问号、替代字符或错误文本,需要从可信原始资料或备份修复数据,并处理写入链路。改变HTTP头不会自动恢复被丢弃的字符;数据库写入报错可看中文与表情写入错误。
四、用不同入口确认结果
用已知正确的中文和必要符号检查页面正文、标题、表单提交后再读取的内容。确认直接入口和缓存入口返回一致,原来的英文内容仍正常。若只有下载后的文件名乱码,处理的是Content-Disposition,见下载文件名编码。
修复后记录改动的是文件、模板、响应声明还是数据;如果去掉缓存后又恢复乱码,应继续核对实际部署版本与响应来源,而不是要求所有访客不断清缓存。