MySQL分页出现重复或漏项:先固定排序再检查游标
适用范围:MySQL 8.0/8.4;示例为测试表orders,id唯一且created_at非空。
第一页出现过的记录,第二页又看到了,未必是数据库存了两份。列表没有稳定排序,或者翻页期间发生插入、删除,都会让“第几行到第几行”发生变化。先查查询方式,不急着清理重复数据。
排序必须有唯一的最后依据
例如只写 ORDER BY created_at DESC,同一秒创建的多条记录之间没有唯一顺序。MySQL可以按不同执行计划返回这些并列行,LIMIT并不保证它们每次都保持相同位置。[1]
测试表中id唯一,可用下面的只读查询:
SELECT id, created_at, status
FROM orders
ORDER BY created_at DESC, id DESC
LIMIT 20;
排序条件应覆盖业务真正使用的字段。多租户应用还必须保留原有账号或租户过滤,不能为了测试拿掉权限条件。
固定排序也不能消除OFFSET的位置变化
即使已按时间与id排序,两次请求之间有新记录插到前面,原来第20行可能变为第21行;使用OFFSET跳过固定行数,就可能再次看到它。删除或筛选条件变化也可能造成漏项。
所以要先区分:数据完全不变时顺序仍漂移,优先查排序;仅在不断写入时出现,继续检查分页模型。不要把前端去重当作完整修复,去重无法补回漏掉的记录。
连续翻页可以考虑按最后一行继续查
对按时间与id倒序、时间不再修改的列表,可记录上一页最后一行的两项值。假设它是 2026-01-01 10:00:00、id为500,下一页示例为:
SELECT id, created_at, status
FROM orders
WHERE (created_at < '2026-01-01 10:00:00'
OR (created_at = '2026-01-01 10:00:00' AND id < 500))
ORDER BY created_at DESC, id DESC
LIMIT 20;
这两个值是说明游标条件的样例,不是固定写入程序的常量。真实应用应使用参数绑定;已有权限条件需放在正确的括号结构中,与整组分页条件一起生效。
时间精度不能丢。例如数据库保存微秒,而游标只留下秒,边界就可能错误。若排序字段允许NULL、排序方向混合或字段可以修改,需要另行设计规则,不能直接套用此例。
检查索引与并发语义,不只换SQL
结合实际筛选字段和排序字段,用普通EXPLAIN检查执行计划。复合索引的顺序应符合查询,不要在正式大表上直接加一个示例索引。范围条件的写法也会影响索引使用,需要针对真实版本核对。[2]
游标分页适合“继续下一页”,不天然支持直接跳到第100页。它也不是数据库快照:翻页期间记录更新排序值或被删除,仍会影响结果。要求严格完整的导出,应设计受控的一致性读取或批次边界,而不是让用户交互长时间占着数据库事务。
用边界样例验收
测试一批相同时间的记录、恰好20条与21条、空列表、连续新增和删除,以及翻页过程中修改筛选条件。核对每条id、排序和游标值,确认权限范围没有扩大。
提交问题时提供脱敏查询、表的索引、字段类型及前后两页的少量样例id。无需发送整个订单表,也不要为了“让页数对上”改真实记录。
继续排查
MySQL查询很慢,怎样找出拖慢业务的SQL;MySQL报1062:重复的是哪一个唯一键。
技术依据:[1] MySQL LIMIT与非唯一排序;[2] MySQL范围表达式与索引使用。适用版本见本文说明。