跳转到内容
原创教程公开来源整理

CSV 数据清洗前预检:空值、重复 ID 与列错位教程

用 7 条教学记录复现 5 条 CSV 问题,核对修正副本与预期报告。

适用场景客服 CSV 进入判断前先检查空值、重复和列错位

来源 · JevLog 原创Beginner10 分钟

CSV 数据清洗前,先确认表头、稳定 ID 和文本列读对了。这次练习用一份 7 条记录、5 条问题 的虚构文件,完成“预检 → 找到源记录 → 在副本中修正 → 再检查”。文件内容由浏览器本机处理,无需账号或模型密钥。

作者:JevLog 编辑部 · 2026-10-02 更新。样例为人工编写的教学数据,结果来自本地确定性检查,不是 Jev 模型准确率评测。

打开 CSV 预检器 · 下载问题输入 · 下载教学修正副本 · 下载预期问题报告 JSON

分类前先查 CSV 列名、空值、重复与行宽。AI 概念插画。

从工单、用户反馈或表格导出的记录,可能重复导出、漏掉正文,或者把文本内的逗号当成分隔符。先找输入错误,可以避免把解析错误当成分类错误。通过预检仍不能证明数据完整、标签正确或适合自动执行。

打开工具,点击“载入虚构样例,先试一次”,选择稳定 ID 列 id 和文本列 feedback,然后运行检查。也可手动选择下载的文件。表头还有 source;它是来源字段,不应当作待判断正文。

样例支持按双引号读入字段内的逗号;ID 6 的“包含逗号, 但引号完整”是正常字段,不应被拆成两列。

摘要应为 记录数 7、待处理问题 5、重复 ID 1。“问题 5”是问题条目数,同一行可能同时触发多个问题。

报告中的记录号 ID 问题 先核对什么
4 2 重复 ID 与记录 3 的 ID 相同,查看源系统导出范围。
4 2 重复文本 同时与记录 3 的正文相同;不要仅按文字删行。
5 4 文本为空 回源系统找正文,找不到时保留缺失状态。
6 5 表格公式风险 文本以等号开头;核对来源再用表格软件打开。
8 7 列数不一致 实际 4 列,表头 3 列,末尾有 unexpected。

报告记录号把表头算作第 1 条,所以第一条数据是记录 2。它按 CSV 记录计数;引号内的换行不会生成一个新记录号。

下载 csv-report.json 或 csv-report.csv。JSON 保留检查报告中的原始值;面向表格查看的 CSV 会给类似公式的单元格加前缀。报告只列问题,不是清洗完成的业务数据;工具不会改写输入文件。

优先解决列数错位、重复 ID,再决定如何处理空文本和重复文本。真实数据的 ID 必须回源系统确认,不能随手改成递增编号,否则两次运行可能对不上同一条业务记录。

下载的 csv-preflight-fixed.csv 是另行编写的教学副本:重复行改为独立的虚构 ID 3 与重置密码问题;ID 4 补上虚构的账户设置正文;ID 5 换成普通说明文本;ID 7 去掉多余列。它演示修正后重新检查的形态,这些内容不是从缺失字段推断出来的真实信息。

选择这个副本、保持 id 与 feedback,再运行应看到 7 条记录、0 条问题、0 个重复 ID。自己的业务文件只能用已核实的源数据修正;缺失内容无法核实,就保留问题状态并交人工处理。

保存输入版本、报告、修正依据和稳定 ID。准备分类时,可继续读 CSV 工单分流教程;规则改动后用 分类结果对比器 找变化,低分或缺分输出用 人工复核队列 分流。

从原应用导出 UTF-8 CSV/TSV,不要只改扩展名。工具支持逗号、制表符、分号分隔,单文件上限 5 MB;较大文件按业务范围导出小副本。乱码时回到导出设置核对编码。

未闭合引号、错误引用、空表头或重复表头会在解析阶段阻止检查。先在文件副本中修复结构,再运行;不要为了消除提示直接删掉正文里的逗号或换行。带分隔符的字段需要正确引用,字段内双引号需要成对转义。

页面不保存已选文件或结果。刷新前下载报告,之后重新选择原文件即可重跑;无需登录。样例加载失败时,手动选择已下载的样例文件,检查网络是否允许获取样例。

本工具做固定检查,不检查客户数据的真实性,不替代业务校验,不调用 Jev。预期报告用本站当前检查逻辑对同一教学文件生成,读者可以在工具里复现。