文本去重工具

文本去重工具介绍

文本去重工具用于删除多行文本中的重复内容，按首次出现的顺序保留记录。粘贴关键词、网址、名单或普通文本后，可以选择去除每行首尾空白、忽略大小写比较以及移除空行。去重在当前浏览器内完成，输入内容无需提交到服务器；结果可复制、导出 TXT 或回填继续处理。

文本去重怎么使用？

1. 粘贴待处理文本，每行一项，支持 Windows CRLF、LF 和 CR 换行。
2. 选择比较选项。默认保留行首尾空白、区分大小写并移除长度为 0 的空行。
3. 点击“开始去重”，检查统计与输出。修改文本或选项会清除上次结果。
4. 复制结果、导出 TXT，或点击“结果回填”把输出放回输入区，再手动执行下一次处理。

按行去重示例与空白规则

三行 Apple、apple、Apple 默认得到两行 Apple、apple；开启忽略大小写后只保留第一行 Apple。这里使用 JavaScript 小写映射比较，不提供语言区域特定的大小写匹配。

香蕉 和 香蕉 默认视为不同内容。开启“去除每行首尾空白”后，比较和输出都会使用 香蕉，中间空白不会合并。空白清理采用 JavaScript 空白字符规则，包含空格、制表符等，不包含零宽空格。

空行指处理后长度为 0 的行。只包含空格的行在未启用清理时仍是普通内容。尾部换行产生一个额外空行；未勾选移除空行时，多个空行也会按重复行处理，仅保留首次出现的一个。结果统一用 LF 换行。

适用场景与使用边界

适合整理重复关键词、合并多份网址列表、清理拷贝的简单名单和核对文本记录。工具以整行内容判断相等，不拆分字段、不合并相似句子，也不做网址归一化。CSV 引号内换行仍会被视为换行，不适合直接对带多行字段的 CSV 按记录去重。

此工具不改变文件，也不会自动保存输入。处理前请保留重要原文；文本较大时，速度与容量取决于设备内存和浏览器。需要统计字数可使用 字数统计工具，整理英文写法可使用 英文大小写转换工具。

文本按行去重常见问答

参与去重行数和原始行数为什么不同？

勾选移除空行时，空行先被过滤，不参与重复比较。参与去重行数等于原始行数减空行移除数，也等于重复移除数加保留行数。

清理后没有内容是不是处理失败？

不是。非空输入经过空白清理及空行过滤后可能没有保留行，页面仍显示成功统计并说明空结果，此时不显示空内容的复制和导出按钮。完全没有输入时会提示先输入文本。

为什么相似的网址没有合并？

工具只按文本逐行比较，不识别网址协议、尾部斜线、查询参数顺序或编码是否等价。需要整理编码内容时，可先使用 URL 编码解码工具，再按明确规则去重。