UD5工具箱
文本去重工具是一款在线文本处理工具，核心功能是检测并删除文本中的重复行。它适用于多种常见场景：
- 数据清洗：从数据库导出、API接口获取或CSV文件合并后产生的重复记录清理
- 邮件列表整理：合并多个来源的邮件地址列表，去除重复地址
- 日志去重：从大量日志文件中提取唯一事件或每个事件的最新状态
- 名单排重：客户名单、用户列表、商品编号等数据的去重处理
- 代码审计：检查配置文件、环境变量列表中的重复条目
- 文本编辑：清理复制粘贴过程中产生的重复段落或行
工具提供三种去重模式和多种辅助选项，能够灵活应对不同的数据处理需求。所有操作在浏览器本地完成，无需上传数据到服务器。
这两种模式的核心区别在于当同一行文本出现多次时，保留哪一条：
保留第一个：保留该行在文本中首次出现的位置，删除其后所有重复项。例如文本中第3行、第10行、第25行内容完全相同，结果只保留第3行的内容。适用于需要维持原始顺序的场景，例如整理客户名单时保留最早录入的记录、整理邮件列表时保留首次添加的地址。
保留最后一个：保留该行在文本中最后一次出现的位置，删除其前所有重复项。同样以上例来说，结果只保留第25行的内容。适用于需要获取最新数据的场景，例如从日志文件中提取每个事件的最新状态、从多次更新的配置列表中保留最新版本。
选择建议：大多数情况下使用「保留第一个」即可满足需求；如果您处理的是按时间顺序排列的日志或更新记录，且需要保留最新状态，则选择「保留最后一个」更合适。
大小写敏感是指在比较两行文本是否相同时，是否区分英文字母的大小写。
开启大小写敏感（默认）：大写字母和小写字母被视为不同字符。「Apple」「apple」「APPLE」会被视为三个不同的行，互不判定为重复。
关闭大小写敏感：大写和小写字母被视为相同。「Apple」「apple」「APPLE」会被视为同一行，去重时会合并处理。
处理英文数据时的建议：
- 邮箱地址列表：建议关闭大小写敏感，因为邮箱地址在协议上不区分大小写，「User@Example.com」和「user@example.com」是同一个邮箱
- 编程变量名/函数名：建议开启大小写敏感，因为大多数编程语言中变量名是大小写敏感的
- 普通英文文本：根据实际需求决定，如果需要保持原文大小写形式则开启，如果只关心内容含义则关闭
中文内容不受大小写敏感设置的影响，因为中文字符不存在大小写区分。
这两个辅助选项用于处理文本中常见的排版问题，确保去重结果更加准确和整洁：
忽略空行：自动删除文本中的所有空行（包括纯空格行和制表符行）。空行通常是在文本编辑、复制粘贴或数据导出过程中产生的，它们不包含有意义的数据，但会干扰行数统计和去重判断。建议在大多数场景下开启此选项。
去除首尾空格：自动修剪每行文本开头和结尾的空白字符。同一行内容可能因为复制来源不同而带有不同的首尾空格（例如从网页复制的文本常带有前导空格），这些空格不影响内容本身，但会导致工具将内容相同的行判定为不同行。建议在处理来自多个来源的混合数据时开启此选项。
使用建议：如果您处理的数据排版不规范（如从多个来源复制合并），建议同时开启两个选项以获得最准确的去重结果。如果数据本身格式规范且需要保留原始排版（例如代码文件），可以保持关闭状态。
您的数据完全安全。文本去重工具采用纯前端技术架构，所有文本处理逻辑——包括文本解析、重复检测、去重操作和结果生成——均在浏览器本地执行，基于JavaScript实现。您的文本数据不会通过任何网络请求传输到远程服务器。
具体安全保障包括：
- 本地处理：文本数据仅存在于您的浏览器内存中，处理完成后不会被存储或传输
- 无需注册：工具不需要注册账号或登录，不会收集任何用户个人信息
- 无数据存储：工具服务器不存储、不记录、不分析用户的任何文本内容
- 离线可用：页面加载后，即使断开网络连接，工具也能正常工作
因此，您可以放心使用本工具处理包含敏感信息的文本数据，如客户信息、业务数据、密码列表等。关闭浏览器标签页后，所有数据将从内存中释放。
文本去重工具没有硬性的行数限制，但由于所有处理在浏览器本地完成，实际可处理的文本量取决于您的设备性能和浏览器的内存限制：
- 1万行以内：处理速度极快，几乎是即时完成，适合大多数日常使用场景
- 1万-10万行 ：处理速度仍然较快（通常在1-3秒内完成），适合较大数据量的处理需求
- 10万-50万行：处理可能需要几秒到十几秒的时间，建议在处理过程中不要进行其他操作
- 50万行以上：可能需要较长时间处理，且可能触发浏览器的内存警告。建议将大数据集分批处理，每批控制在10万行以内
优化建议：
- 处理超大数据集时，建议先关闭不需要的辅助选项（如忽略空行、去除首尾空格），减少处理开销
- 如果浏览器出现卡顿或无响应，可以刷新页面后分批粘贴处理
- 使用现代浏览器（Chrome、Firefox、Edge最新版）可获得更好的大文本处理性能