UD5工具箱
文本去重术语表
去重（Deduplication）
从数据集或文本中检测并删除重复记录的过程。去重是数据清洗（Data Cleaning）中最基础也是最重要的操作之一，目的是确保数据的唯一性和一致性。去重可以在不同粒度上进行——行级去重（以整行为单位判断重复）、字段级去重（以特定字段的值判断重复）、模糊去重（允许一定程度的差异但仍判定为重复）。本工具实现的是行级精确去重，即两行文本必须完全相同（或在忽略大小写/空格后相同）才被判定为重复。
数据清洗（Data Cleaning）
对原始数据进行检查、修正和格式化的过程，目的是提高数据质量，使其适合后续的分析、处理或导入操作。数据清洗通常包括多个步骤：去重（删除重复记录）、格式标准化（统一日期、地址等格式）、缺失值处理（填充或删除空值）、异常值检测（识别和处理不合理的数据）、噪声过滤（去除无关或干扰信息）等。文本去重是数据清洗中最常用的操作之一，广泛应用于数据库管理、数据分析、邮件营销、用户信息管理等领域。
唯一行（Unique Line）
在整个文本中仅出现一次的行。与之相对的是重复行（Duplicate Line），即出现次数超过一次的行。在「删除全部重复」模式下，工具仅保留唯一行，删除所有重复行。唯一行的数量是衡量数据多样性的重要指标——如果一个数据集的唯一行比例很低，说明数据重复度高，可能需要进一步调查数据来源或采集流程。
大小写敏感（Case Sensitive）
在进行文本比较时是否区分字母的大小写。大小写敏感模式下，大写字母和小写字母被视为不同的字符，因此「Hello」和「hello」是两个不同的字符串；大小写不敏感模式下，两者被视为相同。在数据去重场景中，大小写敏感的选择直接影响去重结果——例如邮箱地址「User@Example.com」和「user@example.com」在大小写敏感模式下会被视为两个不同的地址，而在大小写不敏感模式下会被识别为同一地址。通常在处理英文数据时需要根据具体场景选择合适的模式。
空白字符处理（Whitespace Handling）
对文本中的空白字符（包括空格、制表符、换行符等）进行修剪或标准化的操作。空白字符处理是文本去重中的重要辅助步骤，因为同一行文本可能因为排版、复制来源不同而带有不同的首尾空白。常见的处理方式包括：去除首尾空格（Trim）——删除行首和行尾的空白字符；压缩连续空格——将多个连续空格替换为单个空格；忽略纯空白行——将只包含空白字符的行视为空行并删除。这些处理确保内容相同但排版不同的行能被正确识别为重复行。
行级去重（Line-level Deduplication）
以完整的文本行作为最小比较单位进行的去重操作。每一行被视为一个不可分割的数据单元，只有两行的全部内容完全一致（或在预处理后一致）时才被判定为重复。行级去重是最简单直观的去重方式，适用于结构化程度较高的文本数据（如列表、日志、CSV数据等）。与之相对的是字段级去重（按特定列判断）和模糊去重（允许部分内容差异），后者适用于更复杂的数据清洗场景。
保留策略（Retention Policy）
在去重过程中决定保留哪一条重复记录的规则。不同的保留策略适用于不同的业务场景：「保留第一个」策略保留时间线上最早出现的记录，适合需要维持原始顺序的场景；「保留最后一个」策略保留最后出现的记录，适合需要最新数据的场景（如状态更新日志）；「删除全部」策略不保留任何重复记录，仅保留唯一出现的行，适合筛选唯一值的场景。选择合适的保留策略是去重操作中的关键决策，直接影响处理结果的业务价值。
实时统计（Real-time Statistics）
在用户输入或修改文本内容时，工具即时计算并展示的数据统计信息。文本去重工具的实时统计通常包括总行数、重复行数、删除行数和保留行数四项指标。实时统计的价值在于让用户在执行去重操作之前就能预判处理结果，及时发现异常情况（如重复行数过多可能意味着数据源问题），并据此调整去重模式和辅助选项的配置。这种「先看后做」的工作方式提高了操作的可控性和可预测性。