箱线图与异常值检测器 - 自动标记极端值

箱线图（Box Plot，又称盒须图）是一种用于展示数据分布情况的统计图表，由美国统计学家John Tukey于1977年提出。它通过五个关键数值（五数概括）来总结数据：最小值、第一四分位数（Q1）、中位数（Q2/Median）、第三四分位数（Q3）、最大值。箱线图的“盒子”从Q1延伸到Q3，盒子内部的线标记中位数；“须线”（whiskers）从盒子延伸到非异常值范围内的最小值和最大值。箱线图特别适合用于比较多个数据集的分布、识别偏态和检测异常值。

IQR（Interquartile Range，四分位距）= Q3 - Q1，代表了数据中间50%的分布范围。异常值检测的上下界计算公式为：下界（Lower Fence）= Q1 - 1.5 * IQR，上界（Upper Fence）= Q3 + 1.5 * IQR。低于下界或高于上界的数据点被视为潜在异常值。1.5倍这个系数来源于正态分布的经验规则：在正态分布中，约99.3%的数据落在Q1-1.5*IQR到Q3+1.5*IQR的范围内，超出此范围的数据点出现的概率极低（约0.7%），因此值得关注。使用2.0倍或3.0倍IQR可以识别更极端的异常值。

四分位数的计算方法有多种（如Type 1-9），本工具使用线性插值法（类似Excel的PERCENTILE.INC函数）：首先将数据从小到大排序；然后计算位置：pos = (n-1) * p/100（其中p为百分位数，n为数据量）；若pos为整数，取对应位置的值；若pos为小数，则在相邻两个值之间进行线性插值。例如Q1对应p=25，中位数Q2对应p=50，Q3对应p=75。不同的计算方法在数据量较小时可能产生微小差异，但整体趋势一致。

不应盲目删除异常值！异常值（Outlier）可能来源于：数据录入错误、测量误差、采样偏差，也可能是真实且有价值的数据（如金融市场的极端波动、医学研究中的特殊病例）。建议的处理流程：首先核实来源，检查数据是否存在录入或测量错误；其次分析原因，理解异常值产生的背景和机制；最后审慎决策，根据分析目的决定保留、修正还是排除。在报告中应明确说明异常值的处理方式。IQR方法检测的是“统计异常”而非“实际错误”，需要结合领域知识进行判断。

通过观察箱线图中中位线在盒子中的位置以及须线的长度，可以判断数据的偏态。对称分布的中位线大致在盒子中央，上下须线长度相近。右偏（正偏）分布的中位线靠近Q1，上须线明显长于下须线，均值大于中位数。左偏（负偏）分布的中位线靠近Q3，下须线明显长于上须线，均值小于中位数。偏态信息对于选择统计分析方法（如使用参数检验还是非参数检验）具有重要参考价值。

1.5倍IQR是标准阈值，适用于大多数正态或近似正态分布的数据，约99.3%的正态数据会落在该范围内。2.0倍IQR是宽松阈值，仅标记更极端的异常值，适合对异常值定义较为宽泛的场景，或数据本身具有较大波动性的领域（如金融数据）。3.0倍IQR是严格阈值，仅当数据点极其偏离时才被标记为异常值，适合需要高度保守的异常值判定场景（如安全关键系统）。实际使用时建议先用1.5倍标准阈值进行初步分析，再根据具体需求调整。

箱线图与异常值检测广泛应用于多个领域。质量控制：监测生产过程中的异常批次，识别超出正常范围的产品参数。金融风控：识别异常交易或欺诈行为，发现偏离正常模式的金融指标。医学研究：发现异常生理指标或药物反应，筛选实验数据中的离群值。教育评估：分析考试成绩分布，识别极端分数，评估班级整体水平。数据清洗：在数据分析前识别和处理异常数据点，提高后续分析的准确性。传感器监测：检测物联网设备中的异常读数，发现设备故障或环境异常。

箱线图相比散点图在异常值检测方面有三个核心优势。第一，箱线图提供了明确的异常值判定标准（基于IQR的上下界），而散点图需要用户自行判断哪些点偏离过大。第二，箱线图通过盒子和须线的结构，清晰展示了数据的中心分布区域和正常波动范围，用户可以直观看到异常值偏离正常范围的程度。第三，箱线图同时展示了五数概括和IQR等关键统计量，将数据分布的定量信息与可视化结合在一起。当然，散点图在展示两个变量之间的关系方面更有优势，两者适用于不同的分析场景。

四分位数有多种计算方法（统计学中称为Type 1到Type 9），不同方法在处理数据时略有差异。本工具采用的线性插值法类似于Excel的PERCENTILE.INC函数，是最常用的方法之一。在数据量较大时（n大于30），不同方法计算出的四分位数差异极小，通常不超过1个数据点的偏差。在数据量较小时（n小于10），不同方法可能产生可见差异，但不会改变箱线图的整体形态和异常值判定的大致结果。如果用户的分析需要与特定软件（如SPSS、R的某个函数）的结果精确对齐，需要注意四分位数计算方法的一致性。