文本行排序去重

使用说明

处理顺序固定，不能调：去掉每行首尾空白 → 去掉空行 → 行内去重 → 按分隔符拆分成多行 → 去重 → 排序 → 反转 → 加序号。之所以不让人自由排序这些步骤，是因为它们互不交换：先去重再排序，和先排序再去重，在「忽略大小写」这种判定下会给出不一样的保留结果；先加序号再去重还会出现断号。固定下来之后，同一份输入在任何时候处理结果都一样。

排序默认用 Intl.Collator('zh-CN')，中文按拼音排，这是它和普通字符串排序最大的区别。「按长度」那一档比较的是字符个数，中文一个字算一个字符，不区分全角半角；长短相同的行保持输入时的相对顺序，所以可以先用一个规则排一遍、再按长度排，做出「同类内容按长度排」的效果。三种排序都是稳定排序，比较函数对相同键值返回 0，不会把等键值的行打乱。

「按数值大小」只认整行都是数字的行，允许前置正负号和小数点，10 会排在 2 后面，-3 排在 1.5 前面。带单位、带前缀的行不算数字行，比如 10px、#10，它们按「非数字行」处理：选放末尾就集中到列表最后，选保持原位就留在原来的行号上，只把数字行之间重排。

去重的判定分三档：完全相同（空格和大小写都参与比较）、忽略首尾空格后相同、忽略大小写与首尾空格后相同。整行比较很容易被看不见的差异坑到——从表格或聊天记录复制来的手机号和邮箱经常带首尾空格，或者中间混了全角数字，看起来一样但字节不同，所以整理清单时建议直接用第三档，必要时配合「去掉每行首尾空白」。保留哪一处可选第一次或最后一次，保留最后一处时内部是从尾部往前扫的，但输出仍按原来的先后顺序排列，不会变成倒序。

行内去重针对的是一行里的多个项，比如 香蕉,苹果,香蕉,橙子 会变成 香蕉,苹果,橙子，按分隔符切分、保留第一次出现、忽略首尾空格。它和整行去重是两回事：行内去重删的是「项」，不影响行数；想知道删了多少可以看结果区那一栏。真要把一行里的多项拆成多行，用「按分隔符拆成多行」，填上逗号或顿号即可。

随机打乱用 crypto.getRandomValues 做 Fisher-Yates，取下标时用拒绝采样消除取模偏差，所以每一行的落位是均匀的，不依赖 Math.random。整个处理在浏览器本机完成，内容不上传，断网可用。常见的几种用法：整理从多个表格拼起来的手机号或邮箱清单（去重 + 忽略首尾空格）；给密码本排个稳定顺序（字典序 + 加序号）；把 CSV 某一列粘出来单独去重（去空行 + 去重）；把歌单按名字长短重排（按长度）。要按词频看内容重点用词频统计；要生成 Markdown 表格用Markdown 表格生成；要在中英文之间批量补空格用中英混排空格；要抹掉手机号中间四位用数据脱敏。

常见问题