文本词频统计

中英文是怎么切词的

英文有空格和标点，按字母切成词再统一转小写，就能把 Hello、hello 和 HELLO 算成同一个词；连字符和撇号允许出现在词中间，所以 don’t、state-of-the-art 不会被拆散。

中文没有分隔符，真正的分词需要词典和模型。本页用的是「二字词滑窗」：把一段连续汉字按相邻两字切出来，例如「今天天气好」切成「今天、天天、天气、气好」。这会把「天天」这种叠字也算成词，但对「找出反复出现的说法」这个用途来说足够用，而且不需要引入任何分词依赖，结果完全可解释、可复现。

停用词过滤的是什么

停用词是那些到处都有、几乎不携带信息的词。英文那一堆是 the、and、of、is 这类介词和系动词；中文则是「的、了、是、在、我们、因为、所以」这类虚词和代词。不做过滤的话，排行前几名永远是它们，看不出内容重点，所以默认打开过滤。

中文滑窗有它的副作用：两字组合会切出很多无意义的片段。本页的做法是「以虚词打头的二字词直接丢掉」，比如「的天」「我的」这类会过滤掉，「天气」「文档」这类实词打头的保留。这个规则简单但有效，代价是偶尔会误伤「的士」这种以虚词打头的实词。关掉过滤就可以看到全部原始切分结果，方便自己判断。

结果怎么读

次数是这个词在正文里出现的次数，「占比」是它占总词次的比例，条形图按出现最多的那个词取满格。看一篇文章的主题，通常排在前五到第十的几个词就已经能说明问题了。如果满屏都是单字和标点，把最短词长调到 2 会干净很多。

统计在这台浏览器里完成，不上传、不留存，处理合同、日志这类不方便外发的文本也不会有泄露风险。