分词词频统计
什么是分词？众所周知中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如我是一个学生。计算机不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。我是一个学生，分词的结果是：我是 一个 学生。
为了查看分词随着章节的变化，除了分析整本红楼梦，我们还将红楼梦120章回分开来，逐章进行分词分析。
我们调取红楼梦中葬花吟的分词结果：
花谢/花飞/花满/天，红/消/香/断有/谁怜，游丝/软/系飘春榭，落/絮轻沾扑/绣帘，闺中/女儿/惜春/暮，愁绪/满怀/无/释/处，手/把花锄/出/绣帘，忍/踏/落花/来/复去，柳丝榆荚/自/芳菲，不管/桃/飘/与李/飞，桃李/明年/能再/发，明年/闺中/知/有谁，三月/香/巢已垒成，梁间/燕子/太/无情，明年/花/发/虽可/啄，却不/道/人去/梁空巢/也/倾，一年/三百六十/日，风/刀霜剑严/相/逼，明/媚/鲜妍/能/几时，一朝/飘泊/难/寻觅，花开/易见/落/难寻，阶前/闷/杀/葬花/人，独/把花锄/泪/暗洒，洒/上/空/枝/见/血/痕，杜/鹃/无语/正/黄昏，荷锄归/去掩/重门，青灯/照壁/人初/睡，冷/雨敲窗被/未/温，怪/奴/底/事/倍伤/神，半/为/怜春/半/恼/春，怜春/忽至/恼/忽/去，至/又/无言/去/不闻，昨宵/庭外悲歌/发，知是/花魂/与/鸟魂，花魂/鸟魂/总难/留，鸟/自/无言/花自/羞，愿/奴/胁下/生/双翼，随/花/飞到/天尽头，天尽头，何处/有/香/丘，未/若锦/囊收艳骨，一堆/净/土掩/风流，质本洁/来/还/洁/去，强/于/污/淖陷渠沟，尔今/死去/侬收葬，未卜/侬/身/何日/丧，侬今葬/花人笑痴，他年葬侬/知是谁，试看/春/残花/渐/落，便是/红颜老/死时，一朝春尽/红颜老，花落人亡/两/不知
事实上，这和人工分词结果对比准确率有75%左右，但是由于诗词本身分词难度较大，加上我们对分词准确率要求也不比太高，因而我们暂时相信这个分词结果。
利用分词程序得到整本红楼梦以及每一个章节的分词结果后，下一步就是词频统计，这个过程相当于给每个词进行计数出现频率最大的前16名的单词：
宝玉(3945)、笑道(2415)、贾母(1558)、凤姐(1518)、什么(1408)、我们(1159)、袭人(1144)、一个(1103)、黛玉(1095)、王夫人(1061)、宝钗(1017)、如今(1012)、听了(941)、出来(938)、你们(937)、老太太(933)
你可能会问，为什么黛玉的出场率要比袭人还要低。其实黛玉还有一个单词分身，叫林黛玉，有294次出场。如果将林黛玉出现的频率加到黛玉身上，那么她会超过袭人。这一点同用jieba分词的结果是一致的。
