如何用python对文章中文分词并统计词频

如题所述

第1个回答 2016-01-01

1、全局变量在函数中使用时需要加入global声明
2、获取网页内容存入文件时的编码为ascii进行正则匹配时需要decode为GB2312，当匹配到的中文写入文件时需要encode成GB2312写入文件。
3、中文字符匹配过滤正则表达式为ur'[\u4e00-\u9fa5]+',使用findall找到所有的中文字符存入分组
4、KEY，Value值可以使用dict存储，排序后可以使用list存储
5、字符串处理使用split分割，然后使用index截取字符串，判断哪些是名词和动词
6、命令行使用需要导入os,os.system(cmd)本回答被网友采纳

第2个回答 2016-01-01

可以参考python的结巴分词库

相似回答

如何用python和jieba分词,统计词频?答：python3# -*- coding: utf-8 -*-import os, codecsimport jiebafrom collections import Counter def get_words(txt): seg_list = jieba.cut(txt) c = Counter() for x in seg_list: if len(x)>1 and x != '\r\n': c[x] += 1 print('常用词频度统计结果'...

如何用 Python 中的 NLTK 对中文进行分析和处理答：中文分词之后，文本就是一个由每个词组成的长数组：[word1, word2, word3…… wordn]。之后就可以使用nltk 里面的各种方法来处理这个文本了。比如用FreqDist 统计文本词频，用bigrams 把文本变成双词组的形式：[(word1, word2), (word2, word3), (word3, word4)……(wordn-1, wordn)]。再...

Python , 统计词频, 求解答答：s1 = ['a', 'b']s2 = ['a', 'b', 'a', 'b', 'c']s3={}for i in s1: j=s2.count(i) s3=dict(s3,**{i:j})print(s3)

python如何进行文献分析?答：1. 使用Python的自然语言处理(NLP)库，如NLTK或spaCy，来对文献进行分词、命名实体识别、词性标注等操作，以便对文献进行语言统计分析。2. 可以使用Python的Pandas库来对文献进行数据处理和分析，将文献数据导入Pandas DataFrame中，并对其进行数据清洗、统计分析、可视化等操作。3. 使用Python的网络爬虫库，...

一个txt文档,已经用结巴分词分完词,怎么用python工具对这个分完词的文 ...答：/usr/bin/env python3#-*- coding:utf-8 -*-import os,random#假设要读取文件名为aa，位于当前路径filename='aa.txt'dirname=os.getcwd()f_n=os.path.join(dirname,filename)#注释掉的程序段，用于测试脚本，它生成20行数据，每行有1-20随机个数字，每个数字随机1-20'''test=''for i in...

大家正在搜

python分词统计词频 python中文分词统计 python中文词频统计 python词频统计分析形容词 python文本词频统计 python统计单词词频 python词频统计代码分析 python英文词频统计 python词频统计怎么做