#19 re&jieba模块
在Python中，需要对字符串进行大量的操作，有时需要从一个字符串中提取到特定的信息，用切片肯定是不行的，所有这一节记录两个强大的文本处理模块，一个是正则表达式re模块，另一个是中文处理模块jieba，Here wo go！
一、re模块
re模块的出现使得Python完全支持正则表达式，在学re模块之前，先来认识一下正则表达式
正则表达式使用单个字符串来描述、匹配出特定句法的字符串，在文本编辑中，正则表达式常用来检索、替换那些特定匹配模式的文本。正则表达式使用起来十分繁琐，但是它带来的功能确实无比强大的，掌握正则表达式之后，工作效率将会大幅度提高！
正则表达式基本语法
定位符 1
2
3正则表达式 描述 示例
^ 行起始标记 ^import 匹配以import开头的行
$ 行尾标记 import$ 匹配以import结尾的行
限定符 1
2
3
4
5
6
7
8
9
10
11正则表达式 描述 示例
. 匹配任意一个字符 impor.可以匹配到import、imporq、impor1等
+ 匹配之前项1次或者多次 import+可以匹配到import、importt、importtt等，但是不能匹配到impor
* 匹配之前项0次或者多次 import*可以匹配到impor、import、importt、importtt等
? 匹配之前项0次或者1次 impor?t可以匹配到impot、import，但是不能匹配到imporrt
[] 匹配包含在[字符]的任意字符 impor[tk]可以匹配到import、impork、importk、imporkt
[^] 匹配不包含在[^字符]的任意字符 impor[^tk]匹配不到import、impork、importk、imporkt
[ - ] 匹配[字符-字符]中指定范围的任意一个字符 1234[5-7]可以匹配到12345、12346、12357
{n} 匹配之前项n次 [0-9]{5}表示匹配任意一个五位数
{n,} 匹配之前项至少n次 [0-9]{5,}表示匹配任意一个五位以上的数（包含五位数）
{n,m} 匹配之前项n到m次 [0-9]{5,7}表示匹配任意一个五位到七位的数（包含五位数和七位数）
标记符 1
2正则表达式 描述 示例
() 标记一个子表达式的开始和结束位置，供以后使用 ([0-9])表示匹配一个数字，之后可以使用它，比如替换掉它
转义符 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15正则表达式 描述
\n 匹配一个换行符
\f 匹配一个换页符
\r 匹配一个回车符
\s 匹配任何空白字符
\S 匹配任何非空白字符
\t 匹配一个制表符
\v 匹配一个垂直制表符
\cx 匹配一个Control-x，x在a-z和A-Z之间
\w 匹配数字字母下划线
\W 不匹配数字字母下划线
\d 匹配数字
\D 不匹配数字
\b 匹配一个单词边界，也就是指单词的结尾
\B 匹配非单词边界
说明：想要匹配出上述特殊字符，需要对其进行转义，例如想要匹配*号，则需要这样写*
贪婪匹配和非贪婪匹配 贪婪匹配是全匹配，一直匹配到最后一个为止；非贪婪匹配则是匹配到一个就停止
1 | 正则表达式 描述 |
re模块
re.match(pattern, string, flags=0) 「从字符串开头匹配一次，匹配成功返回结果，匹配失败返回None；pattern表示匹配模式、string表示原字符串、flags表示标志位，用来控制匹配模式」
1 | In [7]: import re # 导入re模块 |
1 | In [15]: re.match('\d',test) # 从开头匹配一个数字 |
re.search(pattern, string, flags=0) 「从整个字符串中匹配一次，匹配成功返回结果，匹配失败返回None；pattern表示匹配模式、string表示原字符串、flags表示标志位，用来控制匹配模式」 1
2
3
4
5
6
7
8In [17]: test
Out[17]: 'qwer1234asdf5678'
In [18]: re.search('\w',test) # 匹配一个字母或数字或下划线
Out[18]: <_sre.SRE_Match object; span=(0, 1), match='q'>
In [19]: re.search('\d',test) # 匹配一个数字，即使数字不在开头也可以匹配到
Out[19]: <_sre.SRE_Match object; span=(4, 5), match='1'>
re.findall(pattern, string, flags=0) 「从整个字符串中匹配多次，匹配成功返回所有结果的列表，匹配失败则返回空列表；pattern表示匹配模式、string表示原字符串、flags表示标志位，用来控制匹配模式」 1
2
3
4
5In [25]: test
Out[25]: 'qwer1234asdf5678'
In [26]: re.findall('\d',test) # 将所有数字匹配出来，返回列表
Out[26]: ['1', '2', '3', '4', '5', '6', '7', '8']
re.finditer(pattern, string, flags=0) 「与findall类似，只是返回迭代器」 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16In [27]: test
Out[27]: 'qwer1234asdf5678'
In [28]: re.finditer('\d',test) # 可以看到返回的是迭代器
Out[28]: <callable_iterator at 0x1037e4c88>
In [29]: for _ in re.finditer('\d',test):
...: print(_)
<_sre.SRE_Match object; span=(4, 5), match='1'>
<_sre.SRE_Match object; span=(5, 6), match='2'>
<_sre.SRE_Match object; span=(6, 7), match='3'>
<_sre.SRE_Match object; span=(7, 8), match='4'>
<_sre.SRE_Match object; span=(12, 13), match='5'>
<_sre.SRE_Match object; span=(13, 14), match='6'>
<_sre.SRE_Match object; span=(14, 15), match='7'>
<_sre.SRE_Match object; span=(15, 16), match='8'>
标志位flags 1
2
3
4
5
6
7标志位 描述
re.I 无视大小写
re.L 本地化识别匹配
re.S 使.匹配所有字符，默认情况下.不匹配换行符
re.M 多行匹配，将影响^和$
re.U 根据Unicode字符集解析，将影响\w,\W,\b,\B
re.X 通过给予更灵活的格式以便将正则表达式写得更易于理解
1 | In [30]: test = 'ABCD123qwer567' |
1 | In [34]: re.findall(pattern, string, re.I|re.M|re.S) |
re.compile(pattern, flags=0) 「生成一个pattern对象，用于re.match、re.search、re.findall」 1
2
3
4
5
6
7
8
9
10
11
12In [36]: test
Out[36]: 'ABCD123qwer567'
In [37]: pattern = re.compile('\d') # 生成一个pattern对象
In [38]: re.findall(pattern, test)
Out[38]: ['1', '2', '3', '5', '6', '7']
In [39]: re.match(pattern, test)
In [40]: re.search(pattern, test)
Out[40]: <_sre.SRE_Match object; span=(4, 5), match='1'>
re.sub(pattern, repl, string, count=0, flags=0) 「替换匹配的字符串，pattern表示匹配模式、repl表示替换成的字符串，string表示原字符串（被替换字符串）、flags表示标志位，用来控制匹配模式」
1 | In [51]: test = 'ADFSA12fsf3456sfs234' |
贪婪匹配与非贪婪匹配 1
2
3
4
5
6
7
8
9
10
11In [56]: test = '<h1>I am <MinuteSheep></h1>'
In [57]: greedy_pattern = re.compile('>(.*)<') # 贪婪匹配模式
In [58]: no_greedy_pattern = re.compile('>(.*?)<') # 非贪婪匹配模式
In [59]: re.findall(greedy_pattern, test) # 贪婪匹配结果，寻找最后一个<
Out[59]: ['I am <MinuteSheep>']
In [60]: re.findall(no_greedy_pattern, test) # 非贪婪匹配结果，寻找第一个<
Out[60]: ['I am ', '']
通常情况下先使用re.compile(非贪婪匹配)生成一个匹配模式，再使用re.findall()返回结果列表进行下一步操作
二、jieba模块
上面的re模块是否让你热血沸腾，正则表达式熟练使用后会给你的工作效率带来飞一般的提高，但如果让其来对一段中文进行分析词语来说，还是欠缺了许多，对于中文分词来说，第三方模块jieba会给你带来意想不到的结果
jieba安装
使用pip安装
1 | pip install jieba |
jieba分词模式
jieba拥有三种分词模式：精确模式、全模式、搜索引擎模式
精确模式（默认模式）jieba.cut(sentence, cut_all=False, HMM=True) 或者 jieba.lcut(sentence, cut_all=False, HMM=True) 「cut返回生成器，lcut返回列表；sentence表示要分割的句子、cut_all表示是否为全模式、HMM表示是否使用HMM」 1
2
3
4
5
6
7
8
9
10
11
12In [1]: import jieba # 导入jieba模块
In [3]: test = '正则表达式熟练使用后会给你的工作效率带来飞一般的提高'
In [4]: jieba.cut(test) # 精确模式，返回生成器
Out[4]: <generator object Tokenizer.cut at 0x1059c6990>
In [6]: ':'.join(jieba.cut(test))
Out[6]: '正则表达式:熟练:使用:后会:给:你:的:工作效率:带来:飞:一般:的:提高'
In [7]: jieba.lcut(test) # 返回列表
Out[7]: ['正则表达式', '熟练', '使用', '后会', '给', '你', '的', '工作效率', '带来', '飞', '一般', '的', '提高']
全模式 jieba.cut(sentence, cut_all=True, HMM=True) 或者 jieba.lcut(sentence, cut_all=True, HMM=True)
1 | In [8]: test |
搜索引擎模式 jieba.cut_for_search(sentence, HMM=True) 或者 jieba.cut_for_search(sentence, HMM=True) 「搜索引擎模式粒度较细」 1
2
3
4
5
6
7
8In [12]: test
Out[12]: '正则表达式熟练使用后会给你的工作效率带来飞一般的提高'
In [13]: jieba.cut_for_search(test) # 使用搜索引擎模式
Out[13]: <generator object Tokenizer.cut_for_search at 0x10b2acaf0>
In [14]: ':'.join(jieba.cut_for_search(test))
Out[14]: '正则:表达:达式:表达式:正则表达式:熟练:使用:后会:给:你:的:工作:效率:工作效率:带来:飞:一般:的:提高'
通过上述三种模式可以明显看到分词的不同，根据世纪使用需求来确定使用那种模式吧
jieba添加词典
jieba模块中默认使用的词典为jieba.dt，默认的词典有时没有我们要用的词语，只有自己添加或调整词典才能解决
使用jieba函数增加新词 jieba.add_word(word, freq=None, tag=None) 「word表示新词、freq表示词频、tag表示词性」 1
2
3
4
5
6
7
8
9
10
11
12In [24]: test
Out[24]: '正则表达式熟练使用后会给你的工作效率带来飞一般的提高'
In [25]: ':'.join(jieba.cut(test, HMM=False))
Out[25]: '正则表达式:熟练:使用:后:会:给:你:的:工作效率:带来:飞:一般:的:提高'
In [26]: jieba.add_word('后会') # 增加新词：后会
In [27]: ':'.join(jieba.cut(test, HMM=False))
Out[27]: '正则表达式:熟练:使用:后会:给:你:的:工作效率:带来:飞:一般:的:提高'
# 注意：自己添加新词或者改变词频后，使用HMM可能使新词无用
删除词语 jieba.del_word(word) 「删除词语」 1
In [29]: jieba.del_word('后会') # 删除词语：后会
改变词频 jieba.suggest_freq(segment, tune=False) 「segment表示要修改的词，用元组表示，tune表示是否能被分出来」 1
2
3
4
5
6
7
8
9
10
11In [31]: test
Out[31]: '正则表达式熟练使用后会给你的工作效率带来飞一般的提高'
In [32]: ':'.join(jieba.cut(test))
Out[32]: '正则表达式:熟练:使用:后:会:给:你:的:工作效率:带来:飞:一般:的:提高'
In [35]: jieba.suggest_freq(('正则','表达式'),True) # 允许（正则、表达式）被分割出来，返回0则证明成功
Out[35]: 0
In [36]: ':'.join(jieba.cut(test))
Out[36]: '正则:表达式:熟练:使用:后:会:给:你:的:工作效率:带来:飞:一般:的:提高'
使用文件添加词典 jieba.load_userct(file_name) 「file_name表示要加载的字典文件名」
有时需要添加大量的新词汇，总不能一条一条的敲代码，jieba有一个加载新字典的方法：jieba.load_userct(file_name)
对要加载的字典是有格式要求的，一个词占一行，一行有三个部分（词语、词频、词性），用空格隔开，顺序不可颠倒，其中，词频和词性可以省略
词频分析
词频分析 jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=(), withFlag=False) 「sentence表示要分析的句子、topK表示返回多少个高频词语（默认为20个）、withWeight表示返回词语时是否带权重、allowPOS表示仅分析指定词性的词」 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28import jieba.analyse # 需要单独导入jieba.analyse
test = '''
《红楼梦》，中国古典长篇章回小说，是中国四大小说名著之一。《红楼梦》书内提及的别
名，还有《情僧录》、《风月宝鉴》[1]、《金陵十二钗》、《金玉缘》；故事是从女娲补>天时所剩下的一块石头讲起，因此又名《石头记》。乾隆四十九年甲辰（1784年）梦觉主人
序本题为《红楼梦》（甲辰梦序抄本）。1791年在第一次活字印刷（程甲本）后，《红楼梦》便取代《石头记》成为通行的书名。
原本前80回尚存。全本回数问题有两说：据脂砚斋批语，应少于114回；而据高鹗、程伟元>的版本，为百二十回。后来高鹗、程伟元取得后40回稿，并整理印行，即为目前较通行的120回全本。
程伟元称，自己经过多年收集，重金购得《红楼梦》后四十回残稿，并对不连贯的地方进行补缀。于1791年和1792年印行一百二十回《红楼梦》。一百多年间，《红楼梦》以此流传，受到读者欢迎。
从1969年代开始，胡适“大胆假设、小心求证”，认为后四十回非曹雪芹著，并提出高鹗续书后四十回，且后四十回不如前八十回，程乙本并非红楼梦最佳读本。胡适在甲戌本跋中举例，天香楼事合家皆知，“无不纳罕，都有些疑心”，程乙本竟作“无不纳闷，都有些伤心”，只
有些伤心而已吗？完全扭曲上下文意。
人民文学出版社认为后四十回是无名氏续，高鹗、程伟元整理。另外周汝昌则认为《红楼梦》原著共108回，现存78回，后30回迷失。
《红楼梦》被评为中国古典章回小说的巅峰之作，思想价值和艺术价值极高。在20世纪，《红楼梦》是中国最受重视的一部文学作品之一。因为其不完整，加上作者曹氏已亡故，所述内容又钜细靡遗，结局设定更是超乎寻常，留下许多谜团引人探究，也构成了一门学问——红
学。自胡适作《红楼梦考证》以来，一般认为曹雪芹以其家族的命运投射在《红楼梦》一书。
'''
print(jieba.analyse.extract_tags(test, withWeight=True))
# 运行结果：
Building prefix dict from the default dictionary ...
Loading model from cache /var/folders/n_/mj10v8d10h32_dzzwb8y3hs80000gn/T/jieba.cache
Loading model cost 0.800 seconds.
Prefix dict has been built succesfully.
[('红楼梦', 0.5276318504898648), ('四十回', 0.297466902509009), ('高鹗', 0.2214637790900901), ('程伟元', 0.21540121626846845), ('胡适', 0.13942106369594595), ('甲辰', 0.1090893529972973), ('程乙本', 0.10770060813423422), ('1791', 0.10770060813423422), ('章回小说', 0.09970688565675676), ('全本', 0.0987048529081081), ('石头记', 0.09738410088828829), ('曹雪芹', 0.09400848422702703), ('印行', 0.0883453431509009), ('认为', 0.06910881164756758), ('伤心', 0.0672914105409009), ('通行', 0.06724799354603603), ('无不', 0.06671542428864866), ('古典', 0.06622546765531531), ('有些', 0.06305848415594595), ('周汝昌', 0.0626156650990991)]
python test.py 1.81s user 0.17s system 99% cpu 1.993 total
并行分词
打开并行分词 jieba.enable_parallel(num) 「num代表并行进程数」
关闭并行分词 jieba.disable_parallel()
1 | In [1]: import jieba |