好久没复习Python了,感觉很多东西都快忘了,趁着假期赶紧补一补基础

什么是正则

正则表达式使用单个字符串来描述,匹配一系列符合某个句法规则的字符串,简单理解,就是对字符串的检索匹配和处理

Python 正则表达式

Python通过re模块提供对正则表达式的支持

1.先将正则表达式的字符串形式编译为Pattern实例;

2.使用Pattern实例处理文本并获得匹配结果;

3.使用实例获得信息,进行其他的操作。

先熟知几个re模块常用的函数:

(1)re.compile(pattern,flags=0)

​ re.match(pattern,string,flags=0)

来看下面一个例子:

1
2
3
4
5
>>> import re
>>> pattern = re.compile('hello')
>>> match = pattern.match('hello world')
>>> print(match.group())
hello

这个例子使用了re模块的compile函数生成一个正则表达式的pattern对象,该对象拥有一系列方法用于正则表达式的匹配和替换,简单而言就是规定了匹配的模式,而match函数则用来匹配,匹配成功则返回一个match对象,match对象通过group()返回被RE匹配的字符串

(2)re.findall(pattern,string,flags=0)

来看下面一个例子:

1
2
3
>>> import re
>>> re.findall('hello','hello world')
['hello']

这个例子使用了re模块的findall函数遍历匹配,可以获取字符串中所有匹配的字符串,返回一个列表,跟compile函数不同在于,findall函数能搜素出所有符合的字符串组成一个列表

(3)re.search(pattern,string,flags=0)

来看下面一个例子:

1
2
3
4
>>> import re
>>> match = re.search('hello','hello world')
>>> match.group()
'hello'

这个例子使用了re模块的search函数,跟match函数一样,只找到第一个匹配的字符串然后返回一个match对象

实例

抓取i春秋网页的课程信息

代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
import requests
import re
from bs4 import BeautifulSoup

url="https://www.ichunqiu.com/courses/webaq"
header={
'Host': 'www.ichunqiu.com',
'Connection': 'close',
'Cache-Control': 'max-age=0',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36',
'Upgrade-Insecure-Requests': '1',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9'
}
r=requests.get(url,headers=header)
r.encoding=r.apparent_encoding
soup=BeautifulSoup(r.text,'html.parser')

#获取课程名称
classname=[]
l=soup.find_all('div',class_='coursename')
for i in l:
classname.append(i['title'])

#获取课程价格
cost=re.findall(r'\d*元|免费',str(soup))

#获取课程课时和总时间
time=re.findall(r'\d*课时\d*分钟',str(soup))

#获取课程学习人数
people=re.findall(r'\d*人学习',str(soup))

#整理课程所有信息
classMessage=[]
message=[]
for i in range(20):
message.append(classname[i])
message.append(cost[i])
message.append(time[i])
message.append(people[i])
classMessage.append(message)
message=[]
print('{0:30s}\t{1:8s}\t{2:15s}\t{3:15s}'.format('课程名称','价格','课时及总时间','学习人数',chr(12288)))
for i in classMessage:
print('{0:30s}\t{1:8s}\t{2:15s}\t{3:15s}'.format(i[0],i[1],i[2],i[3],chr(12288)))
print()

输出结果:

最后这里因为中文英文字符所占字节不同,所以死活对不齐…也利用了chr(12288)填充的办法还是行不通,希望有大神能告知如何解决,感激不尽

特殊字符

一般字符 匹配自身 abc abc
. 匹配任意换行符”\n”以外的字符 a.c abc
\ 转义字符,是最后一个字符改变原来的意思。用于在正则表达式中转义一些特殊字符 a\.c a\\c a.c a\c
[…] 字符集。对应的位置可以是字符串集中任意1个字符。字符集中的字符可以逐个列出,也可以给出范围,如[abc]或[a-c],第一个字符如果是^则表示取反,如[^abc]表示不是abc的其他字符。所有的特殊字符在字符集中都失去原来的特殊含义,在字符集中如果要使用],-或^,可以在前面加上反斜杠 a[bcd]e abe ace ade

字符集

预定义字符(可以写在[…]中) 含义 例子 符合匹配的例子
\d 数字:[0-9] a\dc a1c,a9c
\D 非数字:[^\d] a\Dc abc,a c
\s 空白字符:[<空格>\t\r\f\v] a\sc a c
\S 非空白字符:[^\s] a\Sc abc,a1c
\w 单词字符:[A-Za-z0-9] a\wc abc,a1c,aBc
\W 非单词字符:[^\w] a\Wc a c,a.c

数量词

数量词 含义 例子 符合匹配的例子
* 匹配前一次字符0次或无限次 abc* ab,abccc
+ 匹配前一个字符1次或无限次 abc+ abc,abccc
? 匹配前一个字符0次或1次 abc? ab,abc
{m} 匹配前一个字符m次 ab{2}c abbc
{m,n} 匹配前一个字符m到n次 ab{1,2}c abc,abbc

逻辑,分组

字符 含义 例子 符合匹配的例子
或运算符 代表左右表达式任意匹配一个,它总是先尝试匹配左边的表达式,一旦成功匹配则跳过右边的表达式,如果或运算符没有包括在()中,则它的范围是整个正则表达式 abc或def abc def
(…) 被括起来的表达式将作为分组,从表达式左边开始每遇到一个分组的左括号,编号+1分组表达式作为一个整体,可以后接数量词,表达式中或运算符仅在该组中有效 (abc){2} a(123或456)c abcabc a123c,a456c

贪婪模式和非贪婪模式

正则表达式通常用于在文本中查找匹配的字符串。Python里的数量词默认是贪婪的,意思是总是尝试匹配尽可能多的字符;非贪婪的则相反,总是尝试匹配尽可能少的字符。

例如:正则表达式”ab*“如果用于查找”abbbc”,将匹配到”abbb”。而如果使用非贪婪方法(在数量词后面加上?,则使用非贪婪方法匹配),如”ab*?”,将找到”a”