刚刚在朋友圈发了我在糗事百科上爬取的段子，获得了好几十个赞，嘎嘎，给你看一下："创作一定要保持大脑刺激，才能写出不同的灵魂之光。老婆很赞同，为了让我写出好贴，给我带回来了锥子，锤子，还有龙息辣椒"。
哈哈哈...，一点都不好笑。他们点赞，全是因为我说：点赞的朋友，可以获得我编写的爬虫代码。
2.1 爬虫代码
用pip/pip3 install requests 安装爬虫库，并在代码中import requests。
import requests
res = requests.get("https://www.qiushibaike.com/text/")
if res.status_code == 200:
print(res.text)
else:
print("服务器没响应")输出结果(html代码)
是的，你没看错，这就是第1个爬虫程序；是的，你没看错，返回的结果是html代码。不要因为代码简单，你就怀疑自己的人生，因为requests是python实现的最简单易用的HTTP库，常用在网络爬虫中，响应的属性值，也就几个而已。
2.2 定位节点
数据是返回了，可一大堆代码，那可不是咱们想要的。我们要的只是段子，而不是毛毛虫。好，用chrome定位到想要的节点中。按下键盘F12，右键段子内容(两个)，选择【检查】，定位到代码中，你会发现，段子是放在<div class="content"><span></span></div>中间的。
2.3 过滤数据
既然知道段子是包含在<div class="content"><span></span></div>中间，那咱们就用正则表达式，取出中间的内容，同时去掉里面的\n和<br/>。在Python内置库中，就有re模块，可以完美的实现正则表达式的功能。
import requests
import re
res = requests.get("https://www.qiushibaike.com/text/")
if res.status_code == 200:
html = res.text
result = re.sub(r"\\n|<br/>", "",
str(re.findall(r'<div class="content">(.*?)</div>', html, re.S)))
items = re.findall(r'<span>(.*?)</span>', result, re.S)
for i, text in enumerate(items):
print(str(i + 1) + ".", text)
else:
print("服务器没响应")输出结果
2.4 正则表达式
正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python中，内置的re模块拥有全部的正则表达式功能。
1. re.match函数
从字符串的起始位置匹配一个模式，如果匹配不成功的话，就返回none，否则返回位置匹配数。
import re
result = re.match("老陈", "老陈说编程")
if result is not None:
print(result.span())
else:
print("没有匹配值")
输出结果
(0, 2)2. re.search方法
扫描整个字符串并返回第一个成功的匹配。
import re
result = re.search("编程", "老陈说编程")
if result is not None:
print(result.span())
else:
print("没有匹配值")输出结果
(3, 5)3. 检索和替换
re模块提供了re.sub用于替换字符串中的匹配项。
import re
v = "老陈说编程，\n真的得帅，<br/>跟猪八戒一个样。"
result = re.sub(r"\n|<br/>", "", v)
print(result)输出结果
老陈说编程，真的得帅，跟猪八戒一个样。4. findall
在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。
import re
result = re.findall(r'\d+', '老陈555,说编程')
print(result)输出结果
['555']5. 可选标志
在1~4点中，在使用方法时，如re.findall(pattern, string, flags=0)，都会有一个flag参数，它的可选如下标志。
re.I ：大小写不敏感；
re.L：做本地化识别（locale-aware）匹配；
re.M：多行匹配，影响 ^ 和 $；
re.S：使 . 匹配包括换行在内的所有字符；
re.U：根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B。
例子可见开头爬虫代码中用到的re.S 。
6. 表达式模式
模式字符串使用特殊的语法来表示一个正则表达式：字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。常见符号如下：
^：匹配字符串的开头;
$：匹配字符串的末尾;
. ：匹配任意字符;
[...]：[ab] 匹配 'a'或'b';
\d：匹配一个数字字符。等价于 [0-9];
\D：匹配一个非数字字符;
\s：匹配任何空白字符，包括空格、制表符、换页符;
\S：匹配任何非空白字符。
.*： 表示任意匹配除换行符（\n、\r）之外的任何单个或多个字符。
import re
v = "<div>简单的喜欢最长远，转发的人最温暖</div>"
result = re.findall("<div>(.*?)</div>", v, re.S)
print(result)输出结果(列表)
['简单的喜欢最长远，转发的人最温暖']好了，有关Pyhon网络爬虫用表达式过滤数据的内容，老陈讲完了，如果觉得对你有所帮助，希望老铁能转发点赞，让更多的人看到这篇文章。你的转发和点赞，就是对老陈继续创作和分享最大的鼓励。
一个当了10年技术总监的老家伙，分享多年的编程经验。想学编程的朋友，可关注今日头条：老陈说编程。我将分享Python，前端(小程序)、App和嵌入式方面的干货。
关注我，没错的。