爬虫技术主要用于借助脚本和自动化手段, 从互联网获信息, 一般而言, 经HTTP请求获取网页内容后, 用爬虫解析内容并提取有用信息形成知识库, 其中提供大量信息处理库, 让爬虫在取得网页信息时更高效灵活, 下面我们以爬虫为例, 介绍爬虫里一些常用技术及工具。爬虫的基本流程首先, 我们得借助 或 http. 之类的库去模拟浏览器传送 HTTP 请求, 以此来获取网页里呈现的内容信息, 紧接着, 我们能够通过 、lxml、html. 等库剖析 HTML 或 XML 内容, 从剖析出的数据当中获取有用的信息, 随后把这些信息存到本地存储里头, 比如说能够将其存到 CSV、JSON、EXCEL 文件当中, 又或者是能够把这些数据存到 MySQL、等数据库里进行持久化的存储。常用的爬虫库介绍于上述的介绍里头, 咱们提及了获取请求的库, 还有用来进行HTML解析的库等等, 接下来我们便要详细介绍一下这些库的使用情况。库这是当下运用较为频繁的, 用于开展HTTP请求的一个库, 能对GET、POST等请求进行模拟发送, 我们能够借助如下方式予以安装。pip install requests使用示例这里模拟一个简单的GET请求的发送。import requests url https://example.com response requests.get(url) print(response.status_code) # HTTP 状态码 print(response.text) # 网页内容库这个库, 它属于那种专门用于完成HTML解析的库, 同时也是用于完成XML解析的库, 它能够用来开展网页数据的解析工作, 并且还能用于提取网页数据, 可以借助如下的方式来予以安装。pip install beautifulsoup4安装完成之后可以配合库来实现网页内容的获取如下所示。from bs4 import BeautifulSoup import requests url https://example.com response requests.get(url) soup BeautifulSoup(response.text, html.parser) # 提取网页标题 title soup.title.string print(title)lxml库这个库, 是用于HTML/XML解析的库, 相较于库而言, lxml库更为灵活, 且支持XPath以及XSLT等操作, 较适合在一些高性能的解析场景里使用, 可通过如下方式来安装。pip install lxml安装好之后配合库进行网页内容的获取以及解析操作。from lxml import html import requests url https://example.com response requests.get(url) tree html.fromstring(response.content) # 使用 XPath 提取标题 title tree.xpath(//title/text()) print(title)库库是个工具库, 用于自动化Web浏览器操作, 能处理经动态渲染的网页, 支持多种浏览模拟操作, 比如常见的一些操作等, 可通过如下方式安装。pip install selenium然后结合浏览器的驱动配置来进行模拟浏览器操作如下所示。from selenium import webdriver # 使用 Chrome 浏览器 driver webdriver.Chrome(executable_path/path/to/chromedriver) driver.get(https://example.com) # 获取网页标题 title driver.title print(title) driver.quit()框架这个框架, 是一个用于爬虫开发的综合框架, 它提供了从发起请求开始, 接着解析数据然后到数据存储等一系列的一站式爬虫解决办法, 它适合用来构建一些大型的网络爬虫应用。pip install scrapy用如下命令去创建, 然后使用, 这个框架使用起来颇为复杂, 这里不过多详细介绍, 会在后续分享里给大家详细加以介绍。scrapy startproject myproject cd myproject scrapy genspider example example.com爬虫开发步骤上面我们对于爬虫基本操作流程予以了介绍, 下面我们就要针对一个爬虫的开发步骤展开详细介绍, 事实上在上面介绍框架之际我们早已经进行过演示了。第一步、尝试发送HTTP请求我们要求模拟向浏览器发送HTTP请求, 以此来获取网页数据, 情况如下所示。import requests url https://example.com response requests.get(url) # 输出网页内容 print(response.text)第二步、解析网页内容在经历第一步的请求过后, 我们能够获取到HTML的网页内容, 而到了这个时候, 我们便需要借助 或者lxml去解析网页, 进而提取所需的数据, 情况如下所示。from bs4 import BeautifulSoup import requests url response requests.get(url) soup BeautifulSoup(response.text, html.parser) # 提取所有的 标签 links soup.find_all(a) for link in links: print(link.get(href))第三步、数据提取依靠上面的内容, 凭借 find 或者 之类的办法能够提取特定的标签、类名、ID 或者属性, 此即我们要用的数据, 我们能够把相关数据提取出来。acode# 提取特定 class 名为 example 的 /code/a标签 divs soup.find_all(div, class_example) for div in divs: print(div.get_text())第四步、数据存储我们获取到数据, 并非单纯获取数据, 而是要把数据存储下来, 以供后续的服务去使用, 因此, 我们需对数据进行保存, 举例来说, 保存成文件可以, 或者是将数据保存进数据库也可以。acodeimport csv data [ {name: John, age: 28}, {name: Jane, age: 22} ] # 将数据写入 CSV 文件 with open(data.csv, modew, newline) as file: writer csv.DictWriter(file, fieldnames[name, age]) writer.writeheader() writer.writerows(data) /code/a第五步、异常处理和错误重试在爬虫运行进程里, 或许会碰到网络请求出错、服务器拒绝接入等状况, 同样有可能出现文件读取失利、文件写入失利等麻烦。处于这个时刻, 我们就必须添加上对应的异常机制以及重试机制用以确保数据可以正常调用, 像下面所呈现的这样。acodeimport time import requests from requests.exceptions import RequestException def fetch_url(url): try: response requests.get(url) response.raise_for_status() # 抛出 HTTP 错误 return response except RequestException as e: print(f请求失败: {e}) time.sleep(5) # 等待5秒后重试 return fetch_url(url) url https://example.com response fetch_url(url) print(response.text) /code/a此时, 实际上到这儿, 还并未结束, 上述篇幅之中仅仅是简易地呈现了一回模拟浏览器的操作, 然而在爬虫去获取数据之际, 有可能会碰上反爬机制以及对应问题的解决, 还有令牌处理这类情形, 就在此时期我们没准就得引入浏览器行为方面的操作, 还要运用IP代理池等相关技术。爬虫高级操作模拟浏览器行为acodeheaders { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 } response requests.get(https://example.com, headersheaders) /code/a使用IP代理池acodeproxies { http: http://username:passwordproxyserver:port, https: http://username:passwordproxyserver:port } response requests.get(https://example.com, proxiesproxies) /code/a