Python爬虫性能调优技巧_减少IO与连接复用【技巧】_技术教程

必须使用 requests.Session() 复用连接池以避免重复 TCP/TLS 握手，配合 aiohttp.AsyncResolver 和超时拆分（connect/read）可显著降低高频请求延迟。

requests.Session() 必须用，别每次 new 一个 client

HTTP 连接建立开销远大于发送请求本身，反复创建 requests.get() 会触发 TCP 三次握手 + TLS 握手（HTTPS），尤其在高频请求时延迟飙升。用 Session 复用底层连接池，自动保持 Keep-Alive。

默认 Session 启用连接池（pool_connections=10, pool_maxsize=10），足够多数爬虫场景
若并发高（如 >50 路请求），显式调大 pool_maxsize，否则会阻塞在连接获取上
别在循环里反复 session = requests.Session() —— 这等于没用

session = requests.Session()
session.mount('https://', requests.adapters.HTTPAdapter(pool_maxsize=20))
for url in urls:
    resp = session.get(url, timeout=5)  # 复用连接，非新建

异步 HTTP（aiohttp）比多线程 requests 更省资源

当目标站点响应快、IO 密集（比如爬 1000 个轻量 API），用 threading + requests 会因 GIL 和线程切换反而拖慢；而 aiohttp 单线程即可并发数百请求，内存和 CPU 占用更低。

aiohttp.ClientSession 同样复用连接，但需配合 async/await
注意 DNS 解析默认是同步阻塞的，加 connector = aiohttp.TCPConnector(resolver=aiohttp.AsyncResolver()) 避免卡住
别混用 time.sleep() —— 必须用 await asyncio.sleep()

import aiohttp
import asyncio
async def fetch(session, url):
async with session.get(url, timeout=5) as resp:
return await resp.text()
async def main():
connector = aiohttp.TCPConnector(resolver=aiohttp.AsyncResolver())
async with aiohttp.ClientSession(connector=connector) as session:
tasks = [fetch(session, url) for url in urls]
results = await asyncio.gather(*tasks)

别让 DNS 查询成为瓶颈

每次请求都走系统 DNS 解析？尤其用 IP 池或固定域名时，重复查 example.com → 93.184.216.34 很浪费。requests 和 aiohttp 默认不缓存解析结果。

requests：用 requests-toolbelt 的 HostHeaderSSLAdapter 不解决问题；更直接的是预解析 + headers={'Host': 'example.com'} + 直连 IP
aiohttp：启用 use_dns_cache=True（默认已开），但首次仍需解析；可手动 socket.gethostbyname('example.com') 后拼 http://IP/ 并设 Host 头
注意 HTTPS 直连 IP 会校验失败，得关 SSL 验证（不推荐）或用 SNI 手动指定 —— 大多数情况不如用域名 + DNS 缓存

超时与重试必须精细控制，否则 IO 卡死

没设 timeout？一个慢接口就能让整个线程/协程挂住几十秒；盲目重试？可能放大服务压力或触发封禁。

拆分 timeout：requests.get(url, timeout=(3.05, 27)) 表示 connect ≤ 3.05s，read ≤ 27s —— 避免 DNS 慢+连接快但响应慢的误判
requests：用 urllib3.util.Retry 控制重试逻辑，禁用对 POST 的自动重试（非幂等）
aiohttp：无内置重试，需自己封装，注意别用 while True 无限重试，加指数退避和最大次数
别全局设 timeout=0.1 —— 网络抖动时大量失败，实际吞吐反而下降

真正卡性能的地方，往往不是解析 HTML，而是连接建立、DNS 查询、TLS 握手这些“看不见”的环节。把 Session 复用、DNS 缓存、超时拆分这三件事做扎实，比优化 XPath 表达式有用十倍。