Python爬虫数据去重方案_hash与集合应用【指导】

用 hash 而不是原始字符串去重，因 URL 等字段存在空格、换行、编码差异等问题，直接比较易漏判；hash 可归一化处理，提升稳定性，但需注意碰撞风险及内存管理、标准化、去重时机和分布式适配。

为什么用 hash 而不是直接存原始字符串去重？

爬虫抓取的 URL、标题、正文等字段常含空格、换行、编码差异（如 %20 和空格），直接字符串比较容易漏判重复。用 hash 统一归一化后再比对，更稳定。
但注意：hash 不是万能的——不同内容可能产生相同哈希值（碰撞），不过在单机爬虫场景下，用 hashlib.md5() 或 hashlib.sha256() 几乎可忽略该风险。

set 存哈希值时内存爆了怎么办？

高频爬虫（如每秒百条）持续往 set 里加 bytes 哈希值，几小时后可能吃光几 GB 内存。这不是算法问题，是数据生命周期没管好。
实操建议：

• 按时间窗口滚动清理：比如只保留最近 24 小时的哈希值，用 deque + 时间戳配合 set 实现
• 改用布隆过滤器（bloomfilter 库）：内存占用低一个数量级，支持百万级去重，但有极小误判率（不漏判，可能把新数据当重复）
• 落地到轻量数据库：如 sqlite 的 UNIQUE 索引列存 md5(url)，重启不丢，还支持查重历史

URL 去重必须先标准化再哈希

同一个页面可能有无数种 URL 表达：https://a.com/?x=1&y=2、https://a.com/?y=2&x=1、https://A.COM/x/，直接哈希会当成不同项。
标准化步骤不能少：

from urllib.parse import urlparse, urlunparse, parse_qs, urlencode
def normalize_url(url):
parsed = urlparse(url.lower())  # 协议和域名转小写
query_dict = parse_qs(parsed.query)  # 自动去重参数顺序、合并同名参数
normalized_query = urlencode(query_dict, doseq=True)
return urlunparse((
parsed.scheme,
parsed.netloc,
parsed.path.rstrip('/'),  # 去除末尾斜杠
'', '', normalized_query
))

之后再对 normalize_url(url) 的结果做 hashlib.md5(...).hexdigest()。

去重逻辑放在哪一层最稳妥？

别在解析完就立刻去重，也别拖到入库前才做——中间环节（如管道、中间件、存储前钩子）都可能出错或跳过。
推荐位置：

• Requests 发起前：检查待请求 URL 是否已爬过（适合广度优先）
• Response 解析后、提取 item 前：对响应体做 hashlib.sha256(response.body).hexdigest()，防镜像站/缓存页重复
• Item Pipeline 最末端：用 item['url_hash'] = hashlib.md5(item['url'].encode()).hexdigest()，再查库或集合

真正难的是多进程/分布式场景——这时单机 set 失效，得换 Redis 的 SET 或 BF.ADD，且哈希值必须带业务前缀避免冲突。