按行读取内存不够？如何用python解决？

真正节省内存的关键是逐行迭代、即时处理、不累积；用for line in open()流式读取，避免readlines()或列表推导式等全量加载操作。

内存不够时按行读取文件本身是合理的做法，问题往往出在“看似按行读取”，实际却一次性加载了全部内容——比如用了 readlines() 或把每行处理结果全存进列表。真正节省内存的关键是：**逐行迭代、即时处理、不累积**。

用 for line in open() 真正流式读取

这是最轻量、最常用的方式。Python 文件对象是可迭代的，for 循环会自动按行缓冲读取，内存只保留当前一行：

• ✅ 正确写法（推荐）：

  with open("large.txt") as f:
    for line in f:
      process(line)  # 立即处理，不保存

• ❌ 错误写法：f.readlines() 或 list(f) —— 这会把所有行读进内存，和 read() 几乎一样吃内存

需要跳过空行或过滤时，别先 collect 再 filter

常见误区：先用 [line for line in f if line.strip()] 构建新列表——这又把符合条件的行全装进内存了。

• ✅ 改成生成器表达式：(line for line in f if line.strip())，它不立刻计算，只是定义规则
• ✅ 或直接在循环里判断：

  for line in f:
    if line.strip():
      process(line)

处理后要写入新文件？也别缓存结果

比如清洗日志、转换格式后保存，避免用 results.append(...) 最后再 writelines(results)。

• ✅ 边读边写：

  with open("in.txt") as fin, open("out.txt", "w") as fout:
    for line in fin:
      cleaned = clean(line)
      fout.write(cleaned)

• 注意：fout.write() 比 fout.writelines() 更可控，避免意外换行或编码问题

超大文件需随机访问某几行？用 linecache 或 mmap

如果真要“读第100万行”，又不想遍历前面所有行，普通按行读取就不够高效了。

• ✅ 小需求用 linecache.getline("file.txt", 1000000) —— 它内部做了缓存，适合偶尔查几行
• ✅ 超大文本且频繁随机读，考虑 mmap + 自己找换行符，但实现复杂，一般场景不推荐
• ⚠️ 注意：这些不是替代按行读取，而是特定场景的补充方案

基本上就这些。核心就一条：别让数据在内存里“堆着”。只要不显式收集、不调用会全加载的方法，哪怕几十GB的纯文本，也能靠一行行流式处理完。