MemoryError 是因程序内存超限所致，常见于大数据加载、无限增长结构、深递归、内存泄漏及多进程数据复制；解决方法包括：逐行读取文件、使用生成器、分块处理Pandas数据、及时释放对象并调用gc.collect()、采用内存映射、优化数据类型与结构，并通过tracemalloc等工具监控内存 usage。
Python 中出现 MemoryError 表示程序试图分配的内存超出了系统或进程可用的内存限制。这在处理大数据、循环加载文件或算法效率低下时尤为常见。下面分析其常见原因并提供实用的解决方法。
1. 常见导致 MemoryError 的原因
了解问题来源是解决问题的第一步：
- 加载过大的数据集到内存：例如一次性读取一个几 GB 的 CSV 或 JSON 文件到 list 或 DataFrame。
- 无限或过度增长的数据结构：比如列表、字典在循环中不断追加而没有释放机制。
- 递归过深或未优化的递归函数：大量函数调用栈占用内存，可能引发溢出。
- 内存泄漏：对象被意外长期引用，无法被垃圾回收，如全局缓存未清理。
- 并发或多进程复制数据：multiprocessing 模块中传递大对象会复制到子进程，成倍消耗内存。
2. 逐行读取与数据流式处理
避免一次性加载全部数据，使用生成器或迭代方式处理：
# 错误做法：一次性读取所有行
with open('huge_file.txt') as f:
lines = f.readlines() # 可能导致 MemoryError
正确做法：逐行处理
with open('huge_file.txt') as f:
for line in f: # 每次只加载一行
process(line)
对于 Pandas 处理大文件，可使用分块读取：
import pandas as pd
chunk_size = 10000
for chunk in pd.read_csv('big_data.csv', chunksize=chunk_size):
result = process(
chunk)
# 及时释放或保存结果
chunk)
# 及时释放或保存结果
3. 使用生成器减少内存占用
生成器（generator）按需产生数据，不将整个序列存入内存：
# 普通函数返回列表：占用高
def large_list(n):
return [x**2 for x in range(n)]
改为生成器：内存友好
def large_gen(n):
for x in range(n):
yield x**2
for item in large_gen(10**7):
process(item)
4. 及时释放不再使用的对象
手动删除大对象并触发垃圾回收：
import gcdata = load_huge_dataset() result = process(data) del data # 删除引用 gc.collect() # 强制垃圾回收（必要时）
注意：一般不需要频繁调用 gc.collect()，但在大对象处理后调用一次有助于释放内存。
5. 使用内存映射（memory mapping）处理大文件
适用于大型数组或二进制文件，无需完全加载到内存：
import numpy as np使用 memmap 处理超大数组
arr = np.memmap('large_array.dat', dtype='float32', mode='r', shape=(100000, 100000)) subset = arr[:1000, :1000] # 只读取需要的部分
6. 优化数据结构与类型
选择更节省内存的数据类型：
- Pandas 中使用
category类型替代字符串。 - 用
int32替代int64，float32替代float64。 - 考虑使用
array.array或numpy数组代替 list 存储数值。
7. 监控内存使用情况
使用工具定位内存瓶颈：
-
tracemalloc：Python 内置模块，追踪内存分配。 -
memory_profiler：装饰函数查看逐行内存消耗。
import tracemalloctracemalloc.start()
运行目标代码
current, peak = tracemalloc.get_traced_memory() print(f"当前内存: {current / 10242:.2f} MB") print(f"峰值内存: {peak / 10242:.2f} MB") tracemalloc.stop()
基本上就这些。关键是避免“全量加载”，改用“按需处理”，并合理管理对象生命周期。多数 MemoryError 都可以通过结构调整避免，不一定需要升级硬件。
