如何使用Golang读取和写入文件_Golang ioutil与os包方法

优先用os.ReadFile/os.WriteFile处理小文件,大文件或需流式处理时用os.Open+bufio.Scanner或io.Copy,追加写必须用os.OpenFile并指定O_APPEND标志。

ioutil.ReadFile 读文件最简单,但注意它会把整个文件加载进内存

如果你确定文件不大(比如配置文件、JSON 小数据),ioutil.ReadFile 是最快捷的选择。它返回 []byteerror,不用手动开闭文件。

  • 适合一次性读取全部内容,比如 json.Unmarshal 前处理
  • 不适用于大文件(GB 级),否则可能触发 OOM
  • Go 1.16+ 已弃用 ioutil,应改用 os.ReadFile(行为完全一致,只是包路径不同)
data, err := os.ReadFile("config.json")
if err != nil {
    log.Fatal(err)
}
var cfg Config
json.Unmarshal(data, &cfg)

写小文件优先用 os.WriteFile,它自动处理权限和覆盖逻辑

os.WriteFileioutil.WriteFile 的替代,内部调用 os.OpenFile 并设好 O_WRONLY | O_CREATE | O_TRUNC 标志,省去手动控制打开模式的麻烦。

  • 第三个参数是文件权限,Linux/macOS 上生效(如 0644),Windows 忽略
  • 默认覆盖原文件;如需追加,不能用它,得换 os.OpenFile
  • 写入失败时不会残留半截文件(原子性由底层保证)
err := os.WriteFile("output.txt", []byte("hello world"), 0644)
if err != nil {
    log.Fatal(err)
}

读大文件或需要流式处理时,必须用 os.Open +

bufio.Scannerio.Copy

当文件可能超过几十 MB,或者你只想逐行/分块处理(比如日志分析、CSV 解析),就不能再依赖一次性读取函数。

  • os.Open 返回 *os.File,记得用 defer f.Close()
  • 逐行读推荐 bufio.Scanner(默认单行上限 64KB,超限会报 scanner.ErrTooLong
  • 整文件复制(如备份)直接用 io.Copy(dst, src),底层用 32KB 缓冲,高效且不爆内存
f, err := os.Open("huge.log")
if err != nil {
    log.Fatal(err)
}
defer f.Close()

scanner := bufio.NewScanner(f)
for scanner.Scan() {
    line := scanner.Text() // 注意:不包含 \n
    process(line)
}
if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

追加写入必须显式用 os.OpenFile,别指望 os.WriteFile

os.WriteFile 总是覆盖,想追加只能自己构造文件打开选项。常见错误是漏掉 os.O_APPEND 或误传 os.O_CREATE 权限位。

  • 必须同时指定 os.O_WRONLY | os.O_APPEND | os.O_CREATE
  • 权限位只在文件新建时生效;已存在文件不受影响
  • 写入前不检查文件是否存在——O_CREATE 本身就有“存在则跳过”语义
f, err := os.OpenFile("log.txt", os.O_WRONLY|os.O_APPEND|os.O_CREATE, 0644)
if err != nil {
    log.Fatal(err)
}
defer f.Close()

_, err = f.Write([]byte("new entry\n"))
if err != nil {
    log.Fatal(err)
}
实际项目里最容易被忽略的是:**大文件读写不加 context 控制或超时,会导致 goroutine 卡死;而小文件用错 API(比如该用 os.WriteFile 却手写 open/write/close)又平白增加出错概率**。选哪个函数,核心就看两个维度:文件大小预期、是否需要流式控制。