php远程访问文件怎么打开_phpcurl分块读取远程大文件法【分块】_技术教程

正确做法是关闭CURLOPT_RETURNTRANSFER（设为false），用CURLOPT_WRITEFUNCTION回调流式处理数据，维护缓冲区按行切分并安全解析JSON；fopen('http://...')缺乏超时、重试、Header控制等能力，不适合生产环境大文件下载。

PHP 用 cURL 分块读取远程大文件时，`curl_setopt($ch, CURLOPT_RETURNTRANSFER, true)` 会吃光内存

这是最常踩的坑：想边下载边处理，却误设 CURLOPT_RETURNTRANSFER 为 true，导致整个响应体被缓存进内存。1GB 文件直接 OOM。正确做法是关掉它，改用回调函数流式接收。

CURLOPT_RETURNTRANSFER 必须设为 false（默认值，可不设）
用 CURLOPT_WRITEFUNCTION 指定自定义写入回调，每次只处理 curl 推送的一小段数据（通常几 KB）
回调函数必须返回实际写入字节数，否则 cURL 会中断连接
记得用 stream_set_timeout() 或 CURLOPT_TIMEOUT 防止卡死

分块回调函数里怎么安全写入本地文件或解析 JSON 行？

回调不是“每行调用一次”，而是按底层 TCP 包大小推送数据（可能半行、跨行）。不能直接 json_decode($data)，要自己做缓冲和行切分。

维护一个全局或闭包内的 $buffe r 字符串，拼接每次传入的 $data
用 strpos($buffer, "\n") 找完整行，substr 截取后更新 $buffer
对每一整行做业务处理（如 json_decode($line, true)）
写入文件推荐用 fwrite($fp, $line . "\n")，避免 file_put_contents(..., FILE_APPEND) 频繁打开文件

function writeCallback($ch, $data) {
    static $fp = null;
    static $buffer = '';

    $buffer .= $data;
    while (($pos = strpos($buffer, "\n")) !== false) {
        $line = substr($buffer, 0, $pos);
        $buffer = substr($buffer, $pos + 1);

        // 示例：写入文件
        if ($fp === null) $fp = fopen('/tmp/output.jsonl', 'wb');
        fwrite($fp, $line . "\n");
    }
    return strlen($data); // 必须返回，否则 cURL 报错 CURLE_WRITE_ERROR
}

为什么 `fopen('http://...', 'r')` 不适合大文件？

PHP 的 file_get_contents 和 fopen 封装了 stream wrapper，但默认不支持 chunked 编码下的流式控制，且无法设置超时、重试、Header 等关键参数。遇到 302 重定向或服务端分块传输（Transfer-Encoding: chunked）时行为不可控。