正文

Python合并文件技巧：轻松掌握高效合并大文件与多个小文件方法

/0 浏览量
0714

在处理文件时，有时候我们需要将多个文件合并成一个文件，或者将多个小文件合并成一个大文件。Python作为一种功能强大的编程语言，提供了多种方法来实现这一需求。本文将详细介绍几种在Python中合并文件的方法，包括合并大文件和多个小文件。

合并大文件

使用open()函数和write()方法

最简单的方法是使用open()函数和write()方法逐行读取源文件，并将其内容写入目标文件。这种方法适用于小文件，但对于大文件来说效率较低。

def merge_large_files(file_list, output_file):
    with open(output_file, 'w') as f_out:
        for file in file_list:
            with open(file, 'r') as f_in:
                for line in f_in:
                    f_out.write(line)

使用subprocess模块

对于大文件，我们可以使用subprocess模块来调用系统命令，使用cat命令合并文件。这种方法在Unix-like系统中非常有效。

import subprocess

def merge_large_files_with_cat(file_list, output_file):
    subprocess.run(['cat'] + file_list + ['>', output_file])

合并多个小文件

使用os模块

我们可以使用os模块遍历指定目录下的所有文件，并将它们按顺序写入目标文件。

import os

def merge_small_files(directory, output_file):
    with open(output_file, 'w') as f_out:
        for file in os.listdir(directory):
            if file.endswith('.txt'):
                with open(os.path.join(directory, file), 'r') as f_in:
                    for line in f_in:
                        f_out.write(line)

使用glob模块

glob模块可以帮助我们更方便地获取指定目录下的文件列表。

import glob

def merge_small_files_with_glob(directory, output_file):
    with open(output_file, 'w') as f_out:
        for file in glob.glob(os.path.join(directory, '*.txt')):
            with open(file, 'r') as f_in:
                for line in f_in:
                    f_out.write(line)

总结

以上介绍了Python中合并文件的方法，包括合并大文件和多个小文件。在实际应用中，我们可以根据文件的大小和数量选择合适的方法。希望这些技巧能帮助你在处理文件时更加得心应手。

-- 展开阅读全文 --