Python脚本实现文本快速去重

有的时候咱们有一个文本，然后你猜怎么？这一个文本里面一大堆重复的东西，所以我写了个文本一键去重python脚本，不用再搁这手动的一个一个去重了，麻烦死，费劲死，哎，弄的还挺慢。

这是前两天我在搞那个扫描字典的时候发现很多字典都是重复的，所以去重的时候我写的这个脚本，经过测试，可以正常去重，大家也可以试一下这个脚本。

脚本如下

def remove_duplicates_and_overwrite_preserve_order(file_path):
    seen_lines = []
    with open(file_path, 'r') as f:
        for line in f:
            if line not in seen_lines:
                seen_lines.append(line)

    # 写回文件，覆盖原有内容，同时保持原始顺序
    with open(file_path, 'w') as f:
        f.writelines(seen_lines)

# 使用函数
remove_duplicates_and_overwrite_preserve_order(r'E:/Users/13091/Desktop/工具箱/12月26日御剑1.5/域名.txt')

演示图

使用方法，把脚本粘贴上去，最下面的路径给他修改一下，修改成你要去重的那个文本路径，我这个脚本是单文本去重，只能去重一个文本，我也弄了一个遍历所有文件夹，下面的所有文本去重脚本，但是不知道为啥测试的时候不管用，等我明天测试好了也发上。