python 去除txt文本内容重复值

将需要去除重复值的txt文本文档,命名为 text.txt 
运行py文件后,会生成 "去除重复值后的文本.txt"
def remove_duplicates():
    f_read=open(r'./text.txt','r',encoding='utf-8')     #将需要去除重复值的txt文本重命名text.txt
    f_write=open(r'./去除重复值后的文本.txt','w',encoding='utf-8')  #去除重复值之后,生成新的txt文本 --“去除重复值后的文本.txt”
    data=set()
    for a in [a.strip('\n') for a in list(f_read)]:
        if a not in data:
            f_write.write(a+'\n')
            data.add(a)
    f_read.close()
    f_write.close()
remove_duplicates()
print('完成')

例子:
在这里插入图片描述
执行完成后,重复值已删除
在这里插入图片描述

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐