易语言实现大文本数据去重复并且打乱顺序软件

目前本软件10M文本2秒可处理完毕，特大文本还没有测试，程序使用了E2EE支持库。之前有客户需要定制这个软件，我想着用最快的速度处理1G的文本(目前本软件10M文本2秒可处理完毕，特大文本还没有测试)，。@121132310。