文本去重工具

工作中常常需要处理大量的客户手机号、客户QQ号、邮箱还有一些大量的文本数据。 如果只是几下kb的数据量去重，处理起来是很容易也很快的，网上有很多小软件都可以去重。 思途高效文本去重工具最大的不同点是大量数据处理时的高效。如果数据多达几兆或者几十几百兆时，去重将是一个大难题了。 我们在自己工作中遇到要处理几十兆数据时，网上那些工作，处理一次就需要几个小时，根本无法用，思途就自己开发了这个小软件。 几十兆的数据，差不多几十秒就能处理完成。很棒！ 本着互联网人人为我，我为人人的精神，把这个软件分享给大家！希望大家工作顺利！ 注意：思途高效文本去重，是基于内存运算，处理超过百兆数据时，需要内存大些。