剔除文本文件中相同的记录，剔重工具

剔除文本文件中相同的记录，剔重工具；类似select distinct,将文本文件中一行作为一条记录，字段之间用“|”分隔（最后一字字段后必须要有“|”)，剔重的时候可以按某字段进行剔重或者按所有字段（文本中的一行）进行剔重