WordTokenizers.jl:高性能分词器，用于自然语言处理和其他相关任务

WordTokenizers 一些用于自然语言处理的基本标记器。 安装： 按照标准的： pkg> add WordTokenizers 用法 使用此包的通常方法是调用tokenize(str)将字符串拆分为单词，或者split_sentences(str)将字符串拆分为句子。 甚至可以tokenize.(split_sentences(str))来完成这两个任务。 tokenize和split_sentences是可配置的函数，它们调用下面定义的标记器或句子分割器之一。 它们具有明智的默认设置，但是您可以覆盖通过调用set_tokenizer(func)或set_sentence_splitter(func)从下面的列表（或其他位置）传入首选函数func使用的方法，以这种方式配置它们将抛出方法被覆盖的警告，并触发使用它们的所有方法的重新编译。 这意味着，如果使用的软件包使用Wor