带有 Python 绑定的 Rust 中的简单 NLP

虚拟文本Rust 中的 NLP 与 Python 绑定该软件包旨在提供一个高性能工具包，用于为机器学习应用程序摄取文本数据。特征标记化：Regexp 标记器、Unicode 分段 + 语言特定规则Stemming：Snowball（在 Python 中比 NLTK 快 15-20 倍）标记计数：将标记计数转换为稀疏矩阵以用于机器学习库。类似于 scikit-learn 中的CountVectorizer和HashingVectorizer ，但功能不那么广泛。Levenshtein 编辑距离；Sørensen-Dice、Jaro、Jaro Winkler 字符串的相似性用法在 Python 中的使用vtext 需要 Python 3.6+ 并且可以安装，pip install vtext下面是一个简单的标记化示例，>>>fromvtext .tokenizeimportVTextTokenizer>>>VTextTokenizer ("en" ).tokenize ("Flights can't depart after 2:00 pm." ) ["Flights" ,"ca" ,"n