nlp_test:词和句子边界标记化的实现。 这是作为自然语言处理中的编程练习完成的

nlp_test 词和句子边界标记化的实现。 这是作为自然语言处理中的编程练习完成的。 虽然句子边界检测在大多数情况下被认为是 NLP 文献中已解决的问题，但它仍然存在一些艰巨的挑战。 它本质上归结为检测句点是否标记句子边界（有时仅空格）标记句子边界。 所有句号都不会用英语标记句子边界，因为句号有多种拼写用法（例如缩写、首字母缩写、小数点、省略号等）。大多数高级算法执行单词和标点符号的第一遍标记化，然后通过使用注释句子边界一些预训练二元分类器之王。 分类器尝试学习用于做出此决定的正字法证据。 我首先对句子标记化方法进行了一些研究。 我遇到了以下论文： 阅读，乔纳森等人。 “句子边界检测：一个长期解决的问题？” 冷却（海报）。 2012. 这篇论文对句子边界检测提供了一个很好的客观调查，包括有监督和无监督的。 由于使用不同的数据集，它试图解决在比较不同论文之间的性能时遇到的一些问题。