word_splitters:Python示例

分词器 一些粗略的Python示例代码，用于将文本分成各种类型的单词。 word_splitter.py ：沿空格将文本文件拆分为“单词”。 extract_and_pad_words.py ：将文本文件拆分为字母数字单词，并添加空格填充。 find_words_and_spaces.py ：将文本文件拆分为字母词，但保留相邻的空格，因为它出现在原始空格中。