sengiri:日语文本的另一个句子级标记器

仙吉里 日语文本的另一个句子级标记器 依赖 驾驶室 表情符号 安装 $ pip install sengiri 用法 import sengiri print ( sengiri . tokenize ( 'うーん:thinking_face::thinking_face::thinking_face:どうしよう' )) #=>['うーん:thinking_face::thinking_face::thinking_face:', 'どうしよう'] print ( sengiri . tokenize ( 'モー娘。のコンサートに行った。' )) #=>['モー娘。のコンサートに行った。'] print ( sengiri . tokenize ( 'ありがとう＾＾ 助かります。' )) #=>['ありがとう＾＾', '助かります。'] print ( sengiri . tokenize ( '顔文字テスト(*´ω｀*)うまくいくかな？' )) #=>['顔文字テスト(*´ω｀*)うまくいくかな？'] # I recommend using the