PyPI 官网下载 | tokenizers-0.10.1rc1.tar.gz
版权申诉
81 浏览量
2022-01-17
00:28:26
上传
评论
收藏 206KB GZ 举报
PyPI 官网下载 | tokenizers-0.10.1rc1.tar.gz （131个子文件） 
setup.cfg 38B visualizer-styles.css 5KB MANIFEST.in 188B Makefile 2KB CHANGELOG.md 8KB README.md 5KB README.md 4KB not-zip-safe 1B PKG-INFO 7KB PKG-INFO 7KB visualizer.py 14KB base_tokenizer.py 14KB bert_wordpiece.py 5KB char_level_bpe.py 5KB sentencepiece_unigram.py 4KB byte_level_bpe.py 4KB sentencepiece_bpe.py 4KB __init__.py 3KB setup.py 2KB __init__.py 807B __init__.py 557B __init__.py 310B __init__.py 276B __init__.py 248B __init__.py 178B __init__.py 176B __init__.py 55B __init__.pyi 36KB __init__.pyi 22KB __init__.pyi 18KB __init__.pyi 14KB __init__.pyi 10KB __init__.pyi 5KB __init__.pyi 3KB scripts.rs 80KB normalizer.rs 67KB tokenizer.rs 48KB mod.rs 35KB template.rs 31KB trainers.rs 29KB models.rs 28KB trainer.rs 26KB encoding.rs 26KB added_vocabulary.rs 26KB pre_tokenizers.rs 25KB model.rs 25KB normalizers.rs 23KB trainer.rs 23KB lattice.rs 22KB model.rs 20KB normalization.rs 17KB encoding.rs 16KB processors.rs 16KB documentation.rs 16KB byte_level.rs 15KB decoders.rs 12KB pretokenization.rs 11KB pre_tokenizer.rs 10KB word.rs 10KB truncation.rs 10KB mod.rs 9KB roberta.rs 9KB pattern.rs 7KB serialization.rs 7KB split.rs 7KB bert.rs 7KB mod.rs 7KB parallelism.rs 6KB mod.rs 6KB serialization.rs 6KB trainer.rs 6KB strip.rs 5KB lib.rs 5KB pre_tokenizer.rs 5KB offsets.rs 5KB trainer.rs 5KB lib.rs 5KB serialization.rs 5KB serialization.rs 4KB bert.rs 4KB metaspace.rs 4KB iterators.rs 4KB bert_benchmark.rs 4KB padding.rs 4KB added_tokens.rs 4KB replace.rs 4KB bpe_benchmark.rs 4KB serialization.rs 3KB serialization.rs 3KB mod.rs 3KB unigram.rs 3KB mod.rs 3KB cache.rs 3KB digits.rs 3KB whitespace.rs 3KB cli.rs 3KB mod.rs 3KB iter.rs 3KB mod.rs 3KB mod.rs 3KB共 131 条
- 1
- 2
资源评论
