# keybert_transformers_backend
keybert_transformers_backend
由于默认只支持SentenceTransformer模型导入,无法直接使用transformers作为后端,还好官方支持自定义方案导入。这里提供keybert引入huggingface transformers作为后端,可以方便处理中文
https://github.com/napoler/keybert_transformers_backend
```python
"""
示例
https://www.kaggle.com/terrychanorg/keybert-extract-keywords-notebookcb54da42f2
"""
from keybert import KeyBERT
import jieba
from tkitKeyBertBackend.TransformersBackend import TransformersBackend
from transformers import BertTokenizer, BertModel
doc = """
1.没有提供分词功能,英文是空格分词,中文输入需要分完词输入。
2.选择候选词:默认使用CountVectorizer进行候选词选择。
3. model:默认方式,候选词向量和句向量的距离排序。
mmr:最大 边际距离 方法,保证关键词之间的多样性。考虑词之间的相似性。
max_sum:候选词之间相似和最小的组合。
"""
seg_list = jieba.cut(doc, cut_all=True)
doc = " ".join(seg_list)
# kw_model = KeyBERT()
# keywords = kw_model.extract_keywords(doc)
tokenizer = BertTokenizer.from_pretrained('uer/chinese_roberta_L-2_H-128')
model = BertModel.from_pretrained("uer/chinese_roberta_L-2_H-128")
custom_embedder = TransformersBackend(embedding_model=model,tokenizer=tokenizer)
# Pass custom backend to keybert
kw_model = KeyBERT(model=custom_embedder)
print(kw_model.extract_keywords(doc, keyphrase_ngram_range=(1, 1), stop_words=None))
```
[('功能', 0.9146), ('提供', 0.8984), ('需要', 0.86), ('使用', 0.8554), ('没有', 0.8519)]
https://github.com/MaartenGr/KeyBERT
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
共12个文件
txt:4个
py:3个
pkg-info:2个
资源分类:Python库 所属语言:Python 资源全名:tkitKeyBertBackend-0.0.1.tar.gz 资源来源:官方 安装方法:https://lanzao.blog.csdn.net/article/details/101784059
资源推荐
资源详情
资源评论
收起资源包目录
tkitKeyBertBackend-0.0.1.tar.gz (12个子文件)
tkitKeyBertBackend-0.0.1
PKG-INFO 461B
LICENSE 34KB
setup.cfg 38B
tkitKeyBertBackend.egg-info
PKG-INFO 461B
requires.txt 36B
SOURCES.txt 308B
top_level.txt 19B
dependency_links.txt 1B
setup.py 568B
README.md 2KB
tkitKeyBertBackend
TransformersBackend.py 3KB
__init__.py 0B
共 12 条
- 1
资源评论
挣扎的蓝藻
- 粉丝: 13w+
- 资源: 15万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功