没有合适的资源?快使用搜索试试~ 我知道了~
semwiki:使用AWS基础设施,参考维基百科页面并在页面内容即服务上实现语义搜索引擎。 资源
共43个文件
py:20个
dockerfile:3个
in:3个
需积分: 9 0 下载量 169 浏览量
2021-04-11
05:23:38
上传
评论
收藏 54KB ZIP 举报
温馨提示
使用AWS基础设施的Wikipedia文章语义搜索服务 描述 这是正在进行的工作,应改进和自动化工作流中的许多内容。 它仍然可以正常工作,并且可以执行以下操作: src/wiki.py从Wikipedia中获取随机页面,使用元数据丰富页面并将其上传到s3存储桶。 这也可以使用python src/scripts.py upload-random-pages -n < NUMBER> lambda_indexer/定义一个lambda函数,该函数已附加以在S3存储桶中创建事件。 它将页面内容发送到嵌入服务,并引用文档及其在ElasticSearch集群中的嵌入 universal-sentence-encoder定义了被推送到ECR然后部署到ECS中的docker镜像。 它提供给定文本返回其嵌入的服务。 可以如下使用 curl -X
资源推荐
资源详情
资源评论
收起资源包目录
semwiki-master.zip (43个子文件)
semwiki-master
.gitignore 2KB
Dockerfile 183B
images
wikipedia_semantic_search.svg 42KB
requirements.txt 16KB
Makefile 10KB
pyproject.toml 298B
src
api
requirements.txt 943B
__init__.py 0B
search_server.py 1KB
requirements.in 30B
embedding.py 759B
config
__init__.py 1KB
config.ini 540B
wiki.py 2KB
infrastructure_access.py 2KB
es
es_index.py 969B
__init__.py 0B
es_search.py 1KB
es_setup.py 2KB
scripts.py 261B
.dockerignore 26B
setup.cfg 474B
infrastructure
.gitignore 239B
stacks
search_api_stack.py 3KB
es_stack.py 2KB
__init__.py 0B
s3referencing_stack.py 2KB
embedder_stack.py 2KB
app.py 952B
cdk.json 477B
universal-sentence-encoder
Dockerfile 676B
universal-sentence-encoder-multilingual_3.tar.gz 134B
README.md 6KB
lambda_indexer
requirements.txt 720B
__init__.py 0B
lambda_function.py 3KB
requirements.in 39B
tests
test_placeholder.py 58B
requirements.in 402B
.pylintrc 14KB
elasticsearch
Dockerfile 173B
docker-compose.yml 951B
.gitattributes 112B
共 43 条
- 1
资源评论
DaleDai
- 粉丝: 18
- 资源: 4724
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功