swh-indexer
============
Tools to compute multiple indexes on SWH's raw contents:
- content:
- mimetype
- ctags
- language
- fossology-license
- metadata
- revision:
- metadata
An indexer is in charge of:
- looking up objects
- extracting information from those objects
- store those information in the swh-indexer db
There are multiple indexers working on different object types:
- content indexer: works with content sha1 hashes
- revision indexer: works with revision sha1 hashes
- origin indexer: works with origin identifiers
Indexation procedure:
- receive batch of ids
- retrieve the associated data depending on object type
- compute for that object some index
- store the result to swh's storage
Current content indexers:
- mimetype (queue swh_indexer_content_mimetype): detect the encoding
and mimetype
- language (queue swh_indexer_content_language): detect the
programming language
- ctags (queue swh_indexer_content_ctags): compute tags information
- fossology-license (queue swh_indexer_fossology_license): compute the
license
- metadata: translate file into translated_metadata dict
Current revision indexers:
- metadata: detects files containing metadata and retrieves translated_metadata
in content_metadata table in storage or run content indexer to translate
files.
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
共134个文件
py:57个
sql:24个
txt:8个
资源分类:Python库 所属语言:Python 资源全名:swh.indexer-0.2.2.tar.gz 资源来源:官方 安装方法:https://lanzao.blog.csdn.net/article/details/101784059
资源推荐
资源详情
资源评论
收起资源包目录
Python库 | swh.indexer-0.2.2.tar.gz (134个子文件)
AUTHORS 117B
setup.cfg 93B
CITATION 490B
CONTRIBUTORS 39B
crosswalk.csv 15KB
db-upgrade 2KB
dot_add_content 393B
.gitignore 165B
.gitignore 28B
.gitignore 24B
.gitignore 8B
.gitignore 8B
MANIFEST.in 233B
tox.ini 664B
mypy.ini 498B
pytest.ini 70B
revision_metadata.translated_metadata.json 1KB
revision_metadata.translated_metadata.json 1KB
codemeta.json 1KB
indexer_configuration.tool_configuration.schema.json 269B
indexer_configuration.tool_configuration.schema.json 269B
codemeta.jsonld 4KB
LICENSE 34KB
LICENSE 10KB
Makefile.local 155B
Makefile.local 36B
Makefile 283B
Makefile 283B
Makefile 194B
Makefile 163B
Makefile 64B
CODE_OF_CONDUCT.md 3KB
README.md 1KB
README.md 1KB
PKG-INFO 3KB
PKG-INFO 3KB
.placeholder 0B
.placeholder 0B
test_storage.py 61KB
test_metadata.py 41KB
utils.py 24KB
indexer.py 21KB
__init__.py 20KB
interface.py 19KB
db.py 18KB
in_memory.py 17KB
metadata.py 14KB
test_cli.py 11KB
cli.py 8KB
test_codemeta.py 8KB
rehash.py 7KB
codemeta.py 7KB
test_origin_metadata.py 7KB
test_origin_head.py 6KB
fossology_license.py 6KB
base.py 6KB
npm.py 6KB
maven.py 5KB
origin_head.py 5KB
test_journal_client.py 5KB
generate_data_test.py 5KB
test_ctags.py 5KB
mimetype.py 5KB
test_fossology_license.py 5KB
ctags.py 4KB
test_converters.py 4KB
ruby.py 4KB
converters.py 4KB
test_mimetype.py 4KB
test_tasks.py 3KB
test_server.py 3KB
server.py 3KB
conftest.py 3KB
python.py 2KB
conftest.py 2KB
setup.py 2KB
metrics.py 2KB
test_metrics.py 2KB
journal_client.py 2KB
tasks.py 2KB
tasks.py 1KB
test_api_client.py 1KB
conftest.py 1015B
__init__.py 974B
codemeta.py 909B
metadata_detector.py 736B
client.py 693B
exc.py 598B
test_in_memory.py 524B
__init__.py 350B
__init__.py 349B
__init__.py 251B
__init__.py 127B
conf.py 43B
__init__.py 0B
metadata-workflow.rst 7KB
dev-info.rst 5KB
index.rst 414B
40-swh-func.sql 16KB
131.sql 7KB
共 134 条
- 1
- 2
资源评论
挣扎的蓝藻
- 粉丝: 13w+
- 资源: 15万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- rdf0412-kcu116-pcie-c-2019-1.zip(XILINX KCU116 源码)
- 基于C#语言的winform界面火车票订票系统(源码+实验报告)
- 【华为OD部分真题及讲解】华为OD部分真题及讲解
- 基于Python+Django的京东商品比价系统源码+全部资料(毕业设计).zip
- G460 G560 Z460 Z560的最新BIOS 2.18版(无白名单)
- MetaJUI v0.4
- 基于Python+Django的京东商品比价系统源码+全部资料(毕业设计).zip
- linux常用命令大全
- 立体相机标定-使用OpenCV+Cpp对立体相机进行标定-calibration-附项目源码+流程教程-优质项目实战.zip
- 基于SpringBoot+Mysql开发的酒店管理系统
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功