没有合适的资源?快使用搜索试试~ 我知道了~
PigExtend:Apache Pig+MapReduce给LuceneSolrElasticSearch构建索引
共20个文件
java:12个
txt:3个
xml:2个
需积分: 10 0 下载量 32 浏览量
2021-05-10
14:35:30
上传
评论
收藏 29KB ZIP 举报
温馨提示
PigExtend Apache Pig+MapReduce给Lucene/Solr/ElasticSearch构建索引 ####项目简介 主要是利用了Pig框架简化了自己写Hadoop MapReduce程序来构建大规模并行索引的问题,里面封装了主流的全文检索框架,如Lucene,Solr和ElasticSearch 并且支持SolrCloud集群和ElasticSearch集群的分布式索引构建。 这个框架里面通过Pig的UDF函数封装了Store方法,只要Pig能读的任何数据源,我们都可以通过Store函数,将结果轻而易举的存储到我们的索引里面, ####使用步骤 (1)下载源码后,根据自己的业务情况,稍作修改,然后重新build,成一个jar包 (2)上传至pig脚本同级目录 (3)在脚本注册jar包,方便在MR程序运行时,能够加载到相关的依赖 ####如何给Lucene构建索引
资源推荐
资源详情
资源评论
收起资源包目录
PigExtend-master.zip (20个子文件)
PigExtend-master
src
main
resources
synonyms.txt 46B
ext.txt 22B
log4j.properties 209B
IKAnalyzer.cfg.xml 481B
stopword.txt 6B
java
com
pig
support
solrcloud
SolrCloudStore.java 5KB
SolrCloudOutputFormat.java 5KB
solr
SolrOutputFormat.java 4KB
SolrStore.java 4KB
tools
ManagerAnalyzer.java 3KB
Business.java 635B
lucene
LuceneOutputFormat.java 4KB
LuceneStore.java 9KB
elasticsearch
EsStore.java 5KB
EsOutputFormat.java 6KB
hdfs
index
manager
HdfsIndexManager.java 5KB
test
java
com
ananlyzer
test
AnalyzerTest.java 1KB
LICENSE 1KB
pom.xml 4KB
README.md 4KB
共 20 条
- 1
资源评论
八年一轮回
- 粉丝: 44
- 资源: 4727
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功