没有合适的资源?快使用搜索试试~ 我知道了~
mr_python:用于 Crossbow 预处理阶段的 python MR 脚本
共6个文件
yaml:3个
py:2个
md:1个
需积分: 8 0 下载量 24 浏览量
2021-07-10
02:40:34
上传
评论
收藏 7KB ZIP 举报
温馨提示
介绍 下面的这些脚本是用Python编写的,用于替换Crossbow的预处理阶段的 Perl 脚本。 提供的Python脚本采用 MR 风格,这意味着与 Crossbow 的并行性较差的Perl脚本相比,它们以大规模并行方式执行。 大规模并行的代价是FASTQ数据的要求是: BZIP2存档,因为bzip2提供了可拆分的存档格式,但任何其他格式,如可拆分的LZO也可以使用。 Hadoop通过类似的sshfs访问FASTQ数据。 mapper.py 读取每个 Hadoop 数据节点上的FASTQ块,定位标题行,并将 4 行格式转换为单行格式,由FASTQ块中的第 1、第 2 和第 4 行组成。 转换后的FASTQ标头是一个HASH1 'ed 字母数字,对于每个读取对 + 前面的“@”符号都是HASH1的。 最后添加".1"或".2" ,以便能够在以下代码中识别此读取。 reducer.p
资源推荐
资源详情
资源评论
收起资源包目录
mr_python-master.zip (6个子文件)
mr_python-master
settings.yaml 342B
README.md 4KB
reducer.py 672B
crossbowPairedEnds.yaml 7KB
mapper.py 964B
crossbowSingleEnds.yaml 5KB
共 6 条
- 1
资源评论
六演
- 粉丝: 17
- 资源: 4794
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功