distributed-nxcore-processing:NXCore 数据处理

分布式 nxcore 处理 NXCore 数据处理 以下项目用于解压由 Nanex, LLC 创建的 NxCore 历史磁带文件（高度压缩的金融市场数据 ）。 C/C++/C# API 需要使用 Microsoft Windows 动态链接库 (NxCore.dll)，该库在购买时随历史磁带文件一起提供。 ETL 目录包含使用 Hadoop 的分布式磁带处理和消息提取。 通过 bash 脚本的 hive 流使用 MapReduce。 NxCore 磁带文件上传到 HDFS。 创建一个包含每个磁带的日期和文件名的表 bash 脚本的 hive 流用于将每个文件分发给映射器 该脚本调用 WINE 来执行磁带处理器 windows 可执行文件。 这使用 Nanex, LLC 专有的 .DLL 来解压缩二进制磁带文件 WINE 使用 HDFS NFS 网关（/mnt/nfs_hdfs ->