没有合适的资源?快使用搜索试试~ 我知道了~
stocator:Stocator是Apache Spark对象存储的高性能连接器,通过利用对象存储语义来实现性能
共115个文件
java:94个
xml:5个
md:3个
需积分: 11 0 下载量 48 浏览量
2021-05-13
13:51:06
上传
评论
收藏 507KB ZIP 举报
温馨提示
Stocator-Apache Spark的存储连接器 Apache Spark可以使用多个数据源,其中包括各种对象存储,例如IBM Cloud Object Storage,OpenStack Swift等。 为了访问对象存储,Apache Spark使用Hadoop模块,这些模块包含各种对象存储的连接器。 Apache Spark仅需要少量对象存储功能。 具体来说,Apache Spark需要对象列表,对象创建,读取对象以及获取数据分区。 但是,Hadoop连接器必须符合Hadoop生态系统。 这意味着它们支持更多操作,例如目录上的Shell操作,包括移动,复制,重命名等(这些不是本机对象存储操作)。 此外,Hadoop Map Reduce Client被设计用于文件系统,而不是对象存储。 它用于每次写操作的临时文件和文件夹都被重命名,复制和删除。 这导致针对对象存储的数十个无用的
资源推荐
资源详情
资源评论
收起资源包目录
stocator:Stocator是Apache Spark对象存储的高性能连接器,通过利用对象存储语义来实现性能 (115个子文件)
small.csv 934KB
very-small.csv 864B
.gitattributes 337B
.gitignore 196B
COSAPIClient.java 73KB
TestSuite.java 40KB
SwiftAPIClient.java 36KB
ObjectStoreFileSystem.java 23KB
COSBlockOutputStream.java 22KB
COSInputStream.java 20KB
COSDataBlocks.java 17KB
Utils.java 16KB
StocatorPath.java 16KB
Runner.java 15KB
StocatorPathTest.java 13KB
SwiftInputStream.java 12KB
SwiftAPIClientTest.java 12KB
FileSystemTestUtils.java 11KB
COSUtils.java 10KB
ObjectStoreFileSystemTest.java 10KB
SwiftConnectionManager.java 9KB
COSConstants.java 8KB
SwiftAPIDirect.java 8KB
SwiftOutputStream.java 8KB
TestCOSGlobberBracketStocator.java 7KB
TestSwiftFileSystemBasicOps.java 7KB
ObjectStoreGlobber.java 6KB
NameGenerator.java 6KB
CommonUtilsTest.java 6KB
IStoreClient.java 6KB
TestSwiftFileSystemLsOperations.java 6KB
COSOutputStream.java 6KB
BlockingThreadPoolExecutorService.java 6KB
SemaphoredDelegatingExecutor.java 6KB
TestListingDeepHivePartitionLevels.java 6KB
FlightsSchema.java 6KB
ConfigurationHandler.java 5KB
TestCOSGlobberBracket.java 5KB
TestSwiftFileSystemExtendedContract.java 5KB
TestCOSFaultToleranceCleanupMode.java 5KB
CollisionTest.java 5KB
ObjectStoreVisitor.java 5KB
TestCOSGlobber.java 5KB
ObjectStoreFlatGlobFilter.java 5KB
StreamingSwiftTest.java 5KB
Constants.java 5KB
ConfigurationHandler.java 5KB
COSBaseTest.java 5KB
DummyAccountFactory.java 5KB
GlobPattern.java 5KB
ConnectionConfiguration.java 4KB
SwiftNoStreamingOutputStream.java 4KB
TestCOSObjectStoreFS.java 4KB
SwiftBaseTest.java 4KB
StocatorPathQualifyTest.java 4KB
JossAccount.java 4KB
SwiftFileSystemBaseTest.java 4KB
COSFileSystemBaseTest.java 4KB
TestListingDeepHivePartition.java 4KB
TestEmptyObject.java 4KB
TestSwiftFileSystemDelete.java 3KB
SwiftConstants.java 3KB
TestSwiftFileSystemRead.java 3KB
SwiftObjectCache.java 3KB
DummyClientImpl.java 3KB
COSAPIClientTest.java 3KB
COSObjectCreate.java 3KB
TestEmptyObjectFlatListing.java 3KB
TestListing.java 3KB
BaseInputStream.java 3KB
TestCOSGlobberSpecialChars.java 2KB
SwiftInputStreamWrapper.java 2KB
COSLocalDirAllocator.java 2KB
TestSwiftFileSystemBlocksize.java 2KB
ConfigHandler.java 2KB
MemoryCache.java 2KB
COSFileStatus.java 2KB
COSInputPolicy.java 2KB
OnetimeInitialization.java 2KB
COSServiceIOException.java 2KB
COSIOException.java 2KB
DummyAccess.java 2KB
SwiftPublicContainerTest.java 2KB
COSClientIOException.java 2KB
DummyAccessProvider.java 2KB
ConfigurationParseException.java 1KB
ConnectionClosedException.java 1KB
AbortedException.java 1KB
ClientException.java 1KB
Square.java 1KB
Cube.java 1KB
TestConstants.java 1KB
InvalidContainerNameException.java 1KB
ExtendedFileSystem.java 1KB
Constants.java 1KB
SwiftCachedObject.java 1KB
Tuple.java 1KB
Releasable.java 956B
LICENSE 11KB
README.md 25KB
共 115 条
- 1
- 2
资源评论
Airva128
- 粉丝: 22
- 资源: 4670
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功