# Fluentd 读写 OSS
### 一、前言
> 最近在数据开发中，使用到了 Fluentd，具体情况是：移动端上传到 OSS 的日志文件，每个文件大概几 k，但有上千万之多，导致 MaxCompute 在运行的时候报内存栈溢出的错误，因此我们使用了 Fluentd，主要做的是小文件合并操作（MaxCompute 自带的文件合并无法处理）。
>
> 合并策略：OSS - Fluentd - OSS，先从 OSS 获取数据（小文件），Fluentd 进行合并之后，再重新上传至 OSS，MaxCompute 把 Fluentd 合并之后的文件当作数据源，问题解决。
### 二、Fluentd 简介
[Fluentd](https://www.fluentd.org/architecture) 是一个开源的数据收集器，它允许统一进行数据的收集和使用，以便更好地使用以及理解数据。
Fluentd 架构图（来自 [Fluentd 官网](https://www.fluentd.org/architecture)）：
### 三、Fluentd 集成
Fluentd 集成很简单，下载其商业化应用 td-agent，下载地址：https://docs.fluentd.org/installation。
接着安装 Fluentd 的 [OSS 插件](https://github.com/aliyun/fluent-plugin-oss):
```
/usr/sbin/td-agent-gem install fluent-plugin-aliyun-oss
```
### 四、Fluentd 配置
#### 1. 从 OSS 读数据
```
