多数据源数据同步,数据接口

### 1、背景 此模块为昆明项目 轨道数据接入flume 的拦截器配置。 轨道集团通过文件的方式给到我们，存储在我们提供的 FTP 服务器上，然后我们通过 Flume 采集FTP 的文件数据推送到大数据处理平台完成后续轨道业务的计算。 目前采集方式通过Flume 的方式进行处理，此项目为每块数据的flume 拦截器实现，在原来的基础上补充一些额外信息。 ### 2、部署机器 采集部署机器：`172.16.74.137` 配置文件目录：`/usr/soft/flume/apache-flume-1.9.0-bin/conf` 相关配置文件备份文件在本项目doc 文件夹下。 注意：线上的flume 安装了datahub 的插件，数据采集后直接写入datahub ，此插件需要单独按照，非官方自带，安装文档请参考阿里云官方文档：https://help.aliyun.com/document_detail/158838.html ### 3、启动命令 nohup /usr/soft/flume/apache-flume-1.9.0-bin/bin/flume-ng agent -n a1 -c conf -f /usr/soft/flume/apache-flume-1.9.0-bin/conf/subway_datahub_test2.conf -Dflume.root.logger=INFO,console >/var/log/flume/log.txt 2>&1 & nohup /usr/soft/flume/apache-flume-1.9.0-bin/bin/flume-ng agent -n a1 -c conf -f /usr/soft/flume/apache-flume-1.9.0-bin/conf/fluxnew_datahub_prod.conf -Dflume.root.logger=INFO,console >/var/log/flume/gd_fluxnew_log.txt 2>&1 & nohup /usr/soft/flume/apache-flume-1.9.0-bin/bin/flume-ng agent -n a1 -c conf -f /usr/soft/flume/apache-flume-1.9.0-bin/conf/station_change_datahub_prod.conf -Dflume.root.logger=INFO,console >/var/log/flume/gd_station_change_log.txt 2>&1 & 注意： 轨道的数据采集采用了TAILDIR 类型额sources，支持断点续传，记录偏移量的文件在每个配置文件中，正常情况下，重启不会出现重复处理数据的问题。 为了保证数据不重复，建议在每次重启时，可以对已采集的文件进行备份，采集目录下只留下未采集的文件，以防万一，如果出现重复采集，需要通知下游数据处理方对重复数据进行处理。 ### 4、查看进程 ps -ef |grep flume root 6035 1 0 11:33 ? 00:00:14 /usr/java/jdk1.8.0_181/bin/java -Xms100m -Xmx200m -Dflume.root.logger=INFO,console -cp conf:/usr/soft/flume/apache-flume-1.9.0-bin/lib/*:/usr/soft/flume/apache-flume-1.9.0-bin/plugins.d/aliyun-flume-datahub-sink/lib/*:/usr/soft/flume/apache-flume-1.9.0-bin/plugins.d/aliyun-flume-datahub-sink/libext/*:/lib/* -Djava.library.path= org.apache.flume.node.Application -n a1 -f /usr/soft/flume/apache-flume-1.9.0-bin/conf/fluxnew_datahub_prod.conf root 7711 27674 0 14:18 pts/0 00:00:00 grep --color=auto flume root 17399 1 0 7月19 ? 00:44:27 /usr/java/jdk1.8.0_181/bin/java -Xms100m -Xmx200m -Dflume.root.logger=INFO,console -cp conf:/usr/soft/flume/apache-flume-1.9.0-bin/lib/*:/usr/soft/flume/apache-flume-1.9.0-bin/plugins.d/aliyun-flume-datahub-sink/lib/*:/usr/soft/flume/apache-flume-1.9.0-bin/plugins.d/aliyun-flume-datahub-sink/libext/*:/lib/* -Djava.library.path= org.apache.flume.node.Application -n a1 -f /usr/soft/flume/apache-flume-1.9.0-bin/conf/subway_datahub_test2.conf ### 5、停止进程 kill -15 17399 ### 6、查看采集日志 tail -f /var/log/flume/gd_fluxnew_log.txt.txt 2021-07-27 11:35:29,701 (PollableSourceRunner-TaildirSource-r1) [INFO - org.apache.flume.source.taildir.TaildirSource.closeTailFiles(TaildirSource.java:307)] Closed file: /data/ftp/track_ftp01/ftpsend/4_afc_fluxnew_20210712.txt, inode: 19432797, pos: 12444 2021-07-27 11:35:29,701 (PollableSourceRunner-TaildirSource-r1) [INFO - org.apache.flume.source.taildir.TaildirSource.closeTailFiles(TaildirSource.java:307)] Closed file: /data/ftp/track_ftp01/ftpsend/6_afc_fluxnew_20210711.txt, inode: 19433693, pos: 3428 2021-07-27 11:35:29,701 (PollableSourceRunner-TaildirSource-r1) [INFO - org.apache.flume.source.taildir.TaildirSource.closeTailFiles(TaildirSource.java:307)] Closed file: /data/ftp/track_ftp01/ftpsend/1_afc_fluxnew_20210722.txt, inode: 19435870, pos: 15893 2021-07-27 11:35:29,701 (PollableSourceRunner-TaildirSource-r1) [INFO - org.apache.flume.source.taildir.TaildirSource.closeTailFiles(TaildirSource.java:307)] Closed file: /data/ftp/track_ftp01/ftpsend/6_afc_fluxnew_20210708.txt, inode: 19433694, pos: 3437 2021-07-27 11:35:29,701 (PollableSourceRunner-TaildirSource-r1) [INFO - org.apache.flume.source.taildir.TaildirSource.closeTailFiles(TaildirSource.java:307)] Closed file: /data/ftp/track_ftp01/ftpsend/3_afc_fluxnew_20210716.txt, inode: 19432799, pos: 8593 2021-07-27 11:35:29,701 (PollableSourceRunner-TaildirSource-r1) [INFO - org.apache.flume.source.taildir.TaildirSource.closeTailFiles(TaildirSource.java:307)] Closed file: /data/ftp/track_ftp01/ftpsend/6_afc_fluxnew_20210722.txt, inode: 19435871, pos: 3455 2021-07-27 11:35:29,701 (PollableSourceRunner-TaildirSource-r1) [INFO - org.apache.flume.source.taildir.TaildirSource.closeTailFiles(TaildirSource.java:307)] Closed file: /data/ftp/track_ftp01/ftpsend/6_afc_fluxnew_20210709.txt, inode: 19434832, pos: 3443 ### 7、关于轨道ftp 服务器配置 ftp 部署位置 IP ：172.16.74.137 ftp 跟路径： /etc/vsftpd ftp 用户配置文件：/etc/vsftpd/virtual_user ftp 用户权限目录：/etc/vsftpd/virtual_user_conf ftp 查看服务状态：systemctl status vsftpd.service [root@iZul501jf6x6a9yljrmr7bZ vsftpd]# systemctl status vsftpd.service ● vsftpd.service - Vsftpd ftp daemon Loaded: loaded (/usr/lib/systemd/system/vsftpd.service; disabled; vendor preset: disabled) Active: active (running) since 二 2021-05-25 16:18:32 CST; 5 months 14 days ago Main PID: 22626 (vsftpd) CGroup: /system.slice/vsftpd.service ├─ 2387 /usr/sbin/vsftpd /etc/vsftpd/vsftpd.conf ├─ 2389 /usr/sbin/vsftpd /etc/vsftpd/vsftpd.conf └─22626 /usr/sbin/vsftpd /etc/vsftpd/vsftpd.conf 11月 08 10:25:00 iZul501jf6x6a9yljrmr7bZ vsftpd[28068]: pam_userdb(vsftpd.pam:auth): user 'track_ftp01' grante...ess 11月 08 10:30:00 iZul501jf6x6a9yljrmr7bZ vsftpd[8654]: pam_userdb(vsftpd.pam:auth): user 'tom' granted access 11月 08 10:30:00 iZul501jf6x6a9yljrmr7bZ vsftpd[8688]: pam_userdb(vsftpd.pam:auth): user 'track_ftp01' grante...cess 11月 08 10:31:08 iZul501jf6x6a9yljrmr7bZ vsftpd[11704]: pam_userdb(vsftpd.pam:auth): user `tom' denied access ...rd) 11月 08 10:31:17 iZul501jf6x6a9yljrmr7bZ vsftpd[12129]: pam_userdb(vsftpd.pam:auth): user `tom' denied access ...rd) 11月 08 10:31:23 iZul501jf6x6a9yljrmr7bZ vsftpd[12401]: pam_userdb(vsftpd.pam:auth): user `tom' denied access ...rd) 11月 08 10:31:33 iZul501jf6x6a9yljrmr7bZ vsftpd[12883]: pam_userdb(vsftpd.pam:auth): user 'jerry' granted access 11月 08 10:31:58 iZul501jf6x6a9yljrmr7bZ vsftpd[13988]: pam_userdb(vsftpd.pam:auth): user 'tom' granted access 11月 08 10:35:01 iZul501jf6x6a9yljrmr7bZ vsftpd[22018]: pam_userdb(vsftpd.pam:auth): user 'track_ftp01' grante...ess 11月 08 10:40:01 iZul501jf6x6a9yljrmr7bZ vsftpd[2387]: pam_userdb(vsftpd.pam:auth): user 'track_ftp01' grante...cess Hint: Some lines were ellipsized, use -l to show in full. ftp 重启命令：systemctl restart vsftpd 注意： 1、用户文件每个账户和密码单独一行。 2、每个用户的权限都是单独写的一个配置文件，在用户权限目录下面，需要新增用户，除了在用户配置文件里面新加账户和密码以外，还需要在权限目录里面新加一个用户的配置文件，配置文件名称跟用户名一致。 3、非特殊情况，不要随意重启。