日志收集器-源码


-
产品开发背景 LogCollector是基于应用日志流的一套ETL工具和服务组件。现有的ETL工具Flume也可以完成日志的采集,传输,转换和存储,但是Flume工具仅能应用到通信质量无障碍的替代环境,在公网环境下可能因网络异常等因素导致连接较长的服务的发送器组件失败,而此时收集器组件可能并不知情,数据仍然会继续传送到通道组件,这容易导致通道组件内存占用从而引发OOM错误;导致由于通道错误导致实时收集的数据发送失败,收集器也没有记录实时检查点,这意味着发送失败的数据将丢失。发生所有这些问题的根源在于公网传递数据的在这种问题背景下,需求驱动下产生了LogCollector这种产品,LogCollector完全按照产品级标准使用JAVA语言进行开发,安装时无需再安装外置JDK支持,解压开箱即用。 产品功能特性 LogCollector是基于应用日志流的一套ETL工具和服务组件,同时适用于云域内
618KB
puree-android:Android的日志收集器-源码
2021-02-26菜泥 描述 Puree是一个日志收集器,提供以下功能: 过滤:启用此功能可在发送日志之前中断进程。 您可以将常用参数添加到日志或日志样本中。 缓冲:将日志存储到缓冲区中,然后再发送。 批处理:使用PureeBufferedOutput在单个请求中发送日志。 重试:如果发送日志失败,则在退避时间之后重试发送日志。 Puree可帮助您统一日志记录基础结构。 安装 它发布在jitpack ,您可以将Puree用作: // build.gradle buildscript { repositories { maven { url ' https://jitpack.io ' } } .. . } // app/build.gradle dependencies { implementation " com.github.cookpad:p
25KB
ansible-fluentd:提供流利的日志收集器-源码
2021-01-31角色扮演:流利 重要! 我们不再支持这个角色,这意味着我们将不接受PR和PR或新问题。 我们不会删除此存储库,但我们强烈建议您改用替代品 描述 安装和管理日志转发器和聚合器。 要求 Ansible> = 2.7(它可能在以前的版本中可用,但我们不能保证) 角色变量 所有可以覆盖的变量都存储在文件以及下表中。 名称 默认值 描述 fluentd_custom_conf [] 定制配置模板的路径。 。 fluentd_plugins [] 其他插件列表 例 剧本 如下在剧本中使用它: - hosts : all become : true roles : - cloudalchemy.fluentd 示范现场 我们提供了演示站点,以提供基于Prometheus和grafana的完整监视解决方案。 带有代码和到正在运行的实例的链接的存储库而站点托管在DigitalOcean上。 本地测试 的本地测试的作用的优选的方法是使用泊坞和(版本2.x)。 您将必须在系统上安装Docker。 请参阅“入门”以获取适合您系统的Docker软件包。 我们正在使用tox来简化对
422KB
opentelemetry-log-collection:OpenTelemetry日志收集库-源码
2021-03-09开放遥测日志收集 状态 该项目最初是由以的名称开发的。 它已为OpenTelemetry项目做出了贡献,以加快收集器的日志收集功能的开发。 注意:此存储库当前不稳定,可能会在短期内发生重大变化。 社区 Stanza是一个开源项目。 如果您想做出贡献,请查看和。 行为守则 Stanza遵循。 还有其他问题吗? 请查看我们的,或提出您的问题。 我们很乐意听取您的意见。
138KB
logdna-agent-v2:迅捷,资源高效的日志收集客户端-源码
2021-02-16LogDNA代理 LogDNA代理是一种快速,资源高效的日志收集客户端,可将日志转发到 。 该版本的代理程序用编写,以确保最佳性能,并且与LogDNA的Web应用程序结合使用时,可为分布式系统(包括集群)提供强大的日志管理工具。 目录 管理部署 该代理受Kubernetes 1.9+和Red Hat OpenShift 4.5+环境的支持。 在Kubernetes上安装 您可以在此存储库中使用清单YAML文件,也可以使用Helm软件包管理器将代理部署到Kubernetes集群中。 使用清单文件 注意:Kubernetes在此存储库中的清单YAML文件(并在本文档中引用)描述了当前提交树中LogDNA代理的版本,而没有其他版本的LogDNA代理。 如果您应用在当前树中找到的Kubernetes清单,那么您的集群将运行当前提交所描述的版本,该版本可能尚未准备好用于一般用途。 按照文档中的完整
17KB
fluent-plugin-macos-log:Fluentd的输入插件,可从MacOS Unified日志收集日志-源码
2021-04-02流利的::插件的:: MacOsLogInput 描述 该存储库包含Fluentd MacOs统一日志输入插件。 安装 设置流利时安装此gem: gem install fluent - plugin - macos - log 用法 设置 这是Fluentd的流程执行输入插件,可定期执行外部log show命令并将日志事件解析到Fluentd的核心系统中。 每次执行都会更改日志实用程序的start时间和end时间输入参数,以缓慢地遍历日志数据。 迭代间隔可以由用户配置,但不能小于1s。 一个人可以使用多种配置: 简化输出 使用该命令的人类可读输出。 使用regexp解析器和逻辑将进程输出进行解析,该逻辑将多行组合在一起。 参数log_line_start定义规则的表达式,该log_line_start与行的开头相匹配。 两者之间的任何内容都将合并到单个日志条目中。 尽管解析器是reg
998KB
sematext-agent-docker:Sematext Docker代理-主机+容器指标,日志和事件收集器-源码
2021-02-03该图片已弃用 请使用进行监视,并使用进行日志收集。 这两个映像都可以作为Docker认证映像使用: 有关更多详细信息,请参见以下帖子: Docker的Sematext代理 Sematext Agent for Docker从Docker API收集度量,事件和日志,以进行以及。 与CoreOS,Rancher,Docker Swarm,Kubernetes,Apache Mesos,Hashicorp Nomad,Amazon ECS配合使用,...请参见。 快速开始 获得 为Docker指标类型为“ Docker”。 复制其应用令牌。 (可选) 使用用于监视和日志应用程序的单个应用程序令牌运行图像 docker pull sematext/sematext-agent-docker docker run -d --name sematext-agent-docker -e SPM_TOKEN=YOUR_SPM_TOKEN -e LOGSENE_TOKEN=YOUR_LOGSENE_TOKEN -v /var/run/docker.sock:/var/run/docker.sock
6.20MB
opentelemetry-collector:OpenTelemetry收集器-源码
2021-02-10•• ••••• OpenTelemetry收集器 OpenTelemetry Collector在如何接收,处理和导出遥测数据方面提供了与供应商无关的实现。 另外,它消除了运行,操作和维护多个代理/收集器的需要,以便支持发送到多个开源或商业后端的开源遥测数据格式(例如Jaeger,Prometheus等)。 目标: 可用:合理的默认配置,支持流行的协议,可以运行并立即使用。 性能:在不同的负载和配置下具有很高的稳定性和性能。 可观察的:可观察服务的示例。 可扩展:可定制,无需接触核心代码。 统一:单一代码库,可部署为代理或收集器,并支持跟踪,指标和日志。 贡献 参见 。 分类器( ): ,Lightstep 批准人( ): ( ) 红帽的 维护者( ): ( ) 了解有关角色的更多。 感谢所有已经做出贡献的人们!
51KB
quarkus-logging-splunk:Quarkus扩展能够将日志发送到Splunk HTTP事件收集器-源码
2021-03-12Quarkus Splunk扩展 quarkus扩展,用于将日志发送到Splunk Http事件收集器(HEC)。 首先,添加依赖项: < dependency> < groupId>io.quarkiverse.logging.splunk</ groupId> < artifactId>quarkus-logging-splunk</ artifactId> </ dependency> 有关更多详细信息,请参阅完整的。 此扩展基于。 但是,它定义了自己的而不是使用的 ,其原因是,它与Quarkus中使用的JBoss logger实现不兼容,因此,阻止使用在构建时记录步骤的功能。 贡献者 :sparkles: 感谢这些很棒的人(): 该项目遵循规范。 欢迎任何形式的捐助!
29KB
logcollector:使用SFTP的远程服务器的文件收集器-源码
2021-02-22日志收集器 使用SFTP的远程服务器的文件收集器
468KB
zenit:Zenit是用于所有MySQL变体和ProxySQL的指标和日志解析器的守护程序收集器-源码
2021-02-02Zenit是用于MySQL / Percona / MariaDB服务器和ProxySQL专用主机的指标和日志解析器的守护程序收集器。 为此,可能不需要很多其他代理,但是有了这个代理,您将找到一个出色的数据库管理工具。 )这个名字的灵感来自俄罗斯间谍卫星。 该项目由和赞助。 为什么使用它,该工具是由DBA for DBA制作的,其他工具则收集基本信息,而此工具则比其他工具收集的底层信息和多样性要少得多。 描述: 该代理从硬件收集所有基本指标,并从MySQL或ProxySQL服务收集更多详细信息。 并实时读取日志,每个事件都经过解析以供以后分析,由于使用SQL进行分析非常容易并且具有出色的性能,因此日志被发送到 。 指标仅发送到 ,您现在可以使用进行分析和监视。 优点 在Amazon Web Services上自动发现数据库服务器。 将所有日志集中在一个视图中,您可以获得调试和分析的更多详细信息,从而可以优化查询,了解内部发生的事情等等。 审核数据库安全性访问并确定可能的风险。 适用于所有人的一个代理,易于安装和配置,低内存消耗和高性能。 兼容性 该工具从以下位置收集统计
14KB
invcol:简单的库存收集器-源码
2021-03-15invcol Invcol是bash中的一个简单清单收集器,类似于AIX上的snap。 这样做的目的是简化机器中日志和内容的收集,而无需停机或停止任何服务。 我将尝试为特定的操作系统制作特定的脚本。 如何捐款 如果您发现此脚本有用,则可以给我买啤酒: BTC: 3ECzX5UhcFSRv6gBBYLNBc7zGP9UA5Ppmn ETH: 0x7E17Ac09Fa7e6F80284a75577B5c1cbaAD566C1c
7.7MB
logsentinel-collector:本地收集器,用于从任何来源收集日志-源码
2021-03-08LogSentinel收集器 本地收集器,用于从任何来源收集日志。
18KB
syslogjd:到日志收集器的系统日志-源码
2021-02-04syslogjd:到日志收集器的系统日志
13KB
openshift-logforwarder:Openshift v4的日志转发配置-源码
2021-03-17日志转发器 在openshift-logging命名空间中创建转发器pod,以在OpenShift Cluster Fluentd(日志收集器)和外部日志存储(当前为splunk )之间转发日志。 单个容器用于为日志输入和输出产生单个点。 配置 档案看一下: 1-ClusterLogging.yml :放入资源限制和请求 2a-ConfigMap-SplunkURL :放置splunk URL和端口 2b-Secret-SplunkTOKEN :放置splunk访问令牌 在子目录README中查找要配置的其他文件。 默认情况下禁用审核日志。 查看configMap-pipeline以更改过滤器。 如何使用 先决条件: 已安装群集日志记录运算符。 没有群集日志记录或群集日志转发器实例正在运行。 群集中其他自述文件中列出的图像。 安装: 依次对每个.yml文件使用oc apply -
16KB
cluster-logging-collector-benchmarks-源码
2021-03-22群集日志收集器-基准 该存储库包含代码和脚本,以在将流利的和流利的日志收集器部署在环境之上时对其进行基准测试。 该存储库的内容包括以下组件: 日志加载应用程序(简单的golang应用程序log-stressor.go stressor.go)部署在容器中,这些容器在OpenShift上产生日志压力 收集器配置和部署文件。 这包括流利的和流利的钻头配置 基准监控和统计组件(简单的golang应用程序check-logs-sequence.go ) 部署和基准管理脚本 注意:基准测试有意使用单个OpenShift工作节点。 基准脚本将选择可用节点之一,并将所有基准组件部署到该节点上 注意:为了最大程度地提高基准测试的准确性,强烈建议不要在已使用的群集中部署除此基准测试所部署的工作负载/容器以外的任何其他工作负载/容器。 如果需要,可以使用撤离配置命令行参数从使用的节点撤离所有不相关的吊舱
8.14MB
collector:pganalyze统计信息收集器,用于收集PostgreSQL指标和日志数据-源码
2021-02-02pganalyze收集器 这是一个基于Go的守护程序,它收集有关Postgres数据库以及在其上运行的查询的各种信息。 所有数据都转换为协议缓冲区结构,然后可以用作监视和绘图系统的数据源。 或作为有关如何从PostgreSQL中提取信息的参考。 目前,它收集有关 架构图 表(包括列,约束和触发器定义) 指标 统计 桌子 指标 数据库 查询 操作系统 中央处理器 记忆 存储 安装 收集器有多个方便的选项: APT / YUM软件包: : Docker sidekick服务,请参阅此文件中的详细信息 配置(APT / YUM软件包) 安装软件包后,您可以在/etc/pganalyze-collector.conf中找到配置。 通过添加您的API密钥(在pganalyze仪表板中找到,每个数据库服务器使用一个)和数据库连接凭据来调整该文件中的值。 如果要监视多个服务器,则可以使用不同的[name]重复配置块。 有关更多详细信息,请参见 。 设置受限的监控用户 缺省情况下,除非您是数据库超级用户,否则pg_stat_statements不允许查看其他用户运行的查询。 由于您
49KB
log2splunk:Splunk HTTP事件收集器(HEC)的记录器-源码
2021-02-08log2splunk 登录到Splunk 用法 const Log2Splunk = require ( 'log2splunk' ) ; const logger = new Log2Splunk ( { token : "your-token" , host : "splunk-hec.example.com" } ) ; // Send string logger . send ( "Hello World" ) ; // Send json logger . send ( { message : "Hello World" ; } ) ; // Send with metadata logger . send ( "Hello World" , { source : 'my-app' , sourcetype : '_raw' } ) // Send Raw
125KB
Cartus:具有多个后端的结构化日志记录抽象-源码
2021-02-01卡特斯 用于记录数据丰富事件并支持多个后端的结构化日志抽象,当前包括: 测试记录器,用于收集内存中的日志并对其进行断言; 和 一个记录仪通过注销和 。 一个空的记录器,它将忽略所有记录的事件,可用作默认实现或完全关闭日志记录。 受到大力启发。 安装 将以下内容添加到您的project.clj文件中: [io.logicblocks/cartus.core " 0.1.14 " ] 根据您计划使用的后端,将以下一项或多项添加到您的project.clj文件中: [io.logicblocks/cartus.null " 0.1.14 " ] [io.logicblocks/cartus.test " 0.1.14 " ] [io.logicblocks/cartus.cambium " 0.1.14 " ] 后端需要进一步配置。 有关更多详细信息,请参见《 。 文献资料 用法 ( require '[cartus.core :as log]) ( require '[cartus.cambium]) ( cartus.cambium/initialise ) ( def
351KB
incubator-flagon-useralejs:Apache Flagon UserALE.js是一个全面的瘦客户端行为日志记录工具-源码
2021-02-12Apache Flagon UserALE.js(正在孵化) Apache UserALE.js是。 它是用JavaScript编写的客户端工具库,旨在轻松部署和轻量级配置,以便从Web应用程序收集日志以进行用户行为分析。 一旦包含在项目中,Apache UserALE.js将提供全面的行为日志记录功能,捕获DOM中呈现的每个元素上的每个事件。 可以在找到其他文档和演示。 快速入门指南 将UserALE.js作为包含在项目中 设置日志记录端点。 试试我们的或者尝试我们的。 使用我们的API配置,包括将日志发布到的位置(UserALE示例的端口:8000或ELK / Logstash的端口:8100) 进一步探索以自定义您的日志供稿,添加过滤器,自定义日志以及自行修改日志。 在这里探索一些,并在我们的进行更广泛的研究。 可视化和分析您的日志。 请参阅我们的示例进行行为分析。 目录
-
下载
圣龙股份:圣龙股份2020年年度报告.PDF
圣龙股份:圣龙股份2020年年度报告.PDF
-
下载
匿名飞控电赛2020源码 江苏省国一.
匿名飞控电赛2020源码 江苏省国一.
-
下载
tensorflow_in_action.7z
tensorflow_in_action.7z
-
下载
openssl-1.1.1k_rpm_package.tar.gz
openssl-1.1.1k_rpm_package.tar.gz
-
下载
中农立华:中农立华2020年年度报告.PDF
中农立华:中农立华2020年年度报告.PDF
-
下载
迈得医疗:迈得医疗工业设备股份有限公司2020年年度报告.PDF
迈得医疗:迈得医疗工业设备股份有限公司2020年年度报告.PDF
-
下载
海康相机12-pin Hirose IO线缆接线说明.pdf
海康相机12-pin Hirose IO线缆接线说明.pdf
-
下载
海康球机DS-2DC6220IW-A固件5.6.11_190426
海康球机DS-2DC6220IW-A固件5.6.11_190426
-
下载
tanchishe.zip
tanchishe.zip
-
下载
基于Java的连连看游戏设计与实现.zip
基于Java的连连看游戏设计与实现.zip
