VIP会员

Spark在今日头条的实践

讲述今日头条是如何用Spark来处理海量数据，以及在实际使用中的一些改进。

spark streaming 在阿里的应用实践

sparkstreaming 在阿里巴巴的应用实践，讲解了spark在实际项目中的运用。

MartinHub-notes：:hundred_points:大数据开发笔记（包括：Hadoop，Hive，HBase，Phoenix，Scala，Spark，Flink，Kafka，Azkaban，Flume，Sqoop，Oozie，DataX等）。Java开发笔记（Java基础，Spring Boot， Spring Cloud，Spring Security，MyBatis-plus，Swagger-UI，Druid，JWT，Lombok）

MartinHub的学习笔记 关于我 MartinHub :smiling_face_with_sunglasses: ，，热爱生活！热爱技术！ 微信公众号【MartinHub】 个人微信号【MartinHub】 项目介绍 大数据 Java 数据库 Linux 杂记 :bullseye: :hot_beverage: :floppy_disk: :cloud: :memo: :black_nib:本仓库有来源自己总结，网上收集，视频笔记，如果有区别之处，可以联系我进行删除。 :scroll:笔记仓库： GitHub上： Gitee： :scroll:笔记地址： GitHub上： Gitee： 因个人能力有限，笔记中可能还有很多错误的地方，还请大家能够多多指出交流，也欢迎各位小伙伴能够提交拉请求请求进行完善。 注意：因为构建页面的框架缓存，访问笔记地址时，为防止最新更新的笔记看不到，请浏览器打开网址后，先清除页面缓存。

滴滴在小程序方向上的探索和实践

此外，滴滴在实践中发现，合理的域名配置和数据加密处理对于保障数据安全至关重要。 #### 七、总结 滴滴在小程序领域的探索与实践不仅展现了其强大的技术实力，也为其他开发者提供了宝贵的经验参考。通过上述介绍...

Druid 入门

- **传统系统的局限性**：随着大数据需求的增长，许多企业面临原有基于关系型数据库的数据平台无法有效处理大规模数据的问题。 - **Hadoop 的不足**：尽管 Hadoop 设计用于批量处理大数据，但在实时数据处理方面...

藏经阁-苏宁大数据平台运维实践.pdf

在数据处理方面，苏宁大数据平台采用了Spark、MapReduce等技术来实现数据的批量处理和实时处理，并使用了Storm、Spark Streaming等技术来实现数据的流式处理。 在数据分析方面，苏宁大数据平台采用了MLLib、ESLibra...

实时大数据平台.zip

1. 数据采集：如Flume、Kafka等工具，用于从各种数据源（如日志、传感器、社交媒体等）高效、稳定地收集数据，确保数据的实时流入。 2. 数据处理：Apache Storm、Spark Streaming等流处理框架，对实时数据流进行...

01_大数据项目之电商数仓_用户行为采集平台.docx

该平台将使用 Hadoop、HDFS、HBase、Redis、MongoDB 等技术来存储和处理大量数据，并使用 Flume、Kafka、Sqoop、Logstash、DataX 等工具来采集和传输数据。 数据仓库概念 数据仓库是一个战略集合，旨在为企业提供...

唯品会大数据实践方案.ppt

- 使用Sqoop、VDP、Flume、Kafka等工具进行数据接入和处理。 - 利用Hive、Presto、Spark进行离线和实时计算，结合HBase、Druid提供高效的数据存储和查询。 - Redis Cluster提供分布式缓存服务，VRE实现实时算法...

最接地气的数据埋点技术案例分享

数据埋点技术是现代互联网产品开发中不可或缺的一部分，它主要用于收集用户在应用中的行为数据，以便于产品经理和大数据架构师更好地理解...随着大数据技术的发展，数据埋点的应用将更加广泛，为企业创造更大的价值。

企业级大数据平台实践之路.docx

工具如Flume、Kafka和Spark Streaming用于实时或近实时地捕获和传输大量数据。 2. **数据处理与预处理**：数据质量是大数据平台的核心，因此需要对原始数据进行清洗、转换和验证。Apache Hadoop的MapReduce提供了...

苏宁数据中台架构实践.pdf

在数据采集阶段，苏宁可能采用了多种技术，包括ETL（Extract, Transform, Load）工具，实时流处理技术如Kafka，以及大数据采集框架Flume等，以确保全渠道、全业务的数据源能够实时、准确地接入到数据中台。...

大数据环境下的互联网数据仓库/数据平台架构

本文旨在探讨大数据环境下互联网数据仓库/数据平台的设计与构建思路，主要包括数据采集、数据存储与分析、数据共享、数据应用以及实时计算等关键环节。 #### 二、数据仓库/数据平台的用途 1. **整合公司所有业务...

大数据技术体系.pdf

Flume、Scribe、Logstash、Kibana 消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ 查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid 分布式协调服务：Zookeeper 集群管理与监控：...

挑战双11实时数据洪峰的流计算实践.zip

这些引擎支持复杂事件处理、窗口聚合、流与批处理一体化等功能，能高效处理大规模数据流。 3. **实时分析**：利用实时分析工具（如Druid、Elasticsearch等）进行快速查询和聚合，为运营决策提供实时洞察。例如，...

实时数仓建设实践解决方案共76页.pdf.zip

1. **数据采集层**：通过各种ETL工具（如Apache Nifi、Flume）或流处理引擎（如Apache Kafka、Kinesis）收集来自不同源的实时数据。 2. **数据转换层**：利用流处理引擎（如Spark Streaming、Flink）进行实时清洗、...

传智博客大数据三阶段笔记

2. **数据源与数据接入**：如Kafka、Flume等消息队列系统的使用，它们作为实时数据流的输入和输出通道。 3. **实时计算模型**：事件驱动（Event-driven）和时间驱动（Time-driven）的计算模型，以及如何根据业务需求...

大数据平台架构的“五横一纵”.docx

大数据平台架构的“五横一纵”是一种组织和设计大数据解决方案的框架，旨在满足现代企业对数据处理、分析和应用的需求。这种架构模型强调业务导向，关注如何利用技术服务于实际业务场景，而非单纯追求技术的先进性。...

大数据开源框架集锦.pdf

它为企业提供了处理大规模数据的能力，并通过资源调度系统Apache YARN进行优化。CDH和HDP是基于Hadoop构建的企业级发行版，分别由Cloudera和Hortonworks提供，包含丰富的管理和监控工具。 2. **集群管理与监控**：...

大数据平台搭建文档.zip

批处理使用MapReduce进行大规模数据处理，而Spark提供了更高效的数据处理模型。流处理工具如Apache Flink和Kafka Streams则处理实时数据流。 4. **数据仓库与OLAP**：Hive和Pig是构建在Hadoop上的数据仓库工具，...

美团点评技术团队-餐饮生态大数据架构实践.pdf

8. **数据展现与BI**：最后，处理后的数据通过`API`与业务应用进行交互，用于构建仪表盘（`dashbord`）和商业智能（`BI`）系统，为业务人员提供实时的数据洞察和决策支持。 整个架构设计充分考虑了数据的实时性、可...

千亿级实时数仓-讲义.rar

例如，Apache Flink的API支持用Java编写流处理应用，其丰富的库和强大的并发能力使得处理大规模数据变得更加高效。此外，Java也是Hadoop生态系统中许多组件（如HBase、Hive）的首选开发语言，这使得Java程序员能够...

作业帮Doris在数仓中的实践.pdf

报告首先介绍了业务与背景介绍，讨论了业务支持模式的转变、Druid大数据团队业务线团队API数据清洗、Kafka大数据团队业务线团队SparkES数据清洗等问题。然后，报告详细介绍了基于Doris的实时查询系统的架构设计和...

中国数据资产管理峰会-唯品会大数据.pptx

- **数据接入与处理**：使用Sqoop、VDP、Flume、Kafka进行数据接入和传输，Job调度和Yarn调度确保任务的有序执行。 - **监控与测试**：通过运维监控系统，确保平台的稳定性和性能。 4. **挑战与解决方案** - **...

菜鸟实时数据技术架构的演进.pdf

通常使用Apache Kafka或Flume等流数据处理工具，从各种数据源（如日志、API、传感器等）收集数据，确保数据的实时性。 2. **数据处理引擎**：Apache Flink和Spark Streaming是常用的实时数据处理引擎，它们能够对流...

大数据岗位以及技术路线

1. **Java开发工程师**：主要负责大数据处理框架的开发和优化，如Hadoop MapReduce或Spark应用程序。需要精通Java编程，理解并发编程和集合框架。 2. **ETL工程师**：负责数据提取、转换和加载（ETL）过程，常用...

LogAnalyzer:分析大数据组件的客户日志，例如HDFS，Hive，HBase，Yarn，MapReduce，Storm，Spark，Spark 2，Knox，Ambari Metrics，Nifi，Accumulo，Kafka，Flume，Oozie，Falcon，Atlas和Zookeeper

日志分析器-分析大数据组件的客户日志，例如HDFS，Hive，HBase，Yarn，MapReduce，Storm，Spark，Spark 2，Knox，Ambari Metrics，Nifi，Accumulo，Kafka，Flume，Oozie，Falcon，Atlas和Zookeeper。 内部架构 分析...

Java及大数据学习路线.pdf

- **Kafka**：实时数据流处理，与KafkaManager和KafkaMonitor配合监控。 - **Hbase/Phoenix**：分布式NoSQL数据库，Phoenix用于创建二级索引。 - **Azkaban**：任务调度框架。 - **Kylin/Druid**：数据查询加速...

Notepad++安装包

安装包全名：npp.7.7.1.Installer.x64.exe 版本：7.7.1 适用于：64位系统的电脑 操作：请看博主文章介绍

安卓期末大作业（AndroidStudio开发），垃圾分类助手app，分为前台后台，代码有注释，均能正常运行

安卓期末大作业-垃圾分类助手（免积分下载） 压缩包内包含源代码，项目文档，apk文件，运行各个界面截图。app使用的是sqlite数据库，使用的核心类及其组件：Base Adapter，Fragment，View Pager，Alert Dialog.Builder，Option，Animation Draw able（关键帧动画），Media Player（视频），Count Down Timer（倒计时 广告页用），Spinner等 该分类助手的功能是管理员先登录进入后台界面，将数据录入数据库，管理员可进行增删改查操作，用户可在前台页面通过垃圾分类查垃圾也可通过垃圾查分类，可以浏览后台管理员录到数据库中的新闻。 该分类助手在上传头像时是通过跳转到手机图库选择照片，然后保存的时候是通过该图片的uri录入数据库，显示图片则是从数据库读取uri并显示。 以上所述功能均实现正常 详见 https://blog.csdn.net/weixin_59538558/article/details/131029604