没有合适的资源?快使用搜索试试~ 我知道了~
clickhouse 搭建流程
需积分: 5 0 下载量 127 浏览量
2023-08-18
16:41:32
上传
评论
收藏 331KB DOCX 举报
温馨提示
试读
61页
Clickhouse是一款非常优秀的高性能统计数据库。近些日子,由于研发工作需要,引入了clickhouse作为实时统计数据库。为了便于和研发团队一起分析问题,在本机搭建了clickhouse环境。过程中,还是不可避免地踩到了一些坑,所以就把这些解决过程都记录了下来,以免有类似问题能够快速定位和解决。
资源推荐
资源详情
资源评论
ClickHouse 搭建流程
1、MPP 数据库架构介绍
MPP 是 Massively Parallel Processing 的单词缩写,翻译过来就是大规模并行处理
https://clickhouse.tech/docs/zh/single/
1、MPP 的基本介绍
MPP (Massively Parallel Processing),即大规模并行处理,在数据库非共享集群中,
每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用
特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接,
彼此协同计算,作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、
高可用、高性能、优秀的性价比、资源共享等优势。
简单来说,MPP 是将任务并行的分散到多个服务器和节点上,在每个节点上计
算完成后,将各自部分的结果汇总在一起得到最终的结果(与 Hadoop 相似)。
2、MPP 数据库架构模型介绍
3、 MPP 架构特征
● 任务并行执行;
● 数据分布式存储(本地化);
● 分布式计算;
● 私有资源;
● 横向扩展;
● Shared Nothing 架构。
4、常见的 MPP 架构的数据库介绍
常 见 的 MPP 架 构 的 数 据 库 也 有 很 多 , 例 如 像 Greenplum ,
Elasticsearch,Presto,clickhouse 等
5、MPP 与 hadoop 的区别
https://blog.csdn.net/yimenglin/article/details/90510134
2、ClickHouse 概述
1、ClickHouse 基本简介
ClickHouse 是 俄 罗 斯的 Yandex 于 2016 年 开 源 的 列 式 存 储 数 据 库 管 理 系 统
(DBMS:Database Management System),简称 CK。
主要用于在线分析处理查询(OLAP:Online Analytical Processing)
能够使用 SQL 查询实时生成分析数据报表
ClickHouse 官方文档:https://clickhouse.tech/docs/en/
2、ClickHouse 的特性
真正的面向列的 DBMS
数据压缩
磁盘存储的数据
多核并行处理
多个服务器上分布式处理
SQL 支持
向量化引擎
实时数据更新
索引
支持在线查询
支持近似计算
数据复制和对数据完整性的支持
ClickHouse 的不完美
没有完整的事务支持
缺少高频率,低延迟的修改或删除已存在数据的能力。仅能用于批量修改或
删除数据
稀疏索引使得 clickhouse 不适合通过其键检索单行的点查询
3、clickhouse 的应用场景
➢ OLAP 场景关键特征:
大多数是读请求
数据总是以相当大的批(> 1000 rows)进行写入
不修改已添加的数据
每次查询都从数据库中读取大量的行,但是同时又仅需要少量的列
宽表,即每个表包含着大量的列
较少的查询(通常每台服务器每秒数百个查询或更少)
对于简单查询,允许延迟大约 50 毫秒
列中的数据相对较小: 数字和短字符串(例如,每个 UR60 个字节)
处理单个查询时需要高吞吐量(每个服务器每秒高达数十亿行)
事务不是必须的
对数据一致性要求低
每一个查询除了一个大表外都很小
查询结果明显小于源数据,换句话说,数据被过滤或聚合后能够被盛放
在单台服务器的内存中
➢ 应用场景:
用于结构良好清晰且不可变的事件或日志流分析。
➢ 不适合的场景:
事务性工作(OLTP),高请求率的键值访问,低延迟的修改或删除已存在
数据,Blob 或文档存储,超标准化数据。
3、ClickHouse 的安装部署
clickhouse 官网并没有提供二进制或 rpm 安装包,但是 Altinity 公司提供了对
应的 rpm 安装包,可以通过 rpm 方式去安装。
第一步:下载 rpm 包
下载地址:https://packagecloud.io/Altinity/clickhouse
第二步:上传 rpm 包
上传 rpm 包到服务器 node01、node02、node03 服务器上的/kkb/soft 路径下
第三步:安装 rpm 包
每台节点安装下面的 2 个依赖
sudo yum install -y libtool
sudo yum install -y *unixODBC*
每台节点安装 ck 服务
cd /kkb/soft/
sudo rpm -ivh clickhouse*rpm
第四步:修改配置文件
修改 config.xml
三台机器都修改配置文件
node01 执行以下命令修改 config.xml
sudo vim /etc/clickhouse-server/config.xml
将这一行注释文件给打开
剩余60页未读,继续阅读
资源评论
奔向理想的星辰大海
- 粉丝: 6172
- 资源: 34
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 一段Scratch语言的计算斐波那契数列的步骤流程
- 一段VisualBasic语言的计算斐波那契数列的代码
- RUBY-DEFAULT-CONTAINS
- 基于Go语言写的一段计算斐波那契数列的代码!
- vue-material v1.0.0-beta-10.2
- TbReactions(BaseModel)
- Blumentals Rapid PHP 2025 v18.1.0.264 是一款功能强大的PHP编辑器和开发工具
- do not edit .js files directly - edit src/index.jst
- request-validator.cpython-37
- pygments.lexers.javascript ~~~~~~~~~~~~~~~~~~~~~~~~~~
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功