聊聊高并发高可用那些事（Kafka、Redis、MySQL）

# MySQL篇内容 - 一条SQL语句的执行流程 - InnoDB数据读取和写入过程 - 基本数据结构介绍 - MyIsAM InnoDB 等存储引擎 - 索引类型和方式、聚簇和非聚簇索引 - 回表、覆盖索引、最左前缀、联合索引、索引下推 - Explain分析SQL语句 - 索引失效的场景、索引优化方案 - TB级数据(600亿条)存储和访问 - 事务特征和隔离级别 - 乐观锁和悲观锁 - 分库、分表、分区 - 存储过程、定时任务 - MySQL 视图 (VIEW) - Redis 和 MySQL 双写一致性 - 高并发高可用方案 - Join语句还能不能用? - 主从同步有延迟怎么办? - .frm .myi .myd .ibd 文件 - 为什么表数据删掉一半，表文件大小不变？ - 误删表数据除了跑路,还能干啥? - MySQL长连接导致内存溢出? - MySQL自带的数据库 - 代码示例 - MySQL 相关阅读 # Redis篇内容 - 为什么需要缓存 - Redis、Memcached 对比分析 - 数据结构以及应用场景 - 缓存雪崩、缓存击穿、缓存穿透 ...... 【MySQL篇】 MySQL是世界上最流行的开源关系型数据库管理系统之一，其设计目标是处理大量数据，同时提供高并发和高可用性。以下是一些关键知识点： 1. **SQL语句执行流程**：当提交一个SQL语句时，MySQL会经历解析、预处理、优化和执行四个阶段。解析阶段会检查SQL语法；预处理阶段处理SQL中的变量和常量；优化阶段选择最佳执行计划；执行阶段执行查询并返回结果。 2. **InnoDB数据读取和写入**：InnoDB是MySQL中最常用的存储引擎，支持事务和行级锁定。读取数据时，InnoDB首先查看内存中的缓冲池，若不在则从磁盘读取。写入时，数据先写入redo log，再更新内存，最后异步刷新到磁盘。 3. **存储引擎**：MyISAM是另一个常见引擎，不支持事务但读取速度快。InnoDB是默认引擎，适合事务处理。 4. **索引类型**：B-Tree索引是最常见的，包括聚簇索引（主键索引）和非聚簇索引。聚簇索引中数据和键值存储在一起，而非聚簇索引则分开。 5. **回表、覆盖索引、最左前缀**：回表是指查询过程中需要从索引查找额外信息；覆盖索引是指查询所需所有信息都在索引中，无需回表；最左前缀规则用于匹配索引的开头部分。 6. **Explain分析**：用于分析SQL语句的执行计划，帮助优化查询性能。 7. **索引优化**：避免索引失效的场景，如过多使用函数或在WHERE子句中使用NOT。 8. **TB级数据存储与访问**：对于大规模数据，可能需要分区、分表或水平/垂直切分来提高访问速度。 9. **事务特征与隔离级别**：事务确保数据的一致性，有四种隔离级别：读未提交、读已提交、可重复读和串行化。 10. **乐观锁和悲观锁**：乐观锁假设冲突少，读多写少；悲观锁假设冲突多，读写都需要锁定资源。 11. **分库分表**：通过将数据分散到多个数据库或表中，提高系统并发能力。 12. **存储过程与定时任务**：存储过程是预编译的SQL集合，可提高性能；定时任务用于定期执行特定操作。 13. **MySQL视图**：视图是虚拟表，基于一个或多个表的查询结果，简化复杂查询。 14. **Redis和MySQL双写一致性**：在高可用架构中，数据需要在两者之间同步，保持一致性。 15. **高并发高可用方案**：包括负载均衡、主从复制、读写分离、故障切换等。 16. **Join语句**：在高并发场景下，Join可能导致性能瓶颈，需谨慎使用。 17. **主从同步延迟**：主库修改后，从库可能需要时间才能同步，可能的解决方案包括半同步复制和多线程复制。 18. **.frm、.myi、.myd、.ibd文件**：这些是MySQL数据文件，分别存储表定义、MyISAM表索引、MyISAM表数据和InnoDB表数据。 19. **表数据删掉一半，文件大小不变**：因InnoDB使用行级锁定，删除数据不会立即释放空间，需要重建表或使用OPTIMIZE TABLE。 20. **误删数据恢复**：可以通过binlog或备份恢复，及时行动至关重要。 21. **MySQL长连接内存溢出**：长时间连接可能导致内存消耗过大，定期关闭和重新建立连接是必要的。 22. **MySQL自带的数据库**：如mysql库存储用户权限等元数据，performance_schema库记录性能指标，sys库提供性能分析视图。 【Redis篇】 1. **为何需要缓存**：缓存可以减少对后端数据库的压力，提高响应速度。 2. **Redis与Memcached对比**：Redis支持更丰富的数据结构，如哈希、列表和集合，而Memcached仅支持字符串。 3. **数据结构与应用场景**：Redis的数据结构如字符串、哈希、列表、集合和有序集合，各有特定用途。 4. **缓存问题**：缓存雪崩、击穿和穿透分别指全部缓存失效、部分热点数据未命中和请求穿透到后端数据库。 5. **过期策略与淘汰机制**：Redis通过LRU、LFU或TTL策略管理过期Key。 6. **RDB与AOF备份**：RDB是全量快照，AOF记录每次写操作，实现热备份。 7. **Redis事务**：使用`MULTI`、`EXEC`确保原子性。 8. **双写一致性**：Redis与MySQL之间的数据同步需要考虑一致性问题。 9. **集群模式**：Sentinel监控和自动故障恢复，Cluster实现数据分片。 10. **键槽与槽迁移**：通过一致性哈希确定Key所在的槽，迁移Key以平衡集群负载。 11. **大Key定位**：使用`KEYS`或`SCAN`命令查找占用内存较大的Key。 12. **相同前缀Key查找**：利用`KEYS`或正则表达式匹配。 13. **内存优化**：大量删除Key后，内存可能不会立即释放，需要`FLUSHALL`或`FLUSHDB`。 14. **三主三从集群部署**：为了提高可用性和容错性，部署多台主节点和从节点。 15. **可视化工具**：如Redis Desktop Manager用于图形化管理Redis实例。 【Kafka篇】 1. **为何需要消息队列**：消息队列解耦生产者和消费者，提供异步通信，处理高并发场景。 2. **Kafka与RabbitMQ对比**：Kafka更适合大数据实时处理，RabbitMQ适合简单消息传递。 3. **Kafka概念**：分区和副本提供容错，消费组允许多个消费者并行消费。 4. **消息存储策略**：Kafka将消息持久化到磁盘，根据配置保留一定时间或数量。 5. **重复消费与数据丢失**：通过设置消费组偏移量和确保消息确认来管理。 6. **单服务消费与多服务消费**：消费组机制确保一条消息只被一个消费者消费，通过多个消费组实现多消费。 7. **顺序消费**：通过消息分区实现顺序消费，每个分区内的消息顺序保证。 8. **命令行操作**：如`kafka-topics.sh`创建和管理主题，`kafka-console-producer.sh`发送消息。 9. **生产者与消费者代码示例**：展示如何编程与Kafka交互。 10. **Kafka Tool**：Windows下的可视化工具，方便管理Kafka集群。 以上内容涵盖了Kafka、Redis和MySQL在处理高并发和高可用性时的关键知识点，包括它们的基本原理、操作方法、优化策略和常见问题的解决方案。学习和掌握这些知识点，有助于构建稳定、高效的数据处理系统。