### 线上问题调查常用命令
在IT运维与开发工作中，线上问题的排查与解决是维护系统稳定性和用户体验的关键环节。本篇文章将基于提供的文件信息，深入解析线上问题调查中常用的Linux性能检测工具及JVM性能相关命令，并提供详细的解释与应用场景。
#### Linux性能检测工具
**1. CPU性能检测**
##### 基本概念
- **上下文切换**：当多个进程或线程共享同一个CPU时，操作系统会不断地在它们之间切换，以便让每个进程都能得到一定的CPU时间。这种切换过程称为上下文切换。
- **运行队列**：指等待CPU时间的进程队列。一般认为，每个处理器运行队列中不应该超过1-3个线程，以保证较高的执行效率。
- **Load**：一段时间内CPU正在处理以及等待CPU处理的进程数之和的统计信息。通常，安全的Load值约为CPU核心数。
##### 工具介绍
- **uptime / w**：显示系统运行时间、登录用户数量以及过去1分钟、5分钟、15分钟内的平均负载。
- **cat /proc/cpuinfo**：获取关于CPU的信息，如型号、频率等。
- **grep 'processor' /proc/cpuinfo | wc -l**：统计CPU核心数量。
- **vmstat 1 100**：每秒报告一次系统活动状态共100秒。主要关注以下指标：
- **procs**：
- r: 运行队列中进程的数量。
- b: 等待I/O的进程数量。
- **memory**：
- swpd: 使用虚拟内存的大小。
- free: 可用内存的大小。
- buff: 用作缓冲的内存大小。
- cache: 用作缓存的内存大小。
- **swap**：
- si: 每秒从交换区写入内存的大小。
- so: 每秒写入交换区的内存大小。
- **io**：
- bi: 每秒读取的块数。
- bo: 每秒写入的块数。
- **system**：
- in: 每秒中断数，包括时钟中断。
- cs: 每秒上下文切换数。
- **cpu**：
- us: 用户进程执行时间。
- sy: 系统进程执行时间。
- id: 空闲时间(包括I/O等待时间)。
- wa: 等待I/O时间。
- **top**：动态显示系统中各个进程的状态信息。常用快捷键：
- H: 显示所有线程。
- P: 按CPU占用排序。
- M: 按内存占用排序。
- 1: 显示每个CPU的信息。
- **mpstat -P ALL 1**：显示多处理器统计数据。
- **sar**：用于收集、报告和保存系统活动信息，可以查看历史数据和实时数据。例如：
- sar -q: 查看Load情况。
- sar -u: 查看CPU使用率。
- sar -q -f /var/log/sa/saXX: 查看之前某一天的历史记录。
**2. 内存性能检测**
##### 基本概念
- **Virtual Memory**：虚拟内存是一种将物理内存与硬盘空间结合使用的技术，以扩展系统的地址空间。
- **kswapd**：kswapd进程确保内存空间总是在被释放中，当物理内存不足时，它会将部分内存页面移到交换空间。
- **pdflush**：负责将内存中的内容与文件系统进行同步操作，即将写操作返回时数据并没有真正写到磁盘上，而是先写到了系统的cache中，随后由pdflush内核线程将系统中的脏页写到磁盘上。
##### 工具介绍
- **cat /proc/meminfo**：获取有关内存使用情况的信息。
- **ps aux**：列出所有进程及其使用的资源，其中RSS字段表示实际占用的物理内存。
- **ps -p javaProcessId -o rss**：查看特定Java进程的内存使用情况。
- **sar -r**：监控内存和交换分区的使用率。
**3. 磁盘IO性能检测**
##### 工具介绍
- **df -h -a**：检查磁盘占用情况。
- **du -h -a /XX(目录)**：查看指定目录内文件占用磁盘大小。
- **iostat -x -d 1**：每秒报告一次磁盘I/O统计信息。
- **sar -b**：监控磁盘I/O和等待时间。
**4. 网络性能检测**
##### 工具介绍
- **ifconfig**：显示网络配置信息。
- **ping**：测试网络连接性。TTL值表示IP数据包经过一个路由器时TTL减1。
- **netstat**：显示网络连接状态。常用选项：
- -a 或 -all: 显示所有连接的socket。
- -n 或 -numeric: 直接使用IP地址而非域名。
- -p 或 programs: 显示正在使用socket的程序标识和程序名称。
- -t 或 -tcp: 显示TCP连接状态。
- **netstat -anpt**：显示所有网络连接状态及相关的程序信息。
- **sar -n SOCK**：监控网络层和套接字统计信息。
#### JVM性能相关命令
在处理Java应用程序的性能问题时，还需要掌握一些针对JVM本身的诊断工具和技术：
- **jstat**：用于获取JVM的运行时统计信息，包括堆内存使用情况、GC活动等。
- **jmap**：生成对象和类的内存使用快照，帮助定位内存泄漏等问题。
- **jstack**：获取线程堆栈跟踪信息，可用于分析死锁、挂起等情况。
- **jvisualvm**：图形化工具，可对JVM进行详细的性能分析，包括CPU使用率、内存分配、线程状态等。
通过上述工具和技术的应用，可以在很大程度上提高线上问题的排查效率和准确性，确保系统的稳定运行。
