Linux 性能分析与调优全能手册 (linux-perf-master)

本 skill 整合了 linux-perf-advisor、linux-perf-analysis、linux-perf-tune、linux-performance-analyzer 四个专项 skill 的精华内容，提供完整的性能诊断→根因分析→优化实施→验证回滚闭环能力。

📋 分析工作流

CODEBLOCK0

第一步：快速数据采集

方式一：使用采集脚本（推荐）

CODEBLOCK1

方式二：手动快速诊断命令

CODEBLOCK2

第二步：瓶颈快速识别表

现象	可能瓶颈	参考文档
load average 持续 > CPU核数×2	CPU 饱和或 I/O 等待	references/cpu.md
vmstat cs（上下文切换）> 10万/秒

第三步：分析报告输出格式规范

每个问题按以下六要素输出，格式统一：

CODEBLOCK3bash

具体优化命令


**【风险】**
改动的副作用和注意事项

**【验证】**

bash

验证效果的命令


**【回滚】**

bash

回滚命令

CODEBLOCK6

报告汇总表格模板

CODEBLOCK7

第四步：常见场景快速处理

🔴 内存问题

诊断命令：
CODEBLOCK8

核心调优（详见 references/memory.md）：

# Swap 倾向（服务器推荐 10，数据库推荐 1）
sysctl -w vm.swappiness=10

# 增大内核保留内存（防止 OOM 误杀关键进程）
sysctl -w vm.min_free_kbytes=262144   # 256MB

# 脏页回写（写密集场景）
sysctl -w vm.dirty_ratio=10
sysctl -w vm.dirty_background_ratio=5

# 透明大页（数据库/延迟敏感服务关闭）
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

# 保护关键进程免遭 OOM Kill
echo -1000 > /proc/<PID>/oom_score_adj

🔴 CPU 问题

诊断命令：
CODEBLOCK10

核心调优（详见 references/cpu.md）：

# 减少上下文切换（调度粒度）
sysctl -w kernel.sched_min_granularity_ns=10000000
sysctl -w kernel.sched_wakeup_granularity_ns=15000000
sysctl -w kernel.sched_migration_cost_ns=5000000

# 关闭 NUMA 均衡（延迟敏感场景）
sysctl -w kernel.numa_balancing=0

# CPU 性能模式
echo performance > /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

# 进程 CPU 亲和性绑核
taskset -pc 0-3 <PID>

# 调整进程优先级
renice -5 -p <PID>    # 提高优先级
renice +10 -p <PID>   # 降低优先级

🔴 磁盘 I/O 问题

诊断命令：
CODEBLOCK12

核心调优（详见 references/disk_io.md）：

# I/O 调度器（SSD: mq-deadline 或 none；HDD: bfq）
echo mq-deadline > /sys/block/sda/queue/scheduler

# 读预读（顺序读为主时增大）
blockdev --setra 4096 /dev/sda    # 2MB 预读

# 增大内核请求队列
echo 256 > /sys/block/sda/queue/nr_requests

# 脏页控制（防止写爆）
sysctl -w vm.dirty_bytes=268435456         # 256MB
sysctl -w vm.dirty_background_bytes=67108864  # 64MB

🔴 网络问题

诊断命令：
CODEBLOCK14

核心调优（详见 references/network.md）：

# TIME_WAIT 回收（高并发短连接）
sysctl -w net.ipv4.tcp_tw_reuse=1
sysctl -w net.ipv4.tcp_fin_timeout=30

# 端口范围（主动发起连接的服务）
sysctl -w net.ipv4.ip_local_port_range="1024 65535"

# 连接队列（高并发服务）
sysctl -w net.core.somaxconn=65535
sysctl -w net.ipv4.tcp_max_syn_backlog=16384
sysctl -w net.core.netdev_max_backlog=16384

# TCP 缓冲区（高带宽场景）
sysctl -w net.core.rmem_max=16777216
sysctl -w net.core.wmem_max=16777216
sysctl -w net.ipv4.tcp_rmem="4096 87380 16777216"
sysctl -w net.ipv4.tcp_wmem="4096 65536 16777216"

# 文件描述符
sysctl -w fs.file-max=2097152
ulimit -n 65535

🟡 编译优化（详见 references/compile_optimization.md）

触发条件：perf/gprof 热点集中在用户态自编译代码，且当前编译选项为 -O0/-O1

CODEBLOCK16

参数修改规范

临时生效（立即，重启失效）

CODEBLOCK17

持久化（重启后仍生效）

CODEBLOCK18

回滚

# 临时回滚（立即生效）
sysctl -w 参数名=原始值

# 持久化回滚
rm /etc/sysctl.d/99-perf-analyzer.conf
sysctl --system

性能基线与告警阈值

告警阈值参考

指标	正常	警告	严重
CPU 使用率	< 60%	> 70%	> 90%
内存可用

> 30% | < 20% | < 10% | | Swap 使用率 | 0% | > 10% | > 30% | | 磁盘使用率 | < 70% | > 80% | > 95% | | load average | < 核数 | > 核数×1.5 | > 核数×2 | | I/O await | < 10ms | > 20ms | > 50ms | | 磁盘 %util | < 60% | > 80% | > 95% | | 上下文切换/秒 | < 5万 | > 10万 | > 50万 | | TCP 重传率 | < 0.1% | > 1% | > 5% |

建立性能基线

CODEBLOCK20

参考文档索引

文档	内容
references/cpu.md	CPU 调优（调度器/亲和性/NUMA/中断绑核/perf profiling）
references/memory.md

故障排查清单（10步法）

当性能问题发生时，按顺序检查：

1. [ ] uptime 检查负载均值
[ ] free -h 检查内存可用量
[ ] df -h 检查磁盘空间
[ ] top -bn1 检查 CPU 使用率和高耗进程
[ ] vmstat 1 3 检查上下文切换和 I/O 等待
[ ] iostat -xz 1 3 检查磁盘 I/O 详情
[ ] ss -s 检查网络连接状态
[ ] dmesg | tail -50 检查内核日志（OOM/硬件错误）
[ ] dmesg | grep -i "oom\|killed" 检查 OOM 事件
[ ] 对比基线数据，确认问题时间点

注意事项

⚠️ 生产环境修改前必读：

1. 记录原始值：sysctl 参数名 保存当前值
先临时生效观察效果，确认无副作用再持久化
生产环境修改前，务必先在测试环境验证
INLINECODE10（严格模式）与多数应用不兼容，慎用
透明大页关闭需持久化到启动脚本，重启会还原
INLINECODE11 在内核 4.12+ 已移除，使用前确认版本
容器环境中部分参数（cgroup 限制）需宿主机/平台侧配合修改

Linux 性能分析与调优全能手册 (linux-perf-master)

本 skill 整合了 linux-perf-advisor、linux-perf-analysis、linux-perf-tune、linux-performance-analyzer 四个专项 skill 的精华内容，提供完整的性能诊断→根因分析→优化实施→验证回滚闭环能力。

📋 分析工作流

第一步：收集现场数据（运行快照脚本或手动采集）
↓
第二步：识别瓶颈类型（CPU / 内存 / I/O / 网络 / 编译）
↓
第三步：查阅对应参考文档深入分析
↓
第四步：输出标准化分析报告（含问题/原因/方案/风险/验证/回滚）
↓
第五步：实施优化并验证效果

第一步：快速数据采集

方式一：使用采集脚本（推荐）

bash

系统快照（全面）

bash scripts/collect_snapshot.sh

持续监控（后台运行，每5秒采样）

bash scripts/perf_monitor.sh &

方式二：手动快速诊断命令

bash

① 负载概览

uptime && cat /proc/loadavg

② 内存状态

③ CPU + 进程

top -bn1 | head -20 mpstat -P ALL 1 3

④ I/O

iostat -xz 1 3 iotop -o -b -n 3 | head -20

⑤ 网络

ss -s ss -ant | awk {print $1} | sort | uniq -c | sort -rn

⑥ 内核参数现状

sysctl -a 2>/dev/null | grep -E ^vm\.|^net\.|^kernel\.sched | head -60

⑦ 上下文切换

vmstat 1 5

⑧ OOM 历史

dmesg | grep -iE oom|killed process | tail -20

⑨ 中断分布

cat /proc/interrupts | sort -k2 -rn | head -20

⑩ 磁盘空间

df -h && lsblk

第二步：瓶颈快速识别表

现象	可能瓶颈	参考文档
load average 持续 > CPU核数×2	CPU 饱和或 I/O 等待	references/cpu.md
vmstat cs（上下文切换）> 10万/秒

第三步：分析报告输出格式规范

每个问题按以下六要素输出，格式统一：

markdown

🔴/🟡/🟢 问题名称（优先级 P0/P1/P2）

【问题】
观察到的指标数据和异常现象

【原因】
根因推断和分析

【方案】
bash

具体优化命令

【风险】
改动的副作用和注意事项

【验证】
bash

验证效果的命令

【回滚】
bash

回滚命令

报告汇总表格模板

markdown

优先级	问题	影响范围	操作难度	建议操作
🔴 P0	...	...	低/中/高	...

第四步：常见场景快速处理

🔴 内存问题

核心调优（详见 references/memory.md）：
bash

Swap 倾向（服务器推荐 10，数据库推荐 1）

sysctl -w vm.swappiness=10

增大内核保留内存（防止 OOM 误杀关键进程）

sysctl -w vm.minfreekbytes=262144 # 256MB

脏页回写（写密集场景）

sysctl -w vm.dirty_ratio=10 sysctl -w vm.dirtybackgroundratio=5

透明大页（数据库/延迟敏感服务关闭）

echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag

保护关键进程免遭 OOM Kill

echo -1000 > /proc//oomscoreadj

🔴 CPU 问题

诊断命令：
bash
mpstat -P ALL 1 5
pidstat -u 1 5
vmstat 1 5 # 重点看 r（运行队列）和 cs（上下文切换）
cat /proc/interrupts | sort -k2 -rn | head -20
perf stat -e cycles,instructions,cache-misses -a sleep 5

核心调优（详见 references/cpu.md）：
bash

减少上下文切换（调度粒度）

sysctl -w kernel.schedmingranularity_ns=10000000
sysctl -w kernel.schedwakeupgranularity_ns=15000000
sysctl -w kernel.schedmigrationcost_ns=5000000

关闭 NUMA 均衡（延迟敏感场景）

sysctl -w kernel.numa_balancing=0

CPU 性能模式

echo performance > /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

进程 CPU 亲和性绑核

taskset -pc 0-3

调整进程优先级

renice -5 -p # 提高优先级 renice +10 -p # 降低优先级

🔴 磁盘 I/O 问题

核心调优（详见 references/disk_io.md）：
bash

I/O 调度器（SSD: mq-deadline 或 none；HDD: bfq）

echo mq-deadline > /sys/block/sda/queue/scheduler

读预读（顺序读为主时增大）

blockdev --setra 4096 /dev/sda # 2MB 预读

增大内核请求队列

echo 256 > /sys/block/sda/queue/nr_requests

脏页控制（防止写爆）

sysctl -w vm.dirty_bytes=268435456 # 256MB sysctl -w vm.dirtybackgroundbytes=67108864 # 64MB

🔴 网络问题

诊断命令：
bash
ss -s
ss -ant | awk {print $1} | sort | uniq -c
netstat -s | grep -E fail|error|drop|overflow|reject | grep -v 0
ip -s link
ping -c 100 | tail -3

核心调优（详见 references/network.md）：
bash

TIME_WAIT 回收（高并发短连接）

sysctl -w net.ipv4.tcptwreuse=1
sysctl -w net.ipv4.tcpfintimeout=30

端口范围（主动发起连接的服务）

sysctl -w net.ip

linux-performance-analyzerLinux性能分析

linux-performance-analyzer

Linux 性能分析与调优全能手册 (linux-perf-master)

📋 分析工作流

第一步：快速数据采集

方式一：使用采集脚本（推荐）

方式二：手动快速诊断命令

第二步：瓶颈快速识别表

第三步：分析报告输出格式规范

具体优化命令

验证效果的命令

回滚命令

报告汇总表格模板

第四步：常见场景快速处理

🔴 内存问题

🔴 CPU 问题

🔴 磁盘 I/O 问题

🔴 网络问题

🟡 编译优化（详见 references/compile_optimization.md）

参数修改规范

临时生效（立即，重启失效）

持久化（重启后仍生效）

回滚

性能基线与告警阈值

告警阈值参考

建立性能基线

参考文档索引

故障排查清单（10步法）

注意事项

Linux 性能分析与调优全能手册 (linux-perf-master)

📋 分析工作流

第一步：快速数据采集

方式一：使用采集脚本（推荐）

系统快照（全面）

持续监控（后台运行，每5秒采样）

方式二：手动快速诊断命令

① 负载概览

② 内存状态

③ CPU + 进程

④ I/O

⑤ 网络

⑥ 内核参数现状

⑦ 上下文切换

⑧ OOM 历史

⑨ 中断分布

⑩ 磁盘空间

第二步：瓶颈快速识别表

第三步：分析报告输出格式规范

🔴/🟡/🟢 问题名称（优先级 P0/P1/P2）

具体优化命令

验证效果的命令

回滚命令

报告汇总表格模板

第四步：常见场景快速处理

🔴 内存问题

Swap 倾向（服务器推荐 10，数据库推荐 1）

增大内核保留内存（防止 OOM 误杀关键进程）

脏页回写（写密集场景）

透明大页（数据库/延迟敏感服务关闭）

保护关键进程免遭 OOM Kill

🔴 CPU 问题

减少上下文切换（调度粒度）

关闭 NUMA 均衡（延迟敏感场景）

CPU 性能模式

进程 CPU 亲和性绑核

调整进程优先级

🔴 磁盘 I/O 问题

I/O 调度器（SSD: mq-deadline 或 none；HDD: bfq）

读预读（顺序读为主时增大）

增大内核请求队列

脏页控制（防止写爆）

🔴 网络问题

TIME_WAIT 回收（高并发短连接）

端口范围（主动发起连接的服务）

标签

通过对话安装

方式一：安装 SkillHub 和技能

方式二：设置 SkillHub 为优先技能安装源

通过命令行安装

下载