Linux问题分析与性能优化
目录排查顺序
整体情况：-
top/htop/atop命令查看进程/线程、CPU、内存使用情况，CPU使用情况； -
dstat 2查看CPU、磁盘IO、网络IO、换页、中断、切换，系统I/O状态; -
vmstat 2查看内存使用情况，内存状态； -
iostat -d -x 2查看所有磁盘的IO情况，系统I/O状态； -
iotop查看IO靠前的进程，系统的I/O状态； -
perf top查看占用CPU最多的函数，CPU使用情况； -
perf record -ag -- sleep 15;perf report查看CPU事件占比，调用栈，CPU使用情况； -
sar -n DEV 2查看网卡的吞吐，网卡状态； -
/usr/share/bcc/tools/filetop -C查看每个文件的读写情况，系统的I/O状态； -
/usr/share/bcc/tools/opensnoop显示正在被打开的文件，系统的I/O状态； -
mpstat -P ALL 1单核CPU是否被打爆； -
ps aux --sort=-%cpu按CPU使用率排序，找出CPU消耗最多进程； -
ps -eo pid,comm,rss | awk '{m=$3/1e6;s["*"]+=m;s[$2]+=m} END{for (n in s) printf"%10.3f GB %s\n",s[n],n}' | sort -nr | head -20统计前20内存占用； -
awk 'NF>3{s["*"]+=s[$1]=$3*$4/1e6} END{for (n in s) printf"%10.1f MB %s\n",s[n],n}' /proc/slabinfo | sort -nr | head -20统计内核前20slab的占用；
-
pidstat 2 -p 进程号查看可疑进程CPU使用率变化情况； -
pidstat -w -p 进程号 2查看可疑进程的上下文切换情况； -
pidstat -d -p 进程号 2查看可疑进程的IO情况； -
lsof -p 进程号查看进程打开的文件； -
strace -f -T -tt -p 进程号显示进程发起的系统调用；
-
ethtool -S查看网卡硬件情况； -
cat/proc/net/softnet_stat/ifconfig eth1查看网卡驱动情况； -
netstat -nat|awk '{print awk $NF}'|sort|uniq -c|sort -n查看连接状态分布； -
ss -ntp或者netstat -ntp查看连接队列； -
netstat -s
方法论
RED方法：监控服务的请求数（Rate）、错误数（Errors）、响应时间（Duration）。Weave Cloud在监控微服务性能时提出的思路。USE方法：监控系统资源的使用率（Utilization）、饱和度（Saturation）、错误数（Errors）。
性能分析工具
Linux 内核的各个子系统出发，汇总了对各个子系统进行性能分析时，你可以选择的工具。不过，虽然这个图是性能分析最好的参考资料之一，它其实还不够具体。比如，当你需要查看某个性能指标时，这张图里对应的子系统部分，可能有多个性能工具可供选择。但实际上，并非所有这些工具都适用，具体要用哪个，还需要你去查找每个工具的手册，对比分析做出选择。CPU分析思路
首先，从 CPU 的角度来说，主要的性能指标就是 CPU 的使用率、上下文切换以及 CPU Cache 的命中率等。下面这张图就列出了常见的 CPU 性能指标。
内存分析思路
接着我们来看内存方面。从内存的角度来说，主要的性能指标，就是系统内存的分配和使用、进程内存的分配和使用以及 SWAP 的用量。下面这张图列出了常见的内存性能指标。
IO分析思路
从文件系统和磁盘 I/O 的角度来说，主要性能指标，就是文件系统的使用、缓存和缓冲区的使用，以及磁盘 I/O 的使用率、吞吐量和延迟等。下面这张图列出了常见的 I/O 性能指标。
网络分析思路
从网络的角度来说，主要性能指标就是吞吐量、响应时间、连接数、丢包数等。根据 TCP/IP 网络协议栈的原理，我们可以把这些性能指标，进一步细化为每层协议的具体指标。这里我同样用一张图，分别从链路层、网络层、传输层和应用层，列出了各层的主要指标。
基准测试工具
除了性能分析外，很多时候，我们还需要对系统性能进行基准测试。比如，- 在文件系统和磁盘 I/O 模块中，我们使用 fio 工具，测试了磁盘 I/O 的性能。
- 在网络模块中，我们使用 iperf、pktgen 等，测试了网络的性能。
- 而在很多基于 Nginx 的案例中，我们则使用 ab、wrk 等，测试 Nginx 应用的性能。
参考
- 相当一部分内容来自极客时间出品的倪鹏飞专栏《Linux性能优化》, 这是之前这个专栏的学习笔记。
- 另一份资料是IBM红宝书Linux性能调优指南。
- 此外，The Linux Documentation Project是一个非常好的资料库。
- 将硬件中断的处理任务分配个多个CPU：SMP affinity and proper interrupt handling in Linux
- Hidden Costs of Memory Allocation
- https://www.lijiaocn.com/soft/linux/
END
开发板/核心板/主板/整机
OEM/ODM
原文标题：Linux问题分析与性能优化
文章出处：【微信公众号：启扬ARM嵌入式开发】欢迎添加关注！文章转载请注明出处。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网
网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
Linux
+关注
关注
87文章
11292浏览量
209318
发布评论请先 登录
相关推荐
Linux之性能优化
一、优化内核相关参数 配置文件/etc/sysctl.conf 配置方法直接将参数添加进文件每条一行 sysctl -a 可以查看默认配置sysctl -p 执行并检测是否有错误 1、网络相关
如何优化DCS系统的性能
优化DCS（分布式控制系统）系统的性能是确保工业自动化过程高效、稳定运行的关键。以下是一些具体的优化措施： 一、硬件优化 设备选择与升级 ：检查并确保DCS系统的硬件设备符合规格要求，
如何优化emc存储性能
性能。 1. 理解存储架构 在进行任何优化之前，了解你的EMC存储系统的架构是至关重要的。这包括识别存储阵列的型号、配置、连接的主机以及存储网络的布局。了解这些基本信息可以帮助你确定可能的性能瓶颈和
如何优化SOC芯片性能
优化SOC（System on Chip，系统级芯片）芯片性能是一个复杂而多维的任务，涉及多个方面的优化策略。以下是一些关键的优化措施： 一、架构设计
如何优化FPGA设计的性能
、延迟、吞吐量等。这些指标应根据系统的性能需求和资源限制来确定。 分析约束 ：了解并考虑所有相关的设计约束，如功耗、成本、可制造性等，以确保优化方案的实际可行性。 二、逻辑设计优化 减
AI大模型的性能优化方法
AI大模型的性能优化是一个复杂而关键的任务，涉及多个方面和策略。以下是一些主要的性能优化方法： 一、模型压缩与优化 模型蒸馏（Model D
linux常用性能优化方法
占用一个本地端口号（与 TCP 协议端口号不一样），相当于一个进程，便于与其它进程进行交互。而Linux内核的TCP/IP 协议实现模块对本地端口号的范围进行了限制。当端口号用尽，就会出现这种错误了。
MySQL性能优化浅析及线上案例
作者：京东健康 孟飞 1、 数据库性能优化的意义 业务发展初期，数据库中量一般都不高，也不太容易出一些性能问题或者出的问题也不大，但是当数据库的量级达到一定规模之后，如果缺失有效的预警、监控、处理等
如何优化Linux服务器的性能
优化Linux服务器的性能是一个综合性的任务，涉及硬件、软件、配置、监控等多个方面。以下是一个详细的指南，旨在帮助系统管理员和运维人员提升Linux服务器的
Linux服务器性能查看方法
Linux服务器性能查看是系统管理员和开发人员在日常工作中经常需要进行的任务，以确保系统稳定运行并优化资源使用。以下将详细介绍多种Linux服务器性
一款3605电源芯片的性能优化与改进思路
在电源设计中，确保电源转换器在各种工作条件下都能提供稳定和高效的性能至关重要。
ASP3605是一款高效同步降压转换器，它提供了多种调节选项，以优化电源的性能。特别是，ITH（Error
发表于 08-23 14:34
基于望获实时Linux的高性能运动控制器适配
国科环宇依托深厚的技术积累与实战经验，成功推出了基于望获实时Linux的高性能运动控制器适配方案。该方案不仅保留了Linux的通用性与兼容性，还通过自研的调度算法、网络优化技术及先进的
OpenHarmony之开机优化
对其进行详细的性能分析，从而优化系统启动速度和运行效率。
三丶开机优化
开机优化的主要目的是为了快速启动开机动画和退出开机动画（显示桌面）。
发表于 07-01 16:39
兆芯正引入Linux首选内核调度技术，优化性能
近期，兆芯工程团队亦在致力于将首选内核调度技术引进Linux系统中。他们试图通过提议的Linux内核补丁，利用已有的ACPI功能来辨别每个核心的特性。这项补丁将在ACPI CPUFreq驱动程序中体现。这意味着调度程序能自动在首要核心上运行任务，使得整体
工商网监
评论