Linux中获取某个进程的系统调用以及参数（故障排查案例）
当一个程序发生故障时，有时候想通过了解该进程正在执行的系统调用来排查问题。通常可以用strace来跟踪。但是当进程已经处于D状态（uninterruptiblesleep）时，strace也帮不上忙。这时候可以通过
cat/proc/<PID>/syscall
来获取当前的系统调用以及参数。
这里用最近排查的一个问题为例。碰到的问题是，发现一台服务器在执行pvcreate创建物理卷的时候卡死，进程状态为D
#psaux|greppvcreate root 8443 0.0 0.0 27096 2152? D Apr04 0:00pvcreate/dev/sddlmac ...
D状态实际是在等待系统调用返回。那么来看看究竟在等待什么系统调用
B0313010:~#cat/proc/8443/syscall 00x70x70f0000x10000x00x7f33e1532e800x7f33e1532ed80x7fff3a6b87180x7f33e128cf00
第一个数字是系统调用号，后面是参数。不同的系统调用所需的参数个数不同。这里的字段数是按最大参数数量来的，所以不一定每个参数字段都有价值。那么怎么知道系统调用号对应哪个系统调用呢？在头文件/usr/include/asm/unistd_64.h中都有定义。也可以用个小脚本来快速查找：
#!/bin/bash
#usage:whichsyscall<syscall_nr>
nr="$1"
file="/usr/include/asm/unistd_64.h"
gawk'$1=="#define"&&$3=="'$nr'"{sub("^__NR_","",$2);print$2}'"$file"
对于不同的系统调用的参数，可以通过man2<系统调用名>查阅。如man2read。对刚才那个例子来说，0就对应了read调用。而read调用的第一个参数是文件描述符。
之后用lsof找到7对应的是什么文件
# lsof-p8443 COMMAND PIDUSER FD TYPEDEVICESIZE/OFF NODENAME ...... pvcreate8443root 5u CHR10,236 0t0 19499/dev/mapper/control pvcreate8443root 6u BLK 253,1 0t819236340797/dev/dm-1 pvcreate8443root 7u BLK 253,5 0t035667968/dev/dm-5
结果发现是个devicemapper的设备文件。最后顺藤摸瓜，发现这个文件是multipathd创建的。而系统应当使用的是存储厂商提供的多路径软件。问题是由于同时开启了multipathd造成冲突导致的。
/proc/<PID>/syscall对排查D状态进程很有用。不过在2.6.18内核上并不支持，具体从哪个内核版本开始有这个功能，还没查到。不过至少从在2.6.32以上版本都是支持的。