排查线上JVM CPU飙升使用率高和线程死锁问题

一、排查CPU飙升使用率高问题

在开始前新建一个SpringBoot项目构建CPU使用率高的场景：

@RestController
public class JvmThread1Controller {

    ThreadPoolExecutor executor = new ThreadPoolExecutor(
            10,
            15,
            2,
            TimeUnit.SECONDS,
            new LinkedBlockingDeque(50),
            new ThreadPoolExecutor.CallerRunsPolicy()
    );

    @GetMapping("/cpuUsageRate")
    public String cpuUsageRate() {
        executor.submit(() -> {
            int i = 0;
            while (true) {
                i = i++ * 10 + 5;
                System.out.println(i);
            }
        });
        return "success";
    }
}

上面声明了一个线程池，每次使用线程就从这个里面取，在cpuUsageRate接口中，写了一个死循环，每次都对i进行计算，程序运行起来，肯定cpu的使用率特别高。

启动应用，调用cpuUsageRate接口。

通过top查看cpu使用情况：

可以看到有个java应用的cpu使用率已经达到了100%，不出意外这就是上面启动的java服务，下面假设不知道问题在哪，看是否能分析出问题点。

排查过程

使用jcmd查看所有java进程：

jcmd

线程死锁_线程死锁是什么_线程死锁的原因及解决方法

这个就是上面启动的java服务，上面的top中已经看出就是他cpu占用非常高，下面使用top -Hp查看该进程下的线程资源占用情况：

top -Hp 30038

线程死锁的原因及解决方法_线程死锁_线程死锁是什么

可以看到线程ID为30077的使用率非常高，下面可以通过jstack查看该线程的详细情况，但jstack中的ID是16机制的，30077是10进制的，因此需要通过printf ‘%xn’转换：

printf '%xn' 30077

有了线程ID后，就可以通过jstack查看详情，-A 50表示关键位置后面50行的信息都取出来：

jstack 30038 | grep -A 50 757d

从提示的位置查找代码，可以非常清晰的找到问题所在：

线程死锁_线程死锁的原因及解决方法_线程死锁是什么

二、排查线程死锁问题

上面我们定位到cpu使用率大的线程及定位到了具体位置，这里我们继续定位线程死锁问题，在开始前我们先构建一个死锁的环境：

@RestController
public class JvmThread2Controller {

    ThreadPoolExecutor executor = new ThreadPoolExecutor(
            10,
            15,
            2,
            TimeUnit.SECONDS,
            new LinkedBlockingDeque(50),
            new ThreadPoolExecutor.CallerRunsPolicy()
    );
 
    @GetMapping("/threadLock")
    public String threadLock() {
        Object resourceA = new Object();
        Object resourceB = new Object();
        executor.submit(() -> {
            synchronized (resourceA) {
                try {
                    TimeUnit.SECONDS.sleep(1);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                synchronized (resourceB) {
                }
            }
        });
        executor.submit(() -> {
            synchronized (resourceB) {
                try {
                    TimeUnit.SECONDS.sleep(1);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                synchronized (resourceA) {
                }
            }
        });
        return "success";
    }
}