Spring Cloud Hystrix线程池不足的解决方法
现象:
昨天突然线上很多接口获取失败,通过kibana发现大量异常,具体异常信息:
...intofallback.Rejectedcommandbecausethread-poolqueueSizeisatrejectionthreshold.
异常代码出处:
@FeignClient(name="api",fallbackFactory=LoadBalancingFallbackFactory.class) publicinterfaceLoadBalancingFeignClient{ @PostMapping(value="/api/loadBalancing/server") ResultcurrentServer(); } @Slf4j @Component publicclassLoadBalancingFallbackFactoryimplementsFallbackFactory{ @Override publicLoadBalancingFeignClientcreate(Throwablethrowable){ finalStringmsg=throwable.getMessage(); return()->{ log.error("loadBalancingFeignClientcurrentServerintofallback.{}",msg); returnResult.error(); };**** } }
原因:
看到这里已经很明显了,是由于hystrix线程池不够用,直接熔断导致的。
项目apollo配置:
hystrix.command.default.execution.isolation.thread.timeoutInMilliseconds=3500 hystrix.threadpool.default.maxQueueSize=60 hystrix.threadpool.default.queueSizeRejectionThreshold=40
hystrix参数简析:
maxQueueSize:线程池大小,默认为-1,创建的队列是SynchronousQueue,如果设置大于0则根据其大小创建LinkedBlockingQueue。
queueSizeRejectionThreshold:动态控制线程池队列的上限,即使maxQueueSize没有达到,达到queueSizeRejectionThreshold该值后,请求也会被拒绝,默认值5
相关源码:
hystrix-core-1.5.12-sources.jar!/com/netflix/hystrix/strategy/concurrency/HystrixContextScheduler.java
privateclassHystrixContextSchedulerWorkerextendsWorker{ privatefinalWorkerworker; privateHystrixContextSchedulerWorker(WorkeractualWorker){ this.worker=actualWorker; } @Override publicvoidunsubscribe(){ worker.unsubscribe(); } @Override publicbooleanisUnsubscribed(){ returnworker.isUnsubscribed(); } @Override publicSubscriptionschedule(Action0action,longdelayTime,TimeUnitunit){ if(threadPool!=null){ if(!threadPool.isQueueSpaceAvailable()){ thrownewRejectedExecutionException("Rejectedcommandbecausethread-poolqueueSizeisatrejectionthreshold."); } } returnworker.schedule(newHystrixContexSchedulerAction(concurrencyStrategy,action),delayTime,unit); } @Override publicSubscriptionschedule(Action0action){ if(threadPool!=null){ if(!threadPool.isQueueSpaceAvailable()){ thrownewRejectedExecutionException("Rejectedcommandbecausethread-poolqueueSizeisatrejectionthreshold."); } } returnworker.schedule(newHystrixContexSchedulerAction(concurrencyStrategy,action)); } }
解决办法:
- 适当调大Hystrix线程队列参数
- 动态水平扩容服务
- 优化下游服务,减少服务响应时间
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。