scrapy+splash问题504 Gateway Time-out解决办法
本地用scrapy+splash调试的时候好好的，到了服务器上就奇慢无比，爆出来的错误是：
504GatewayTime-out
这明显是在服务器上，splash渲染页面的时候超时了。
而且在服务器上用curl，或者用浏览器访问，都是非常快的，就是走splash慢了。
导致这个问题的主要原因是：splash在下载某些资源的时候，花的时间太长了，这些资源可能是某个链接，也可能是某张图片、某个js文件或者css文件。
解决办法就是：
- 增加splash请求的超时时间
- 禁止splash下载图片
- 限制资源下载的时间，超过就断开，一般这不会影响页面DOM的下载
具体代码如下：
defstart_requests(self):
forurlinself.start_urls:
yieldSplashRequest(url,
self.parse,
args={'wait':0.5,'viewport':'1024x2480','timeout':90,'images':0,'resource_timeout':10},
)
参考地址：
- 504GatewayTime-out
- scrapysplash504错误解决以及若干建议
热门推荐
10 八一幼儿祝福语大全简短
11 公司乔迁食堂祝福语简短
12 婚礼结束聚餐祝福语简短
13 儿媳买车妈妈祝福语简短
14 毕业送礼老师祝福语简短
15 同事辞职正常祝福语简短
16 恭贺新婚文案祝福语简短
17 金店立秋祝福语简短英文
18 婆婆高寿祝福语大全简短