scrapyd-deploy 把scrapy项目打包上传部署到scrapyd服务端报错 Deploy failed (500)

摘要:
当大纲将草图任务部署到草图服务时,它会遇到问题,并始终失败。错误报告如下:(Deployfailed(500):,部署失败)sketch deploymuji_data_python_spider-pmuji_data__python_SpiderPackingversion1617328541screayd deploy.py:259:报废报废战争

Outline

在把scrapy任务部署到scrapyd服务上时,遇到问题一直不成功:

报错如下:

(Deploy failed (500):,部署失败)

scrapyd-deploy muji_data_python_spider -p muji_data_python_spider

Packing version 1617328541
scrapyd-deploy.py:259: ScrapyDeprecationWarning: Call to deprecated function retry_on_eintr.
  retry_on_eintr(check_call, [sys.executable, 'setup.py', 'clean', '-a', 'bdist_egg', '-d', d], stdout=o, stderr=e)
Deploying to project "muji_data_python_spider" in http://192.168.150.154:6800/addversion.json
Deploy failed (500):
<html><head><title>Processing Failed</title></head><body><b>Processing Failed</b></body></html>

Fix 

经过查询发现问题原因是:

早于18.9的Twisted版本不支持python-3.7,而我当前的Python版本是3.7的,且twisted版本小于18.9;

如果使用的是python-3.7版本,并且twisted版本低于18.9,可以将twisted版本升至大于等于18.9。

eg:

pip install -U Twisted==18.9.0

修改twisted版本后,问题得到解决:

scrapyd-deploy muji_data_python_spider -p muji_data_python_spider

Packing version 1617328797
scrapyd-deploy.py:259: ScrapyDeprecationWarning: Call to deprecated function retry_on_eintr.
  retry_on_eintr(check_call, [sys.executable, 'setup.py', 'clean', '-a', 'bdist_egg', '-d', d], stdout=o, stderr=e)
Deploying to project "muji_data_python_spider" in http://192.168.150.154:6800/addversion.json
Server response (200):
{"node_name": "DESKTOP-8ACKO7I", "status": "ok", "project": "muji_data_python_spider", "version": "1617328797", "spiders": 24}

免责声明:文章转载自《scrapyd-deploy 把scrapy项目打包上传部署到scrapyd服务端报错 Deploy failed (500)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇使用Xcode IDE写node.js使用imeOptions下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

python websocket 客户端连接

# -*- coding: utf-8 -*-import jsonimport websocketimport _thread as thread # try:# import thread# except ImportError:# import _thread as thread def on_message(self, message):   #...

Linux下安装numpy

转自:https://blog.csdn.net/abc_321a/article/details/82056019 1.下载源码包 ,命令如下wget http://jaist.dl.sourceforge.net/project/numpy/NumPy/1.9.0/numpy-1.9.0.zip若提示没有wget,则需要通过“yum install -...

scrapyd远程连接配置

安装scrapyd: pip install scrapyd 默认scrapyd启动是通过scrapyd就可以直接启动,bind绑定的ip地址是127.0.0.1端口是:6800,这里为了其他主机可以访问,需将ip地址设置为0.0.0.0 即将 bind_address = 127.0.0.1  改为 bind_address = 0.0.0.0 scra...

Python标准库

简介: ssh是一个协议,OpenSSH是其中一个开源实现,paramiko是Python的一个库,实现了SSHv2协议(底层使用cryptography)。 有了Paramiko以后,我们就可以在Python代码中直接使用SSH协议对远程服务器执行操作,而不是通过ssh命令对远程服务器进行操作。 Paramiko介绍: paramiko包含两个核心组件:...

python入门(三)

python基本语法1.python的常量与变量   Python常量需要用对象的方式来定义,先定义一个const模块,再导入文件中使用。 定义:const.py,放入Python的lib库中。 1 class _const: 2 class ConstError(TypeError):pass 3 def __setattr__(se...

你真的了解python的with语句吗?通过分析contextlib源码让你彻底掌握with的用法

楔子 下面我们来聊一下Python中的上下文管理,Python中的上下文管理我们可以通过with语句实现。在Python中使用with语句最多的情况,莫过于操作文件了,比如我们在打开一个文件的时候会通过类似于with open("test.txt", encoding="utf-8") as f: 这种形式打开,这种方式的好处就在于with语句结束后会自动...