Python 3.9 安装pyspider

摘要:
错误1运行和安装pipinstallpyspider时,您将遇到错误“python”Command“python setup.pyeg_info”failedwitherrorcode1in/tmp/pip build vXo1W3/pycurl Solution这是一个pycurl安装错误。此时,您需要安装PyCurl库。来自[http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycu

错误1

运行安装pip install pyspider 时会遇到报错“pycurl”
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl

Python 3.9 安装pyspider第1张

解决办法

这是PyCurl安装错误,此时需要安装PyCurl库。从[http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl]()找到对应的Python版本,然后下载相应的wheel文件即可。

利用pip安装即可  pip3 install pycurl‑7.43.0.5‑cp39‑cp39‑win_amd64.whl

Python 3.9 安装pyspider第2张

然后重新运行
pip install pyspider

错误2

拉倒最后一行,发现错误如下。
SyntaxError: invalid syntax

解决办法

async从 python3.7 开始已经加入保留关键字中
async不能作为函数的参数名,
需要把async替换为为async_mode。

需要修改的几个文件

E:python3.9Libsite-packagespyspider
un.py
E:python3.9Libsite-packagespyspiderwebuiapp.py
E:python3.9Libsite-packagespyspiderfetcher	ornado_fetcher.py

例:

E:python3.9Libsite-packagespyspider
un.py
231行
245行
365行

Python 3.9 安装pyspider第3张
Python 3.9 安装pyspider第4张
Python 3.9 安装pyspider第5张

E:python3.9Libsite-packagespyspiderwebuiapp.py
95行

Python 3.9 安装pyspider第6张

E:python3.9Libsite-packagespyspiderfetcher	ornado_fetcher.py
81行
89行
95行
117行

Python 3.9 安装pyspider第7张
Python 3.9 安装pyspider第8张
Python 3.9 安装pyspider第9张
Python 3.9 安装pyspider第10张

然后重新运行
pip install pyspider

错误3

AttributeError:mode 'fraction' has no attribute 'gcd'

Python 3.9 安装pyspider第11张

解决办法

修改文件
E:python3.9Libsite-packagespyspiderlibsase_handler.py
1.文件头加入 import math
2.fractions.gcd()改为math.gcd(116行)

Python 3.9 安装pyspider第12张
Python 3.9 安装pyspider第13张

然后重新运行
pip install pyspider

错误4

ValueError: Invalid configuration: - Deprecated option 'domaincontroller': use 'http_authenticator

Python 3.9 安装pyspider第14张
原因是因为WsgiDAV发布了版本 pre-release 3.x

解决办法

修改文件
E:python3.9Libsite-packagespyspiderwebuiwebdav.py (209行)
'domaincontroller': NeedAuthController(app),

修改为:

'http_authenticator':{
        'HTTPAuthenticator':NeedAuthController(app),
    },

Python 3.9 安装pyspider第15张
然后重新运行
pip install pyspider

错误五

ImportError: cannot import name 'DispatcherMiddleware' from 'werkzeug.wsgi'

Python 3.9 安装pyspider第16张

解决办法

werkzeug的版本为1.0.0以上,这个版本中没有DispatcherMiddleware方法,降低版本
pip3 uninstall Werkzeug
pip3 install Werkzeug==0.16.1

成功

执行pyspider all

Python 3.9 安装pyspider第17张

免责声明:文章转载自《Python 3.9 安装pyspider》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇JS 的map和array集合组合返回JSON字符串Linux下的头文件搜索路径下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

基于分布式的短文本命题实体识别之----人名识别(python实现)

目前对中文分词精度影响最大的主要是两方面:未登录词的识别和歧义切分。 据统计:未登录词中中文姓人名在文本中一般只占2%左右,但这其中高达50%以上的人名会产生切分错误。在所有的分词错误中,与人名有关的错误占到了将近90%,这中国人名都是根据人的想法起的名字,有很大的随意性,并且数量巨大,规律也不尽相同。 1.理论简介 命名实体识别(Named Ent...

springboot(十九)-线程池的使用

我们常用ThreadPoolExecutor提供的线程池服务,springboot框架提供了@Async注解,帮助我们更方便的将业务逻辑提交到线程池中异步执行。 话不多说,编码开始: 1.创建springboot工程 创建一个springboot的web工程threadpooldemoserver,pom.xml内容如下: <project xmln...

python基础篇(文件操作)

Python基础篇(文件操作) 一.初始文件操作 使用python来读写文件是非常简单的操作. 我们使用open()函数来打开一个文件, 获取到文件句柄. 然后通过文件句柄就可以进行各种各样的操作了. 根据打开方式的不同能够执行的操 作也会有相应的差异. 打开文件的方式: r, w, a, r+, w+, a+, rb, wb, ab, r+b, w+b...

pywinauto客户端自动化---pywinauto初始

目前流行的自动化就是web,app,接口算是目前最主流的测试内容了,那么如果让做安装windows上的客户端自动化呢?是不是一脸懵?今天安静给大家介绍python的第三方库,可以帮助我们做客户端的自动化 pywinauto pywinauto是一组用于自动化Microsoft Windows GUI的python模块。 最简单的是,它允许您将鼠标和键盘操作...

【291】Python 中字符串添加到剪贴板

参考:如何使用Python将字符串复制到Windows上的剪贴板上? 实现代码如下: from Tkinter import Tk r = Tk() r.withdraw() r.clipboard_clear() r.clipboard_append('复制到剪贴板的内容') r.update() r.destroy() 写成函数的形式:...

使用python爬虫爬取股票数据

前言: 编写一个爬虫脚本,用于爬取东方财富网的上海股票代码,并通过爬取百度股票的单个股票数据,将所有上海股票数据爬取下来并保存到本地文件中 系统环境: 64位win10系统,64位python3.6,IDE位pycharm 预备知识: BeautifulSoup的基本知识,re正则表达式的基本知识 代码: importrequests from bs4 i...