因为有需要爬取网页中的某些数据,所以需要安装爬虫需要的几个模块,如beautifulsoup,MySQLdb,cookiejar。
其实之前也配置过爬虫的环境,但是这次运行起来出错了,因为加了cookiejar模块,但是在python3中运行,此模块没有出错。
所以决定在python3中运行,但是得重新安装在python3下运行的beautifulsoup,MySQLdb。
安装的命令行如下:
python3 -m pip install beautifulsoup4
python3 -m pip install mysqlclient
另外记录一下在python3下面安装pip
apt-get install python3-pip