在windows下如何新建爬虫虚拟环境和进行Scrapy安装_皇冠新体育app

Scrapy是Python研发的一个较慢、高层次的屏幕捕捉和web捕捉框架，用作捕捉web站点并从页面中萃取结构化的数据。Scrapy更有人的地方在于它是一个框架，任何人都可以根据市场需求便利的改动。

Scrapy用途普遍，可以用作数据挖掘、监测和自动化测试。1、关于虚拟环境的创立可以参照之前公布的两篇博文，在Windows下如何创立登录的虚拟环境和在Windows下如何创立虚拟环境（配置文件情况下）。下面在登录的文件夹下，必要再行创立环境，在命令行输出环境创立命令“virtualenv－－python＝C：Python34python．exescrapy＿demo”，登录Python的版本和路径，以及虚拟环境的名字scrapy＿demo，其中虚拟环境可以自己展开改动，这里命名为scrapy＿demo。2、尔后转入到scrapy＿demo文件夹下，寻找Scripts文件夹，输出activate．bat以转录虚拟环境，步骤如下图右图。

之后可以看见scrapy＿demo被括号含一起了，解释转入了环境，在命令行中输出python，可以看见必要插入Python3的环境。3、新建完了虚拟环境之后，接下来就开始加装Scrapy，输出加装命令“pipinstallScrapy”或者“pipinstall－ihttps：／／pypi．douban．com／simple／Scrapy”，后面这个命令是通过源镜像展开iTunes，速度不会慢很多，而且更为平稳，建议用于该方法展开加装，Python中的其他库也建议用该命令展开加装，十分的方便快捷。输出命令之后，等候Scrapy的加装，如下图右图。

4、可以看见Scrapy的加装速度十分慢，因为我们用于了镜像展开iTunes。不过稍等片刻之后可能会遇到timeout的问题，这是由于Scrapy加装的过程中必须很多倚赖包在，造成iTunes过程中不会遇上网络延时的问题，此时只必须新的输出加装命令展开加装才可。除了timeout的问题之外，有可能还不会遇到右图这个问题。

5、这个问题的经常出现是因为缺少Twisted倚赖包在，此时通过“pipinstalltwisted”有可能有问题，在Python包在网站，里边的Python包在专门用作Windows下的加装的。在网页中寻找Twisted安装包，然后自由选择本机Python对应版本和电脑系统位数的安装包，小编的电脑是64位的，而且Python版本是Python3．4，所以iTunes的包在如下图红色框框右图。

本文来源：皇冠新体育app-www.hndmkqz.com