scrapy 安装Scrapy

示例

刮板安装的前提条件:

  • Python 2.7或更高版本3.3

  • pip和setuptools Python软件包。

  • xml文件

  • OpenSSL。

您可以使用pip安装Scrapy。要使用piprun安装:

pip install Scrapy


平台特定的安装


水蟒

这是安装Scrapy的推荐方法。

如果您已经安装了Anaconda或Miniconda,Scrapinghub公司将维护适用于Linux,Windows和OS X的官方conda软件包。

要使用conda安装Scrapy,请运行:

conda install -c scrapinghub scrapy


Ubuntu 9.10或更高版本

使用官方的Ubuntu软件包,该软件包已经为您解决了所有依赖性,并且会不断更新最新的错误修复程序。

如果您希望在本地构建python依赖项而不是依赖系统软件包,则需要先安装其所需的非python依赖项:

sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

pip之后,您可以安装Scrapy :

pip install Scrapy


Archlinux

您可以按照一般说明进行操作,也可以从AUR Scrapy软件包中安装Scrapy:

yaourt -S scrapy


视窗

Windows尚不支持Scrapy with Python 3。

请按照以下步骤在Windows上安装scrapy:

  • 安装Python 2.7

  • 调整PATH环境变量以包含Python可执行文件和其他脚本的路径。需要将以下路径添加到PATH:

    C:\ Python27; C:\ Python27 \ Scripts;

  • 从这里安装pywin32

  • 让我们安装Scrapy:

     pip install Scrapy

Mac OS X

构建Scrapy的依赖项需要C编译器和开发标头的存在。在OS X上,这通常由Apple的Xcode开发工具提供。要安装Xcode命令行工具,请打开一个终端窗口并运行:

xcode-select --install

存在一个已知问题,无法pip更新系统软件包。必须解决此问题才能成功安装Scrapy及其依赖项。以下是一些建议的解决方案:

  • (推荐)不要使用系统python,安装新的更新版本,该版本应与系统的其余部分不冲突。使用自制程序包管理器的方法如下:

    • 按照http://brew.sh/中的说明安装自制软件

    • 更新PATH变量以声明应在系统软件包之前使用自制软件软件包(如果将zsh用作默认外壳,请更改.bashrc为.zshrc一致):

      echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
    • 重新加载.bashrc以确保已进行更改:

      source ~/.bashrc
    • 安装python:

      brew install python
    • 最新版本的python已pip捆绑在一起,因此您无需单独安装。如果不是这种情况,请升级python:

      brew update; brew upgrade python
  • (可选)在隔离的python环境中安装Scrapy。

    此方法是上述OS X问题的解决方法,但它是管理依赖项的总体良好做法,可以补充第一种方法。

    virtualenv是可用于在python中创建虚拟环境的工具。我们建议您阅读http://docs.python-guide.org/en/latest/dev/virtualenvs/之类的教程作为入门。

这些解决方法中的任何一种之后,您都应该能够安装Scrapy:

pip install Scrapy