Scrapy是一个用于爬网网站并提取结构化/非结构化数据的应用程序框架，可用于各种应用程序，例如数据挖掘，信息处理或 信息归档 。 众所周知，这是 "数据"时代。 数据无处不在，每个组织都希望与数据合作并将其业务推向更高的水平。 在这种情况下，Scrapy扮演着至关重要的角色，向这些组织提供数据，以便他们可以在各种应用程序中使用它。 Scrapy不仅能够从网站中抓取数据，而且还能够从Web服务中抓取数据。 例如，Amazon API，Twitter / Facebook API。 如何安装 Scrapy？ 以下是在系统中安装 Scrapy 前 所需安装的第三方软件和软件包。 ・ Python：由于Scrapy是使用Python语言构建的，因此必须首先安装它。 ・ pip：pip是python软件包管理器工具，可维护软件包存储库并自动安装python库及其依赖项。 最好根据系统OS安装pip，然后尝试按照标准方式安装Scrapy。 ・ lxml：这是一个可选软件包，但如果愿意删除html数据，则需要安装。 lxml是一个python库，可帮助构造html树，因为网页使用html层次结构来组织信息或数据。 可以使用 pip安装Scrapy（这是安装Python软件包的典型方法）。 要使用Scrapy安装，请运行： pip install scrapy 如何开始使用 Scrapy？ Scrapy是一个应用程序框架，它提供了许多命令来创建和使用应用程序。 在创建应用程序之前，必须先建立一个新的Scrapy项目。 输入您要存储代码并运行的目录： scrapy startproject test_project 这将在同一目录中创建一个名为 xyz的目录，其内容如下： test_project/ scrapy.cfg test_project/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py 作为应用程序框架， Scrapy遵循项目结构以及面向对象的编程风格，以定义整个应用程序的项目和蜘蛛程序。 scrapy为用户创建的项目结构具有 ・ scrapy.cfg：这是一个项目配置文
Just want to spend this life happier.