作者：来自 Elastic Lionel Palacin

为了演示如何使用 Elastic 网络爬虫，我们将以一个具体的网站为例，讲解如何在该网站上添加搜索功能。我们将探讨发现网站的方法，并利用 Elastic 网络爬虫提供的功能，以最佳方式准备待搜索的数据。

在本文中，我们将使用 Elastic Cloud 8.13 版本。

有关网络爬虫的更多内容，请详细阅读：

• Enterprise：Web Crawler 基础 （一）（二）
• ChatGPT 和 Elasticsearch：OpenAI 遇见私有数据（二）

Elastic 网络爬虫

是一个开箱即用的工具，使用户能够抓取网站内容并将其导入 Elasticsearch。

Elastic 网络爬虫从访问入口点 URL 开始每次爬取。从这里开始，爬虫获取网页内容并提取之。HTML 文档被转换成搜索文档并进行索引。

然后，它会跟随该页面指向的任何链接，遵守用户定义的规则集。使用相同的方法访问新的 URL，直到爬虫索引了所有可访问的网页。如果一个网页没有链接指向，爬虫就无法找到它。

网站发现

首次爬取

我们将以 “Books to Scrape” 网站作为爬取的简单网站示例，这是一个提供书籍信息选择的网站，专门为测试网络爬虫而设计。

如果你使用的是 Elastic Cloud，设置非常简单，因为 Elastic 网络爬虫是开箱即用的。如果你管理自己的 Elastic 部署，请确保检查此页面以了解需求。

让我们从 Kibana 首页开始。从那里，导航到搜索解决方案，然后创建一个新的网络爬虫。

为索引提供一个名称，在我们的例子中是 search-books，并在下一个屏幕中输入主网站 URL：https://books.toscrape.com/。然后验证域名，并等待执行一些检查，以确保该域名可以被爬取。

在这一点上，让我们通过点击 “Crawl => Crawl all domains” 来使用默认配置爬取网站。这样做，我们将看到正在被爬取的链接以及如何为每个网页索引文档。

查看文档列表时，我们会看到一些类别页面也被爬取了，但我们对这些页面不感兴趣，因为我们只想爬取书籍详情页面。

另外一个我们在展开书籍文档时注意到的问题是，书籍的价格或摘要在 body_content 字段中混合在一起。这使得这些重要信息在搜索查询中不易使用。

定义爬取规则

从我们的第一次爬取中，我们注意到 category 页面也被爬取了，而我们对它们不感兴趣，所以让我们将它们排除在爬取之外。

在爬取规则下，添加一个新规则来禁止爬取以路径模式 /catalogue/category/ 开头 (Begins with) 的页面。

现在我们可以在新规则生效的情况下重新进行一次爬取。

注意：作为探索过程的一部分，每次更改网络爬虫配置时，我建议删除内容。在最后一章 “准备生产部署” 中，我们将看到如何在不手动删除数据的情况下重新运行网络爬虫。

1.  # Delete all documents
2.  POST search-books/_delete_by_query
3.  {
4.    "query": {"match_all": {}}
5.  }

丰富数据

默认情况下，Elastic 网络爬虫使用默认模式从网页中提取所有信息。例如，HTML 标签