作者：David Pilato
我们在之前的文章中已经了解了如何丰富 Elasticsearch 本身和 Logstash 中的数据。 但如果我们可以从边缘设备中做到这一点呢？ 这将减少 Elasticsearch 要做的工作。 让我们看看如何从具有代理处理器的 Elastic 代理中执行此操作。
Elastic Agent 处理器是轻量级处理组件，可用于解析、过滤、转换和丰富源数据。 例如，你可以使用处理器来：
- 减少导出字段的数量
- 使用附加元数据增强事件
- 执行额外的处理和解码
- 清理数据
这正是我们想要做的，但 Elastic Agent 处理器的限制之一是它无法使用来自 Elasticsearch 或其他自定义数据源的数据来丰富事件。
这意味着我们需要在这里保持非常静态。 我们需要提前知道我们想要用什么来丰富我们的数据。 这不是什么大问题，因为我们随时可以更改代理的配置以在以后添加新的功能。 例如，我们可以将采集管道添加到 Elasticsearch 中，或者将数据从 Elastic Agent 发送到 Logstash 来丰富它。
启动 Elastic 代理
从 Elastic Cloud 运行时，你只需按照说明 enroll 代理或转到 Fleet 控制台并从 “Settings” 选项卡获取 URL：
以及 Enrollment tokens选项卡中的秘密 TOKEN：
由于我想使用 Docker 在本地运行代理，因此我将使用以下命令并将 URL 和 TOKEN 值替换为我的 Fleet 控制台中的值：
1. docker run \
2. --env FLEET_ENROLL=1 \
3. --env FLEET_URL=URL \
4. --env FLEET_ENROLLMENT_TOKEN=TOKEN \
5. -v $(pwd)/datadir:/usr/share/elastic-agent/db \
6. --rm docker.elastic.co/beats/elastic-agent:8.12.0
请注意，我将本地目录安装到 /usr/share/elastic-agent/db ，以便我可以在本文后面共享一些内容。 几秒钟后，你应该在 Fleet 控制台中看到你的代理可用：
添加字段
我们可以使用 add_fields 处理器向文档添加字段。 例如，我们可以在文档中添加 vip 和 name 字段：
1. processors:
2. - add_fields:
3. fields:
4. vip: true
5. name: 'David P'
使用条件
前面的示例将向每个文档添加 vip 和 name 字段。 显然，我们只想在满足条件时添加字段。 例如，只有当 clientip 字段为 30.156.16.164 时，我们才能添加 vip 和 name 字段：
1. processors:
2. - add_fields:
3. when:
4. equals:
5. clientip: '30.156.16.164'
6. fields:
7. vip: true
8. name: 'David P'
由于这里有一个网络 IP 地址，因此我们还可以使用 CIDR 表示法，它不比较 “字符串”，而是比较 “网络地址”。 我们正在使用网络处理器条件：
1. processors:
2. - add_fields:
3. when:
4. network:
5. clientip: '30.156.16.164'
6. fields:
7. vip: true
8. name: 'David P'
使用更多条件
由于我们的条件数量有限，我们可以使用多个 add_fields 处理器根据条件添加字段：
1. processors:
2. - add_fields:
3. when:
4. network:
5. clientip: '30.156.16.164'
6. fields:
7. vip: true
8. name: 'David P'
9. - add_fields:
10. when:
11. network:
12. clientip: '164.85.94.243'
13. fields:
14. vip: true
15. name: 'Philipp K'
使用脚本添加字段
我们还可以使用 script processor 来使用 JavaScript 添加字段。 例如，我们可以根据 clientip 字段的值添加 vip 字段：
1. processors:
2. - script:
3. lang: javascript
4. source: >
5. function process(event) {
6. var clientip = event.Get('network.clientip');
7. if (clientip == '30.156.16.164') {
8. event.Put('vip', true);
9. event.Put('name', 'David P');
10. }
11. }
这里我们内联了脚本，但我们也可以使用包含脚本的文件：
1. processors:
2. - script:
3. lang: javascript
4. file: /usr/share/elastic-agent/db/enrich.js
而 enrich.js 的内容是：
1. function process(event) {
2. var clientip = event.Get('network.clientip');
3. if (clientip == '30.156.16.164') {
4. event.Put('vip', true);
5. event.Put('name', 'David P');
6. }
7. }
还有另一个有趣的选项允许我们从一个目录加载多个脚本：
1. processors:
2. - script:
3. lang: javascript
4. files:
5. - /usr/share/elastic-agent/db/dataset.js
6. - /usr/share/elastic-agent/db/enrich.js
我们可以在 dataset.js 中构建 IP 地址和名称之间的映射：
1. var dataset = {
2. '30.156.16.164': {'vip': true, 'name': 'David P'},
3. '164.85.94.243': {'vip': true, 'name': 'Philipp K' },
4. '50.184.59.162': {'vip': true, 'name': 'Adrienne V' },
5. '236.212.255.77': {'vip': true, 'name': 'Carly R' },
6. '16.241.165.21': {'vip': true, 'name': 'Naoise R' },
7. '246.106.125.113': {'vip': true, 'name': 'Iulia F' },
8. '81.194.200.150': {'vip': true, 'name': 'Jelena Z' },
9. '111.237.144.54': {'vip': true, 'name': 'Matt R' }
10. }
我们现在可以修改 enrich.js 脚本以使用此数据集：
1. function process(event) {
2. var clientip = event.Get('network.clientip');
3. if (dataset[clientip]) {
4. event.Put('vip', dataset[clientip].vip);
5. event.Put('name', dataset[clientip].name);
6. }
7. }
结论
我们现在拥有一组三个解决方案来丰富我们的数据：
- 丰富 Elasticsearch 本身的数据
- 加快 Logstash 中的 Elasticsearch 查找速度
- 使用代理处理器丰富边缘数据
第一个解决方案是最灵活的，但它需要一个具有足够资源的集群来处理负载。 第二种解决方案是一个很好的折衷方案，因为它允许你减少 Elasticsearch 的负载，但它要求你拥有 Logstash 集群。 第三种解决方案是最容易实现的解决方案，但也是最静态的解决方案。
我希望你喜欢这一系列的帖子。 如果你有任何疑问，请随时在 Elastic 社区论坛上提问。