Goon使用 Apify 和 n8n 自动化互联网研究
本文探讨了一种使用 Apify 和 n8n 自动化互联网研究的系统，演示了如何抓取数据、调用 API 和生成直接发送到您的 Slack 频道的报告。这种自动化可以应用于各种任务，如收集每日新闻、竞争对手更新和潜在客户生成，为您节省大量时间和精力。
引言：自动化研究的需求
作为一家 AI 开发公司，了解最新技术、趋势和新闻至关重要。这需要持续的研究，而这一过程可能非常耗时。这里描述的系统自动化了这一研究过程，每天将包含相关信息的报告直接发送到指定的 Slack 频道。这消除了手动搜索文章的需要，显著简化了研究工作流。
演示：自动发送 AI 新闻到 Slack
演示展示了一个系统，该系统每天早晨自动研究最新的 AI 趋势，并将报告发送到 Slack 频道。报告包含相关文章的链接，消除了手动研究的步骤。
例如，Slack 报告显示了关于“AI 在 B2B 支付中的日益重要作用”、“机器人技术的革命”和“AI 支持的仓库”的文章，所有文章都有直接链接到源材料。这展示了自动化如何收集相关文章并将它们以易于消化的格式呈现，以便审查。除了链接文章，系统还可以进一步增强，以总结获取的信息，使用平台（如 Perplexity）进行更深入的分析，或根据找到的数据触发特定操作。
构建工作流：使用 Apify 和 n8n 抓取数据
为了说明构建过程，镜像板简化了工作流的可视化。该系统利用 Apify（一个网络抓取和自动化平台）和 n8n（一个工作流自动化工具）。
过程从识别重复任务或经常搜索的数据开始。在示例中，演讲者的重复任务是研究新兴技术和 AI 趋势。
首先，确定需要自动化的任务。提供了几个部门的示例：
- 竞争对手研究： 监控竞争对手的更新、价格变动和产品发布。
- 市场研究： 分析客户评论中的痛点，跟踪竞争对手网站上的产品价格，监控合规文档的变化。
- 行业监测： 抓取关于 AI 自动化的文章，跟踪 Google 新闻上的热门话题，监测行业资金或投资。
- 潜在客户生成： 从各种来源抓取联系信息。
- 内容创作： 从各种来源聚合信息以进行内容创作。
接下来，确定 Apify 是否有适用于任务的现有“演员”（模块或 API）。例如，抓取 Google 新闻中的 AI 自动化趋势可以利用 Google 新闻抓取器演员。
n8n 的工作流从一个“Cron”节点开始，安排每天早上 9:00 运行自动化。这个节点每天早晨触发整个过程。
调用 API：将 n8n 与 Apify 连接
系统通过 n8n 中的 HTTP 请求与 Apify 互动。为此使用了一个专门的“HTTP 请求”节点。
以下是详细的分解：
- API 终端： 在 HTTP 请求节点的 URL 字段中输入 Apify 演员的 API 终端。这个终端，加上必要的 API 密钥，会在 Apify 上启动数据抓取过程。这些信息可以在 Apify 平台的 API -> 终端下找到。对于此特定工作流，终端为：
api.apify.com/v2/actor-runs。 - 头部： HTTP 请求节点包含头部以指定内容类型。对于此工作流，
Content-Type设置为application/json，表示 n8n 和 Apify 之间的通信采用 JSON 结构。 - 正文： API 调用的正文内容格式为 JSON，定义了所选 Apify 演员的抓取参数。这包括搜索查询（“新兴 AI 技术”）、搜索的开始和结束日期以及内存限制（分配给演员的内存，以 mb 为单位）。
- 认证： Apify API 密钥包含在头部参数中或直接嵌入 HTTP 请求节点中的 API 终端 URL 以认证调用。这个密钥允许 n8n 安全地与 Apify 通信并运行抓取器。内存分配（
&memory=1024）在 URL 中添加。
访问系统和利用成果
展示了完成的 n8n 工作流，显示了任务执行的连接和顺序：Cron 节点、设置节点、多个 HTTP 请求节点和一个 Slack 节点。系统可以进一步定制。例如，在获取链接后，可以添加一个单独的节点，使用像 Perplexity 这样的服务来总结文章，然后再发布到 Slack 频道。
完整工作流的访问，包括设置说明，可以在视频描述中链接的付费社区中找到。内容创作者还邀请寻求定制 AI 解决方案的企业主通过视频描述中提供的链接申请。
构建该工作流涉及三个主要的 HTTP 请求：
- 启动 Apify 演员： 这会获取演员运行 ID，包括以 JSON 格式设置的搜索主题和数据参数。
- 获取数据集 ID： 根据第一阶段的运行 ID 获取数据集 ID，从而访问抓取的数据。
- 获取数据并发送到 Slack： 最后，使用第二阶段的数据集 ID，调用 API 获取所有数据，然后解析并发送到 Slack 作为每日报告。
这种模块化方法允许通过简单更改 Apify 演员及其相关参数来适应其他抓取任务。系统还可以扩展到将报告发送到其他平台，如电子邮件、WhatsApp 或 Google 表格，展示更广泛的实用应用。