Tự động hóa nghiên cứu internet với Apify và n8n

Bài viết này khám phá một hệ thống để tự động hóa nghiên cứu internet sử dụng Apify và n8n, minh họa cách thu thập dữ liệu, thực hiện các yêu cầu API và tạo báo cáo được gửi trực tiếp đến kênh Slack của bạn. Tự động hóa này có thể được áp dụng cho nhiều tác vụ khác nhau như tổng hợp tin tức hàng ngày, cập nhật thông tin đối thủ cạnh tranh và tạo leads, giúp tiết kiệm thời gian và công sức đáng kể.

Giới thiệu: Nhu cầu nghiên cứu tự động

Luôn cập nhật về tin tức và xu hướng AI mới nhất

Làm việc tại công ty phát triển AI, việc cập nhật thông tin về công nghệ, xu hướng và tin tức mới nhất là rất quan trọng. Điều này đòi hỏi nghiên cứu liên tục, có thể tốn rất nhiều thời gian. Hệ thống được mô tả ở đây tự động hóa quy trình nghiên cứu này, gửi báo cáo hàng ngày với thông tin liên quan trực tiếp đến kênh Slack đã được chỉ định. Điều này loại bỏ nhu cầu tìm kiếm bài viết bằng tay, cải thiện đáng kể quy trình nghiên cứu.

Demo: Gửi báo cáo AI tự động đến Slack

Báo cáo tự động trong Slack

Video minh họa một hệ thống tự động nghiên cứu xu hướng AI mới nhất mỗi sáng và gửi báo cáo đến kênh Slack. Báo cáo chứa các đường link đến các bài viết liên quan, loại bỏ bước thực hiện thủ công trong quá trình nghiên cứu.

Ví dụ, báo cáo Slack hiển thị các bài viết về "vai trò ngày càng tăng của AI trong thanh toán B2B," "một cuộc cách mạng trong ngành robot," và "kho hàng được hỗ trợ bởi AI," tất cả đều có đường link trực tiếp đến tài liệu nguồn. Điều này cho thấy cách tự động hóa thu thập các bài viết liên quan và trình bày chúng ở định dạng dễ tiêu hóa, sẵn sàng cho việc xem xét. Hệ thống có thể linh hoạt và được cấu hình để gửi báo cáo qua email hoặc WhatsApp. Ngoài việc chỉ liên kết đến các bài viết, hệ thống có thể được nâng cấp để tóm tắt thông tin đã thu được, cung cấp phân tích sâu hơn bằng các nền tảng như Perplexity, hoặc kích hoạt các hành động cụ thể dựa trên dữ liệu đã tìm thấy.

Xây dựng quy trình làm việc: Thu thập dữ liệu với Apify và n8n

Trực quan hóa quy trình làm việc trên bảng điều khiển

Để minh họa quá trình xây dựng, một bảng điều khiển giúp đơn giản hóa việc visualization của quy trình làm việc. Hệ thống sử dụng Apify, một nền tảng thu thập dữ liệu và tự động hóa web, và n8n, một công cụ tự động hóa quy trình làm việc.

Quá trình bắt đầu bằng việc xác định một tác vụ lặp đi lặp lại hoặc dữ liệu cần tìm kiếm thường xuyên. Trong ví dụ, tác vụ lặp đi lặp lại của người trình bày là nghiên cứu công nghệ mới và xu hướng AI.

Đầu tiên, xác định những gì cần tự động hóa. Có nhiều ví dụ về các phòng ban:

• Nghiên cứu đối thủ: Giám sát các cập nhật từ đối thủ, thay đổi giá và ra mắt sản phẩm mới.
• Nghiên cứu thị trường: Phân tích các đánh giá của khách hàng để tìm các điểm bất tiện, theo dõi giá sản phẩm trên các trang web của đối thủ và giám sát thay đổi trong các tài liệu tuân thủ.
• Giám sát ngành: Thu thập các bài viết về tự động hóa AI, theo dõi các chủ đề đang thịnh hành trên Google News, và giám sát các khoản đầu tư hoặc tài trợ trong ngành.
• Tạo leads: Thu thập thông tin liên hệ từ các nguồn khác nhau.
• Tạo nội dung: Tổng hợp thông tin từ các nguồn khác nhau để tạo nội dung.

Tiếp theo, xác định Apify có "actors" (mô-đun hoặc API) hiện có phù hợp với tác vụ hay không. Ví dụ, việc thu thập Google News cho các xu hướng tự động hóa AI có thể tận dụng Google News scraper actor.

Quy trình làm việc trong n8n bắt đầu bằng một nút "Cron," lên lịch để tự động hóa chạy hàng ngày vào lúc 9:00 sáng. Nút này kích hoạt toàn bộ quy trình mỗi buổi sáng.

Thực hiện yêu cầu API: Kết nối n8n với Apify

Cài đặt nút HTTP request trong n8n

Hệ thống tương tác với Apify qua các yêu cầu HTTP trong n8n. Một nút "HTTP Request" chuyên dụng được sử dụng cho mục đích này.

Dưới đây là chi tiết:

1. API Endpoint: Endpoint API của Apify actor được nhập vào trường URL của nút HTTP Request. Endpoint này, cùng với API key cần thiết, khởi động quy trình thu thập dữ liệu trên Apify. Thông tin này được tìm thấy trên nền tảng Apify dưới API -> Endpoints. Đối với quy trình làm việc này, endpoint là: api.apify.com/v2/actor-runs.
2. Headers: Nút HTTP Request bao gồm các tiêu đề để chỉ định kiểu nội dung. Trong quy trình làm việc này, Content-Type được đặt là application/json, cho thấy cấu trúc json để giao tiếp giữa n8n và Apify.
3. Body: Nội dung body cho yêu cầu API được định dạng bằng JSON, xác định các tham số thu thập cho actor Apify được chọn. Điều này bao gồm chi tiết như từ khóa tìm kiếm ("Emerging AI Technologies"), ngày bắt đầu và kết thúc tìm kiếm, và giới hạn bộ nhớ (bộ nhớ được cấp cho actor, tính bằng mb).
4. Xác thực: API key của Apify được bao gồm trong các tham số header hoặc trực tiếp trong URL endpoint API trong nút HTTP request để xác thực yêu cầu. API key này cho phép n8n giao tiếp an toàn và chạy scraper trên Apify. Giới hạn bộ nhớ (&memory=1024) được thêm vào trong URL.

Truy cập Hệ thống và Sử dụng Kết quả

Quy trình làm việc n8n hoàn chỉnh

Quy trình làm việc n8n hoàn chỉnh được trình bày, cho thấy các kết nối và thứ tự tác vụ được thực hiện: nút cron, nút set, nhiều nút HTTP request, và nút Slack. Hệ thống có thể được tùy chỉnh thêm. Ví dụ, sau khi thu được các đường link, một nút riêng biệt có thể được thêm vào để sử dụng dịch vụ như Perplexity để tóm tắt các bài viết trước khi đăng lên kênh Slack.

Truy cập toàn bộ quy trình làm việc, bao gồm hướng dẫn cài đặt, có sẵn trong cộng đồng trả phí được liên kết trong mô tả video. Người tạo nội dung cũng mời các chủ doanh nghiệp đang tìm kiếm giải pháp AI tùy chỉnh áp dụng thông qua liên kết được cung cấp trong mô tả.

Xây dựng quy trình làm việc này bao gồm ba yêu cầu HTTP chính:

1. Khởi động Apify Actor: Đây là bước lấy ID actor run, bao gồm các cài đặt tùy chỉnh như chủ đề tìm kiếm và tham số dữ liệu được định dạng bằng JSON.
2. Lấy ID Dataset: ID Dataset được lấy dựa trên ID run từ giai đoạn một, cho phép truy cập dữ liệu đã thu thập.
3. Lấy dữ liệu và gửi đến Slack: Cuối cùng, sử dụng ID Dataset từ giai đoạn hai, một yêu cầu API được thực hiện để lấy toàn bộ dữ liệu, sau đó phân tích và gửi đến Slack như báo cáo hàng ngày.

Cách tiếp cận mô-đun này cho phép thích ứng với các tác vụ thu thập khác bằng cách chỉ cần thay đổi actor Apify và các tham số liên quan trong quy trình làm việc. Hệ thống cũng có thể được mở rộng để gửi báo cáo đến các nền tảng khác như email, WhatsApp, hoặc Google Sheets, thể hiện ứng dụng thực tế rộng rãi hơn.