इंटरनेट शोध को Apify और n8n के साथ स्वचालित करना

यह लेख Apify और n8n का उपयोग करके इंटरनेट शोध को स्वचालित करने के लिए एक प्रणाली का अन्वेषण करता है, यह प्रदर्शित करता है कि डेटा को कैसे स्क्रैप किया जाए, एपीआई कॉल कैसे की जाए, और स्लैक चैनल में सीधे रिपोर्ट कैसे भेजी जाए। यह स्वचालन विभिन्न कार्यों जैसे दैनिक समाचार इकट्ठा करने, प्रतिस्पर्धी अपडेट, और लीड पीढ़ी के लिए उपयोग किया जा सकता है, जिससे आपको महत्वपूर्ण समय और प्रयास की बचत होती है।

परिचय: स्वचालित शोध की आवश्यकता

नए AI समाचार और ट्रेंड्स के बारे में जानकारी प्राप्त करना

एक AI विकास कंपनी के रूप में, नवीनतम प्रौद्योगिकी, ट्रेंड्स, और समाचार के बारे में जानकारी प्राप्त करना महत्वपूर्ण है। इसके लिए निरंतर शोध की आवश्यकता है, जो समय लेने वाला हो सकता है। यहाँ वर्णित प्रणाली इस शोध प्रक्रिया को स्वचालित करती है, दैनिक रिपोर्ट को एक निर्दिष्ट स्लैक चैनल में सीधे डिलीवर करती है। यह मैनुअल रूप से लेखों की खोज करने की आवश्यकता को समाप्त करती है, शोध कार्य processo को काफी स्ट्रीमलाइन करती है।

डेमो: स्वचालित AI न्यूज़ डिलीवरी स्लैक में

स्वचालित रिपोर्ट स्लैक में

प्रदर्शन एक प्रणाली को दिखाता है जो स्वचालित रूप से नवीनतम AI ट्रेंड्स का शोध करती है और स्लैक चैनल में रिपोर्ट डिलीवर करती है। रिपोर्ट में प्रासंगिक लेखों के लिंक होते हैं, मैनुअल शोध प्रक्रिया को समाप्त करते हैं।

उदाहरण के लिए, स्लैक रिपोर्ट में "AI की बढ़ती भूमिका बी2बी भुगतान में," "रोबोटिक्स में एक क्रांति," और "AI-संचालित गोदामों" पर लेखों के लिंक थे, सभी में सीधे स्रोत सामग्री के लिंक थे। यह दिखाता है कि स्वचालन प्रासंगिक लेखों को इकट्ठा करता है और उन्हें एक आसानी से पचने योग्य प्रारूप में प्रस्तुत करता है, जो समीक्षा के लिए तैयार है। प्रणाली लचीली है और इसे ईमेल या व्हाट्सएप के माध्यम से रिपोर्ट डिलीवर करने के लिए भी कॉन्फ़िगर किया जा सकता है। लेखों को लिंक करने के अलावा, प्रणाली को प्राप्त की गई जानकारी को सारांशित करने, Perplexity जैसे प्लेटफ़ॉर्म का उपयोग करके गहरा विश्लेषण प्रदान करने, या डेटा मिलने पर कार्रवाई को ट्रिगर करने के लिए आगे बढ़ाया जा सकता है।

वर्कफ़्लो का निर्माण: Apify और n8n के साथ स्क्रैपिंग

मिरर बोर्ड में वर्कफ़्लो का दृश्यीकरण

इस प्रक्रिया को छवि में दिखाने के लिए, एक मिरर बोर्ड वर्कफ़्लो के दृश्यीकरण को सरल बनाता है। प्रणाली Apify, एक वेब स्क्रैपिंग और ऑटोमेशन प्लेटफ़ॉर्म, और n8n, एक वर्कफ़्लो ऑटोमेशन टूल का उपयोग करती है।

प्रक्रिया एक पुनरावृत्ति कार्य या बार-बार खोजी जाने वाली डेटा की पहचान करने से शुरू होती है। उदाहरण में, प्रस्तुतकर्ता का पुनरावृत्ति कार्य नवीनतम तकनीकों और AI में ट्रेंड्स का शोध करना है।

पहले, यह निर्धारित करें कि क्या स्वचालित किया जाना चाहिए। कई विभागीय उदाहरण प्रदान किए जाते हैं:

• प्रतिस्पर्धी शोध: प्रतिस्पर्धी अपडेट, मूल्य परिवर्तन, और उत्पाद लॉन्च की निगरानी करें।
• बाज़ार शोध: ग्राहक समीक्षाओं के लिए दर्द बिंदुओं का विश्लेषण करें, प्रतिस्पर्धी वेबसाइटों पर उत्पाद मूल्यों को ट्रैक करें, और अनुपालन दस्तावेजों में परिवर्तनों की निगरानी करें।
• उद्योग निगरानी: AI स्वचालन के बारे में लेखों को स्क्रैप करें, Google समाचार पर ट्रेंडिंग विषयों को ट्रैक करें, और उद्योग निधियों या निवेश की निगरानी करें।
• लीड पीढ़ी: विभिन्न स्रोतों से संपर्क जानकारी स्क्रैप करें।
• सामग्री सृजन: विभिन्न स्रोतों से जानकारी एकत्रित करें और सामग्री सृजन के लिए उपयोग करें।

अगला, यह निर्धारित करें कि क्या Apify में मौजूदा "अभिनेता" (मॉड्यूल या एपीआई) इस कार्य के लिए उपयुक्त हैं। उदाहरण के लिए, AI स्वचालन ट्रेंड्स के लिए Google समाचार स्क्रेपर अभिनेता का उपयोग किया जा सकता है।

n8n में वर्कफ़्लो एक "क्रोन" नोड से शुरू होता है, जो स्वचालन को दैनिक रूप से 9:00 बजे चलाने के लिए अनुसूचित करता है। यह नोड पूरी प्रक्रिया को प्रत्येक सुबह ट्रिगर करता है।

एपीआई कॉल बनाना: n8n को Apify से जोड़ना

n8n में HTTP अनुरोध नोड सेट अप करना

प्रणाली n8n में HTTP अनुरोधों के माध्यम से Apify के साथ बातचीत करती है। इस उद्देश्य के लिए एक विशिष्ट "HTTP अनुरोध" नोड का उपयोग किया जाता है।

यहाँ एक विस्तृत विवरण है:

1. एपीआई एंडपॉइंट: Apify अभिनेता के लिए एपीआई एंडपॉइंट को HTTP अनुरोध नोड के URL फ़ील्ड में दर्ज किया जाता है। यह एंडपॉइंट, साथ ही आवश्यक एपीआई कुंजी, Apify पर डेटा स्क्रैपिंग प्रक्रिया को प्रारंभ करता है। यह जानकारी Apify प्लेटफ़ॉर्म पर API -> एंडपॉइंट्स के तहत पाई जा सकती है। इस विशिष्ट वर्कफ़्लो के लिए एंडपॉइंट है: api.apify.com/v2/actor-runs।
2. हेडर: HTTP अनुरोध नोड में हेडर शामिल हैं जो सामग्री प्रकार को निर्दिष्ट करने के लिए उपयोग किए जाते हैं। इस वर्कफ़्लो के लिए सामग्री-प्रकार को application/json में सेट किया जाता है, जो n8n और Apify के बीच संचार के लिए जेसन संरचना का संकेत देता है।
3. बॉडी: एपीआई कॉल के लिए बॉडी सामग्री जेसन में प्रारूपित की जाती है, जो चुने हुए Apify अभिनेता के लिए स्क्रैपिंग पैरामीटर को परिभाषित करती है। इसमें खोज क्वेरी (“नवीनतम AI प्रौद्योगिकियां”), शुरू और समाप्ति तिथियों के लिए खोज, और मेमोरी प्रतिबंध (अभिनेता को आवंटित मेमोरी एमबी में) जैसे विवरण शामिल हैं।
4. प्रमाणीकरण: Apify एपीआई कुंजी को या तो हेडर पैरामीटर में या सीधे HTTP अनुरोध नोड में एपीआई एंडपॉइंट URL में शामिल किया जाता है ताकि कॉल को प्रमाणित किया जा सके। यह कुंजी n8n को Apify पर सुरक्षित रूप से संवाद करने और स्क्रेपर चलाने की अनुमति देती है। मेमोरी आवंटन (&memory=1024) को यूआरएल में जोड़ा जाता है।

प्रणाली तक पहुंच और निष्कर्षों का उपयोग

n8n वर्कफ़्लो पूरा

पूर्ण n8n वर्कफ़्लो को दिखाया गया है, जिसमें कार्यों के क्रम और कार्यान्वयन के लिए जुड़े हुए हैं। प्रणाली को आगे अनुकूलित किया जा सकता है। उदाहरण के लिए, लिंक प्राप्त करने के बाद, एक अलग नोड जोड़ा जा सकता है जो Perplexity जैसी सेवा का उपयोग करके लेखों का सारांश बनाने से पहले स्लैक चैनल में पोस्ट करने के लिए उपयोग किया जा सकता है।

वर्कफ़्लो की पूरी पहुंच, सेट-अप निर्देशों के साथ, वीडियो विवरण में जुड़े भुगतान सामुदायिक लिंक के भीतर उपलब्ध है। सामग्री निर्माता व्यवसायिक मालिकों को भी कस्टम AI समाधानों की तलाश में वीडियो विवरण में प्रदान किए गए लिंक का उपयोग करके आवेदन करने के लिए आमंत्रित करता है।

इस वर्कफ़्लो को बनाने में तीन प्राथमिक HTTP अनुरोध शामिल हैं:

1. Apify अभिनेता को प्रारंभ करना: यह अभिनेता रन आईडी प्राप्त करता है, जिसमें खोज विषय और डेटा पैरामीटर जैसे कस्टम सेटिंग्स शामिल होते हैं, जो जेसन में प्रारूपित किए जाते हैं।
2. डेटासेट आईडी प्राप्त करना: रन आईडी से डेटासेट आईडी प्राप्त की जाती है, जो स्क्रेप्ड डेटा तक पहुंच प्रदान करती है।
3. डेटा प्राप्त करना और स्लैक में भेजना: अंत में, डेटासेट आईडी का उपयोग करके एक एपीआई कॉल की जाती है ताकि सभी डेटा प्राप्त किया जा सके जिसे फिर स्लैक में दैनिक रिपोर्ट के रूप में पार्स और भेजा जा सकता है।

यह मॉड्यूलर दृष्टिकोण अन्य स्क्रैपिंग कार्यों के लिए अनुकूलन की अनुमति देता है bằng केवल Apify अभिनेता और संबंधित पैरामीटर को वर्कफ़्लो में बदलकर। प्रणाली को विभिन्न प्लेटफ़ॉर्म जैसे ईमेल, व्हाट्सएप, या गूगल शीट्स पर रिपोर्ट भेजने के लिए भी विस्तारित किया जा सकता है, जो इसके व्यापक व्यावहारिक अनुप्रयोग को प्रदर्शित करता है।