मल्टी-एजेंट लार्ज लैंग्वेज मॉडल सिस्टम्स में AI सुरक्षा

हमारे अगले वक्ता जींग हैं, जो वर्तमान में जर्मनी में Max Planck Institutes में पोस्टडॉक हैं और University of Toronto में एक आगामी सहायक प्रोफेसर हैं। वह कई प्राकृतिक भाषा प्रसंस्करण समस्याओं, AI सुरक्षा, और मल्टी-एजेंट लार्ज लैंग्वेज मॉडल्स के कारण संबंधी निर्माणों पर काम करती हैं, साथ ही कारण विज्ञान के लिए AI पर भी।

AI सुरक्षा का परिचय

अपने भाषण में, जिसका शीर्षक "मल्टी-एजेंट LLM Systems में AI सुरक्षा" है, जींग उन एजेंटों से बचने के महत्व पर चर्चा करती हैं जो मनुष्यों को नुकसान पहुंचा सकते हैं। हालांकि, वह ध्यान देती हैं कि सभी डेवलपर्स और हितधारक इस सामाजिक लक्ष्य को प्राप्त करने में सहयोग करने में सक्षम नहीं हो सकते हैं, और हम एक एजेंट समाज के साथ समाप्त हो सकते हैं। इस समस्या को हल करने के लिए, जींग का प्रस्ताव है कि मल्टी-एजेंट LLM Systems में AI सुरक्षा रक्षा की अंतिम पंक्ति हो सकती है।

मल्टी-एजेंट सिस्टम की समस्या

जींग बताते हैं कि जैसे-जैसे विभिन्न कंपनी संस्थाएं एजेंट लॉन्च करती हैं, हम अधिक से अधिक एजेंटों के साथ बातचीत करेंगे। इससे यह समस्या उत्पन्न होती है कि LLM एजेंटों का एक समूह कैसे बातचीत करता है और मल्टी-एजेंट LLM Systems में वे क्या उभरता व्यवहार प्रदर्शित करते हैं। उनके शोध में विभिन्न परिदृश्यों में LLM एजेंटों के व्यवहार का अध्ययन करके इस समस्या का समाधान करने पर ध्यान केंद्रित किया गया है।

त्रासदी ऑफ़ द कॉमन्स

जींग त्रासदी ऑफ़ द कॉमन्स से प्रेरणा लेती हैं, एक समस्या जो मानव समाज में उत्पन्न होती है। इस परिदृश्य में, कई एजेंट संसाधनों के एक सामान्य पूल को साझा करते हैं, और प्रत्येक एजेंट को यह तय करना होता है कि संसाधन में कितना योगदान करना है। हालाँकि, यदि कोई एजेंट दोष करने और अधिक मछली पकड़ने का फैसला करता है, तो उसे अतिरिक्त फसल मिल सकती है, जबकि दूसरे एजेंट को नुकसान होता है। इससे ऐसी स्थिति उत्पन्न होती है जहाँ हर कोई सोचता है कि दोष करने और अधिक मछली पकड़ने से अधिक लाभ होगा, और वे अंततः एक समूह के सबसे खराब परिणाम में समाप्त हो सकते हैं।

कॉमन्स का शासन

जींग GovSim नामक एक सिमुलेशन का परिचय देती हैं, जो कॉमन्स के शासन पर Elinore Ostrom के काम से प्रेरित है। GovSim में, LLM एजेंटों को एक सिमुलेटेड वातावरण में रखा जाता है जहाँ उन्हें विभिन्न प्रकार की समस्याओं का समाधान करने के लिए एक-दूसरे और वातावरण के साथ बातचीत करनी होती है। सिमुलेशन में तीन वातावरण होते हैं: एक मछली पकड़ने वाला गाँव, एक सामान्य चरागाह, और एक प्रदूषण परिदृश्य।

सिमुलेशन के परिणाम

जींग सिमुलेशन के परिणाम प्रस्तुत करती हैं, जो दिखाते हैं कि सबसे अच्छा मॉडल केवल लगभग आधे समय तक जीवित रहता है, और अधिकांश ओपन-सोर्स मॉडल स्थिरता प्राप्त करने के लिए सहयोग नहीं कर सकते हैं। यह एक सतर्क करने वाला संकेत है, और जींग आगे के मॉडलों का परीक्षण करने के लिए उत्सुक हैं।

सहकारिता परिदृश्य

जींग एक सहकारिता परिदृश्य का वर्णन करती हैं जहाँ एजेंटों को एक मछली पकड़ने वाले गाँव में रखा जाता है, और प्रत्येक एजेंट को यह तय करना होता है कि कितनी मछली पकड़नी है। एजेंट टाउन हॉल मीटिंग के माध्यम से एक-दूसरे के साथ संवाद कर सकते हैं, जहाँ वे चर्चा करते हैं कि क्या हुआ है और अगले महीने की योजना बनाते हैं।

प्रतिबंध लगाने वाली संस्थाएं

जींग प्रतिबंध लगाने वाली संस्थाओं के विचार पर चर्चा करती हैं, जहाँ जो एजेंट सहयोग नहीं करते हैं उन्हें दंडित किया जा सकता है। वह एक प्रयोग के परिणाम प्रस्तुत करती हैं जहाँ एजेंट एक प्रतिबंध लगाने वाली संस्था या एक प्रतिबंध-मुक्त संस्था में शामिल होना चुन सकते हैं। परिणाम दिखाते हैं कि जो एजेंट प्रतिबंध लगाने वाली संस्था में शामिल होते हैं, वे बेहतर कुल भुगतान प्राप्त करते हैं।

सार्वजनिक वस्तु खेल

जींग सार्वजनिक वस्तु खेल के बारे में बताते हैं, जहाँ एजेंट संसाधनों के एक सामान्य पूल में योगदान करते हैं। वह एक प्रयोग के परिणाम प्रस्तुत करती हैं जहाँ एजेंट सामान्य भलाई में योगदान करना चुन सकते हैं या नहीं। परिणाम दिखाते हैं कि जो एजेंट सामान्य भलाई में योगदान करते हैं, वे बेहतर कुल भुगतान प्राप्त करते हैं।

प्रतिबंध लगाने वाला संस्थान

जींग एक प्रयोग के परिणामों पर चर्चा करती हैं जहाँ एजेंट एक प्रतिबंध लगाने वाली संस्था या एक प्रतिबंध-मुक्त संस्था में शामिल होना चुन सकते हैं। परिणाम दिखाते हैं कि जो एजेंट प्रतिबंध लगाने वाली संस्था में शामिल होते हैं, वे बेहतर कुल भुगतान प्राप्त करते हैं।

दृष्टिकोण

जींग मल्टी-एजेंट समाजों के दृष्टिकोण पर चर्चा करके निष्कर्ष निकालती हैं। वह ध्यान देती हैं कि हमने एक असंगठित समाज के साथ शुरुआत की, जहाँ एजेंट बातचीत और मुफ्त बातचीत के माध्यम से बातचीत करते हैं। हालाँकि, हम तेजी से इस बात पर ध्यान दे रहे हैं कि एजेंट सख्त प्रवर्तन के प्रति कैसी प्रतिक्रिया करते हैं और उन्हें क्या महसूस कराता है कि एक प्रतिबंध लगाने वाली संस्था में शामिल होना एक अच्छा विकल्प है।

भविष्य का काम

जींग नोट करती हैं कि भविष्य में खोजने के लिए कई दिलचस्प शोध प्रश्न हैं, जैसे कि दूसरे क्रम की सजा का उद्भव, जहां एजेंट न केवल उन लोगों को दंडित करते हैं जो दोष करते हैं बल्कि उन लोगों को भी दंडित करते हैं जो दोष करने वालों के साथ सहयोग करते हैं। वह इस परियोजना पर अपने काम के लिए अपनी टीम और सहयोगियों को धन्यवाद देकर निष्कर्ष निकालती है।

प्रश्नोत्तर

प्रस्तुति के बाद एक प्रश्नोत्तर सत्र होता है, जहाँ जींग दर्शकों के सवालों के जवाब देती हैं। सवालों में से एक दूसरे क्रम की सजा के उद्भव के बारे में है, जिसे जींग नोट करती हैं कि एक दिलचस्प शोध प्रश्न है जिसे उनके वर्तमान काम में खोजा नहीं गया है।