अब तक कहानी: कई दशकों के लिए, एक महान चुनौतियों में से एक कृत्रिम होशियारी (Ai) तर्क देने के लिए मशीनों को पढ़ा रहा है। तर्क तथ्यों को याद करने या वाक्यों को पूरा करने से परे है। यह चरणों का पालन करने, गलतियों को प्रतिबिंबित करने और सही उत्तर मिलने तक रणनीतियों को समायोजित करने की क्षमता है।
मनुष्य गणित की समस्याओं को हल करने से लेकर कंप्यूटर प्रोग्राम लिखने के लिए सब कुछ के लिए तर्क का उपयोग करते हैं, अपने दैनिक जीवन पर बातचीत करने से लेकर यह तय करने के लिए कि किसके लिए वोट करना है। GPT-4 या DEEPSEEK-V3 जैसे बड़े भाषा मॉडल (LLMS) ने बड़े आकारों में स्केल किए जाने पर तर्क के संकेत दिखाकर वैज्ञानिकों को आश्चर्यचकित किया है। एक अन्य विधि, जिसे चेन-ऑफ-थॉट प्रॉम्प्टिंग कहा जाता है, जहां मॉडल को “स्टेप बाय स्टेप” के बारे में बताया गया है, ने भी प्रदर्शन को बढ़ावा दिया है।
लेकिन ये दोनों दृष्टिकोण सीमाओं के साथ आते हैं। प्रशिक्षण मॉडल आमतौर पर मानव निर्मित उदाहरणों की मांग करते हैं। जैसे लोग एक एआई मॉडल दिखाते हैं कि समस्याओं को कैसे हल किया जाए और एआई विधि को कॉपी करना सीखता है। यह धीमा, महंगा है, और मानव पूर्वाग्रहों का परिचय देता है। यह एआई की रचनात्मकता को भी कैपिट करता है क्योंकि मॉडल समस्या को सुलझाने के तरीकों का पता नहीं लगा सकता है जो मनुष्यों ने नहीं सोचा था।
में प्रकाशित एक पेपर में प्रकृति 17 सितंबर को, दीपसेक-एआई टीम ने बताया कि यह अपने मॉडल तक पहुंचने में सक्षम था, जिसे सिर्फ आर 1 कहा जाता है, एक महत्वाकांक्षी प्रश्न पूछकर कारण: क्या होगा अगर हमने मॉडल को पहले मानव उदाहरणों को दिखाए बिना खुद को सिखाने की अनुमति दी? यही है, उन्होंने पाया कि आर 1 सुदृढीकरण सीखने का उपयोग करके तर्क के नए रूपों को विकसित कर सकता है, परीक्षण की एक विधि और केवल सही उत्तर के लिए पुरस्कारों द्वारा निर्देशित त्रुटि।
सुदृढीकरण सीखने क्या है?
टीम का उद्देश्य गणित और कोडिंग में मॉडल को स्मार्ट बनाने के साथ -साथ यह बताना था कि जब किसी मशीन को उचित प्रोत्साहन दिया जाता है तो तर्क व्यवहार स्वाभाविक रूप से कैसे उभर सकता है।
दीपसेक शोधकर्ताओं ने वी 3 बेस के साथ शुरू किया, जो अन्य अत्याधुनिक प्रणालियों के समान एक बड़ी भाषा मॉडल है। सामान्य पर्यवेक्षित फाइन-ट्यूनिंग का उपयोग करने के बजाय, जहां मनुष्य तर्कपूर्ण कदम प्रदान करते हैं, उन्होंने ‘समूह सापेक्ष नीति अनुकूलन’ लागू किया, एक सुदृढीकरण सीखने की विधि जो दक्षता के लिए डिज़ाइन की गई है।
इस सेटअप में, मॉडल, जिसे पहली बार आर 1-जीरो कहा जाता है, को गणितीय और एल्गोरिथम समस्याओं को हल करने के लिए कहा गया था। प्रत्येक प्रयास के लिए, इसे दो भागों का उत्पादन करना था: `के अंदर एक तर्क प्रक्रिया
हजारों प्रशिक्षण चरणों में, मॉडल ने परीक्षण और त्रुटि से सीखा। यदि कोई उत्तर गलत था, तो जिस मार्ग का नेतृत्व किया गया था, वह हतोत्साहित था; यदि यह सही था, तो मार्ग को प्रबलित किया गया था। महत्वपूर्ण रूप से, शोधकर्ताओं ने यह भी ट्रैक किया कि मॉडल की सोच का समय कैसे, यानी इसके तर्क अनुभाग में इसका उपयोग किए गए टोकन की संख्या बदल गई। हड़ताली, मॉडल ने अपने आप में लंबे समय तक और अधिक चिंतनशील तर्क श्रृंखला लिखना शुरू कर दिया, कभी-कभी “प्रतीक्षा” या “चलो फिर से कोशिश करते हैं” जैसे वाक्यांशों को शामिल किया गया, जो आत्म-सही करने की क्षमता का खुलासा करता है।
क्या मानव हस्तक्षेप था?
कमजोरियों को संबोधित करने के लिए जैसे कि खराब पठनीयता और चीनी के साथ अंग्रेजी मिश्रण करने के लिए, टीम ने R1-Zero से R1 का निर्माण किया। इस प्रक्रिया में एक भाषा का उपयोग करके लगातार एक भाषा का उपयोग करने के लिए प्रोत्साहन जोड़ना शामिल है, जो तर्क और गैर-पुनर्जीवित डेटा दोनों के साथ ठीक-ठाक-ट्यूनिंग है। इस प्रकार अंतिम मॉडल को आर 1-जीरो की कच्ची तर्क शक्ति विरासत में मिली, जबकि उपयोग और सुरक्षित भी आसान हो गई।
परिणाम हड़ताली थे। अमेरिकन इनविटेशनल मैथमेटिक्स एग्जामिनेशन (Aime) 2024 पर, एक कठिन प्रतियोगिता जो आमतौर पर सबसे स्मार्ट हाई-स्कूल के छात्रों का प्रयास करती है, R1-Zero की सटीकता प्रशिक्षण की शुरुआत में केवल 15.6% से बढ़कर 77.9% हो गई। अधिक ट्यूनिंग के साथ, यह मानव छात्रों के औसत प्रदर्शन को पार करते हुए, 86.7%तक पहुंच गया।
एक निश्चित चरण में, आर 1-जीरो ने अपने तर्क में “प्रतीक्षा” शब्द का उपयोग करना शुरू कर दिया, जैसे कि एक मानव की गलती हो सकती है। शोधकर्ताओं ने कहा कि इसका मतलब था कि मॉडल नेत्रहीन रूप से एक मार्ग का अनुसरण नहीं कर रहा था, लेकिन जब कुछ बंद लग रहा था तो सक्रिय रूप से कदमों पर पुनर्विचार कर रहा था। वास्तव में, सुदृढीकरण सीखने ने एआई को व्यवहारों में सह -समाक्षता और सत्यापन के दोनों तत्वों के साथ व्यवहार में शामिल किया था।
अंतिम R1 मॉडल और भी मजबूत था: यह गणित और कोडिंग में अच्छा था और साथ ही सामान्य ज्ञान के लिए बेंचमार्क पर, सवालों के जवाब देने और निम्नलिखित निर्देशों के लिए। अपने पूर्ववर्तियों की तुलना में, आर 1 भी भाषा की अपनी पसंद के साथ अधिक सुसंगत था और मदद से मदद के लिए मानव वरीयताओं के साथ संरेखित किया गया था। जब Alpacaeval 2.0 और Arena-Hard जैसे फ्रेमवर्क के साथ मूल्यांकन किया जाता है, तो यह परीक्षण करता है कि एक मॉडल कितनी अच्छी तरह से निर्देशों का पालन करता है, R1 में क्रमशः 25% और 17% में सुधार हुआ, जो बड़े माना जाता है।
तर्क और तर्क के विपक्ष क्या हैं?
कई बड़े भाषा मॉडल, जिनमें व्यापक रूप से उपयोग किए जाने वाले सिस्टम जैसे CHATGPT, अक्सर परीक्षण के दौरान बड़ी मात्रा में कम्प्यूटेशनल संसाधनों की मांग करते हैं। दूसरी ओर, R1, कार्य की कठिनाई के आधार पर “सोचा” कितना अनुकूलित कर सकता है। सरल समस्याओं को छोटी तर्क श्रृंखलाओं के साथ पूरा किया गया, जबकि कठिन लोगों ने लंबी, अधिक विस्तृत श्रृंखलाओं का नेतृत्व किया। इस गतिशील आवंटन ने उन सवालों पर शक्ति की मांग से परहेज किया जो इसे वारंट नहीं करते थे। हालांकि, सुदृढीकरण सीखना स्वयं ऊर्जा-गहन है।
एक साथ लिया गया, निष्कर्ष पुष्टि करते हैं कि सुदृढीकरण सीखने (सही डिजाइन के साथ) तर्क व्यवहार का उत्पादन कर सकता है जो पहले मानव उदाहरणों की आवश्यकता के लिए सोचा गया था। इससे हम सोच सकते हैं कि कृत्रिम प्रणालियों में बुद्धि कैसे बढ़ सकती है, इसके बारे में हम सोच सकते हैं। उदाहरण के लिए, भविष्य में, शोधकर्ता वेरिफायर का निर्माण कर सकते हैं जो उत्तर की जांच करते हैं और मॉडल को अपनी रणनीतियों का पता लगाने देते हैं। यदि गणित की समस्या का जवाब, एक कंप्यूटर प्रोग्राम या एक तथ्यात्मक प्रश्न को मज़बूती से जांचा जा सकता है, तो सुदृढीकरण सीखना बाकी को कर सकता है। यह मानव श्रम और पूर्वाग्रह को कम करते हुए प्रगति को गति दे सकता है।
वास्तव में, पारंपरिक एलएलएम प्रशिक्षण पाइपलाइनों को बड़े मानव-लेबल वाले डेटासेट पर भारी बैंक-प्रश्न-उत्तर जोड़े, तर्क कदम, वरीयता निर्णय आदि लिखने वाले लोग महंगे हैं और अक्सर शोषणकारी श्रम स्थितियों के तहत इकट्ठे होते हैं। यदि मशीनों को सुदृढीकरण सीखने का उपयोग करके तर्क के लिए सिखाया जा सकता है, तो मानव-एनोटेट डेटा की मांग कम हो सकती है, इस प्रकार दुनिया भर में सस्ते श्रम के लिए दबाव भी कम हो सकता है। हालांकि, अध्ययन पत्र यह भी स्वीकार करता है कि स्पष्ट ग्राउंड-ट्रूथिंग के बिना कार्य अभी भी इनाम मॉडल के लिए मानव-लेबल वाले डेटा पर निर्भर हैं। इसलिए मानव इनपुट को समाप्त नहीं किया गया है; केवल इसका दायरा उन क्षेत्रों में सिकुड़ सकता है जहां कोई विश्वसनीय सत्यापनकर्ता नहीं बनाया जा सकता है।
एक मॉडल जो तर्क के लिए सीखता है, वह लेखन जैसे ओपन-एंडेड कार्यों के लिए बेहतर इनाम संकेतों की भी मांग करेगा, जो मुश्किल है, साथ ही साथ मजबूत सुरक्षा उपायों के रूप में यह खतरनाक या जोड़ तोड़ सामग्री उत्पन्न करने में सक्षम हो जाता है। वास्तव में, एक मशीन को देखने से चिंतनशील व्यवहार विकसित होता है (रोकना, जाँच करना, संशोधित करना, आदि) इस बारे में सवाल उठाता है कि ऐसी प्रणालियां कितनी दूर तक जा सकती हैं। यदि तर्क निर्देशों के बजाय प्रोत्साहन से उभरता है, तो क्या रचनात्मकता या समझ के गहरे रूप उसी तरह से उभर सकते हैं?
समय बताएगा-जब तक कि डीपसेक-आर 1 ने इसे पहले नहीं बताया।
