एक बार, दुनिया के सबसे अमीर लोगों ने नौकाओं, जेट्स और निजी द्वीपों पर प्रतिस्पर्धा की। अब, पसंद की आकार-मापने वाली प्रतियोगिता क्लस्टर है। सिर्फ 18 महीने पहले, ओपनआईए ने जीपीटी -4 को प्रशिक्षित किया था, जो कि एनवीडिया द्वारा बनाई गई लगभग 25,000 बार अत्याधुनिक ग्राफिक्स प्रोसेसिंग यूनिट्स (जीपीयू) के नेटवर्क पर इसके तत्कालीन अत्याधुनिक बड़े भाषा मॉडल (एलएलएम) था। अब एलोन मस्क और मार्क जुकरबर्ग, क्रमशः एक्स और मेटा के बॉस, अपने चिप्स को हवा में लहराते हैं: श्री मस्क कहते हैं कि उनके पास एक डेटा सेंटर में 100,000 जीपीयू हैं और 200,000 खरीदने की योजना है। श्री जुकरबर्ग का कहना है कि उन्हें 350,000 मिलेंगे।

कभी-अधिक-शक्तिशाली कृत्रिम कृत्रिम-बुद्धिमान (एआई) मॉडल के लिए कभी-कभी-बिगगर कंप्यूटिंग क्लस्टर बनाने की यह प्रतियोगिता अनिश्चित काल तक जारी नहीं रह सकती है। प्रत्येक अतिरिक्त चिप न केवल प्रसंस्करण शक्ति को जोड़ता है, बल्कि पूरे क्लस्टर को सिंक्रनाइज़ करने के संगठनात्मक बोझ को भी जोड़ता है। जितने अधिक चिप्स हैं, डेटा सेंटर के चिप्स उतने ही अधिक समय तक उपयोगी काम करने के बजाय डेटा को बंद करने में खर्च करेंगे। बस GPU की संख्या में वृद्धि से कम रिटर्न मिलेगा।

इसलिए कंप्यूटर वैज्ञानिक भविष्य के एआई मॉडल को प्रशिक्षित करने के लिए चतुर, कम संसाधन-गहन तरीके की तलाश कर रहे हैं। समाधान पूरी तरह से और, कई छोटे डेटा केंद्रों के बीच प्रशिक्षण के कार्य को वितरित करने के बजाय, पूरी तरह से और पूरी तरह से bespoke कंप्यूटिंग क्लस्टर (और उनके संबद्ध अपफ्रंट लागत) को खोदने के साथ झूठ बोल सकता है। यह, कुछ विशेषज्ञों का कहना है, एक और भी अधिक महत्वाकांक्षी लक्ष्य की ओर पहला कदम हो सकता है – किसी भी समर्पित हार्डवेयर की आवश्यकता के बिना एआई मॉडल का पता लगाना।

एक आधुनिक एआई प्रणाली को प्रशिक्षित करने में डेटा को शामिल करना शामिल है – एक प्रोटीन की संरचना, कहें, या एक प्रोटीन की संरचना – जिसमें कुछ वर्गों को छिपाया गया है। मॉडल एक अनुमान लगाता है कि छिपे हुए वर्गों में क्या हो सकता है। यदि यह गलत अनुमान लगाता है, तो मॉडल को बैकप्रोपैगेशन नामक एक गणितीय प्रक्रिया द्वारा ट्विक किया जाता है ताकि, अगली बार जब यह एक ही भविष्यवाणी की कोशिश करे, तो यह सही उत्तर के करीब होगा।

मुझे पता था तुम परेशान हो

समस्याएं तब आती हैं जब आप “समानांतर में” काम करने में सक्षम होना चाहते हैं – एक ही समय में बैकप्रोपैगेशन पर काम करने वाले दो, या 200,000, जीपीयू हैं। प्रत्येक चरण के बाद, चिप्स उनके द्वारा किए गए परिवर्तनों के बारे में डेटा साझा करते हैं। यदि वे नहीं करते हैं, तो आपके पास एक भी प्रशिक्षण रन नहीं होगा, आपके पास 200,000 चिप्स को अपने दम पर 200,000 मॉडल का प्रशिक्षण देना होगा। यह डेटा-साझाकरण प्रक्रिया “चेकपॉइंटिंग” से शुरू होती है, जिसमें अब तक प्रशिक्षण का एक स्नैपशॉट बनाया जाता है। यह तेजी से जटिल हो सकता है। दो चिप्स के बीच केवल एक लिंक है, लेकिन 20 चिप्स और 200,000 चिप्स के लिए लगभग 20bn के बीच 190। समय को चेकपॉइंट और साझा करने के लिए समय लगता है। बड़े प्रशिक्षण रन के लिए, लगभग आधे समय को अक्सर इन गैर-प्रशिक्षण चरणों पर खर्च किया जा सकता है।

सभी समय बर्बाद करने वाले सभी ने Google DeepMind, एक विचार के एक इंजीनियर आर्थर डायलार्ड को दिया। क्यों नहीं सिर्फ कम चौकियों को करते हैं? 2023 के अंत में, उन्होंने और उनके सहयोगियों ने “भाषा मॉडल के कम संचार प्रशिक्षण”, या Diloco के लिए एक विधि प्रकाशित की। 100,000 GPU पर प्रशिक्षण के बजाय, जो सभी हर कदम पर एक -दूसरे से बात करते हैं, Diloco वर्णन करता है कि विभिन्न “द्वीपों” में प्रशिक्षण को कैसे वितरित किया जाए, प्रत्येक अभी भी एक बड़ा डेटा सेंटर है। द्वीपों के भीतर, चेकपॉइंटिंग सामान्य के रूप में जारी है, लेकिन उनके पार, संचार बोझ 500 गुना गिरता है।

व्यापार-बंद हैं। इस तरह से प्रशिक्षित मॉडल एक ही शिखर प्रदर्शन को हिट करने के लिए संघर्ष करते प्रतीत होते हैं, जो कि अखंड डेटा केंद्रों में प्रशिक्षित थे। लेकिन दिलचस्प बात यह है कि यह प्रभाव केवल तब मौजूद है जब मॉडल को उसी कार्यों पर रेट किया जाता है जिस पर उन्हें प्रशिक्षित किया जाता है: लापता डेटा की भविष्यवाणी करना।

जब उन्हें उन भविष्यवाणियों में बदल दिया जाता है जो उन्हें पहले कभी बनाने के लिए नहीं कहा गया है, तो वे बेहतर सामान्यीकरण करते हैं। उन्हें प्रशिक्षण डेटा में नहीं एक फॉर्म में एक तर्क प्रश्न का उत्तर देने के लिए कहें, और पाउंड के लिए पाउंड वे पारंपरिक रूप से प्रशिक्षित मॉडल को बाहर कर सकते हैं। यह गणना के प्रत्येक द्वीप का एक कलाकृतिक हो सकता है कि वह चेकपॉइंटिंग रन के बीच अपनी दिशा में सर्पिल करने के लिए थोड़ा स्वतंत्र हो, जब वे कार्य पर वापस आ जाते हैं। स्टूडियस अंडरग्रेजुएट्स के एक समूह की तरह, अपने स्वयं के अनुसंधान समूहों का निर्माण करने के बजाय en masse के लिए व्याख्यान देने के बजाय, अंतिम परिणाम इसलिए हाथ में कार्य पर थोड़ा कम ध्यान केंद्रित किया जाता है, लेकिन बहुत व्यापक अनुभव के साथ।

एक ओपन-सोर्स एआई लैब, प्राइम इंटेलीज के संस्थापक विन्सेंट वीसर ने डिलोको को ले लिया है और इसके साथ भाग लिया है। नवंबर 2024 में उनकी टीम ने इंटेलेक्शन -1 पर प्रशिक्षण पूरा किया, जो 10bn-पैरामीटर LLM मेटा के केंद्रीय रूप से प्रशिक्षित Llama 2 की तुलना में था, जो 2023 में रिलीज़ होने पर अत्याधुनिक था।

श्री वीसेर की टीम ने मिस्टर डिलार्ड के मूल के हल्के संशोधित संस्करण Opendiloco का निर्माण किया, और इसे तीन महाद्वीपों में आठ शहरों में 30 GPU समूहों का उपयोग करके एक नए मॉडल को प्रशिक्षित करने के लिए काम करने के लिए सेट किया। अपने परीक्षणों में, जीपीयू ने 83% समय के लिए सक्रिय रूप से काम किया – जो कि बेसलाइन परिदृश्य में 100% के साथ तुलना में है, जिसमें सभी जीपीयू एक ही इमारत में थे। जब प्रशिक्षण अमेरिका में डेटा केंद्रों तक सीमित था, तो वे 96% समय के लिए सक्रिय रूप से काम कर रहे थे। प्रत्येक प्रशिक्षण कदम की जाँच करने के बजाय, श्री वीसेर का दृष्टिकोण केवल हर 500 चरणों में है। और हर परिवर्तन के बारे में सभी जानकारी साझा करने के बजाय, यह कम से कम महत्वपूर्ण तीन-चौथाई डेटा को छोड़ते हुए, परिवर्तनों को “मात्रा” बनाता है।

सबसे उन्नत प्रयोगशालाओं के लिए, पहले से ही निर्मित अखंड डेटा केंद्रों के साथ, अभी तक वितरित प्रशिक्षण के लिए स्विच बनाने के लिए कोई दबाव कारण नहीं है। लेकिन, समय को देखते हुए, श्री डौइलार्ड को लगता है कि उनका दृष्टिकोण आदर्श बन जाएगा। फायदे स्पष्ट हैं, और डाउनसाइड्स – कम से कम, उन छोटे प्रशिक्षण रन द्वारा सचित्र जो कि अब तक पूरा हो चुके हैं – काफी सीमित होने के लिए लगते हैं।

प्राइम इंटेलीज जैसे ओपन-सोर्स लैब के लिए, वितरित दृष्टिकोण के अन्य लाभ हैं। 10bn-पैरामीटर मॉडल को प्रशिक्षित करने के लिए काफी बड़े डेटा केंद्र कुछ और दूर हैं। यह कमी उनकी गणना तक पहुंचने के लिए कीमतों को बढ़ाती है – यदि यह उन कंपनियों द्वारा जमा होने के बजाय खुले बाजार पर भी उपलब्ध है, जिन्होंने उन्हें बनाया है। छोटे क्लस्टर आसानी से उपलब्ध हैं, हालांकि। उपयोग किए जाने वाले 30 क्लस्टर्स प्राइम इंटेलीज में से प्रत्येक सिर्फ आठ जीपीयू का एक रैक था, जिसमें किसी भी समय ऑनलाइन क्लस्टर के 14 से अधिक थे। यह संसाधन फ्रंटियर लैब्स द्वारा उपयोग किए जाने वाले डेटा सेंटरों की तुलना में एक हजार गुना छोटा है, लेकिन न तो श्री वीसेर और न ही श्री ड्यूलार्ड किसी भी कारण से देखते हैं कि उनका दृष्टिकोण क्यों नहीं होगा।

श्री वीसर के लिए, प्रशिक्षण वितरित करने के लिए प्रेरणा भी शक्ति वितरित करना है – और न केवल विद्युत अर्थों में। “यह अत्यंत महत्वपूर्ण है कि यह एक राष्ट्र, एक निगम के हाथों में नहीं है,” वे कहते हैं। यह दृष्टिकोण शायद ही एक मुक्त-से-सभी है, हालांकि-आठ-जीपीयू समूहों में से एक जो उन्होंने अपने प्रशिक्षण रन में इस्तेमाल किया था, इसकी लागत $ 600,000 है; प्राइम इंटेलीज द्वारा तैनात कुल नेटवर्क को खरीदने के लिए $ 18M का खर्च आएगा। लेकिन उनका काम एक संकेत है, कम से कम, कि प्रशिक्षण में सक्षम एआई मॉडल को अरबों डॉलर खर्च नहीं करना पड़ता है।

और क्या होगा अगर लागत अभी भी गिर सकती है? वास्तव में विकेंद्रीकृत एआई का पीछा करने वाले डेवलपर्स के लिए सपना पूरी तरह से उद्देश्य-निर्मित प्रशिक्षण चिप्स की आवश्यकता को कम करना है। टेराफ्लोप्स में मापा गया, एक सेकंड में एक चिप कितने ऑपरेशन कर सकता है, की एक गिनती, एनवीडिया के सबसे सक्षम चिप्स में से एक लगभग 300 या तो टॉप-एंड आईफ़ोन के रूप में शक्तिशाली है। लेकिन GPU की तुलना में दुनिया में बहुत अधिक iPhones हैं। क्या होगा अगर वे (और अन्य उपभोक्ता कंप्यूटर) सभी को काम करने के लिए रखा जा सकता है, प्रशिक्षण रन के माध्यम से मंथन करते हुए उनके मालिक सोते हैं?

ट्रेड-ऑफ बहुत बड़ा होगा। उच्च-प्रदर्शन चिप्स के साथ काम करने में आसानी यह है कि, यहां तक ​​कि जब दुनिया भर में वितरित किया जाता है, तो वे कम से कम एक ही मॉडल एक ही गति से काम कर रहे हैं। वह खो जाएगा। इससे भी बदतर, न केवल प्रशिक्षण प्रगति को प्रत्येक चेकपॉइंट चरण में एकत्र और पुनर्वितरित करने की आवश्यकता होगी, इसलिए प्रशिक्षण डेटा स्वयं ही होगा, क्योंकि विशिष्ट उपभोक्ता हार्डवेयर डेटा के टेराबाइट्स को स्टोर करने में असमर्थ है जो एक अत्याधुनिक एलएलएम में जाता है। नई कंप्यूटिंग सफलताओं की आवश्यकता होगी, फ्लावर के निक लेन कहते हैं, एक प्रयोगशाला में से एक है जो उस दृष्टिकोण को एक वास्तविकता बनाने की कोशिश कर रहा है।

हालांकि, लाभ, बेहतर मॉडल के लिए अग्रणी दृष्टिकोण के साथ जोड़ सकता है, श्री लेन को मानता है। उसी तरह जो वितरित प्रशिक्षण सामान्य रूप से मॉडल को बेहतर बनाता है, “शार्डेड” डेटासेट पर प्रशिक्षित मॉडल, जहां प्रत्येक जीपीयू को प्रशिक्षण डेटा के केवल हिस्से दिए जाते हैं, वास्तविक दुनिया में अप्रत्याशित इनपुट के साथ सामना करने पर बेहतर प्रदर्शन कर सकते हैं। वह सब जो अरबपतियों को प्रतिस्पर्धा करने के लिए कुछ और की जरूरत है।

© 2025, द इकोनॉमिस्ट अखबार लिमिटेड। सर्वाधिकार सुरक्षित। द इकोनॉमिस्ट से, लाइसेंस के तहत प्रकाशित। मूल सामग्री www.economist.com पर पाई जा सकती है