ए: कृत्रिम बुद्धिमत्ता (एआई) के संदर्भ में, विशेष रूप से जीपीटी-5 और क्लाउड जैसे बड़े भाषा मॉडल (एलएलएम), संदर्भ विंडो पाठ की अधिकतम मात्रा है जिसे मॉडल प्रतिक्रिया उत्पन्न करते समय किसी भी समय विचार कर सकता है।
एआई मॉडल शब्द नहीं पढ़ते; इसके बजाय वे वर्णों के टुकड़े पढ़ते हैं जिन्हें टोकन कहा जाता है। आमतौर पर 1 टोकन लगभग 0.75 शब्दों (अंग्रेजी में) के बराबर होता है, इसलिए 1,000 टोकन लगभग 750 शब्दों का प्रतिनिधित्व करेंगे। उदाहरण के लिए, जब किसी मॉडल में 8,000 टोकन की संदर्भ विंडो होती है, तो इसका मतलब है कि यह एक बार में लगभग 6,000 शब्दों के डेटा को संभाल सकता है।
प्रत्येक संदर्भ विंडो में एक साथ तीन चीजें रखने की आवश्यकता होती है: एआई को कैसे व्यवहार करना है यह बताने वाले नियम; वर्तमान चैट का इतिहास; और एआई को अपना अगला उत्तर उत्पन्न करने के लिए आवश्यक स्थान।
यदि सीमा 8,000 टोकन है और आपकी बातचीत का इतिहास 7,900 टोकन लंबा है, तो एआई के पास केवल 100 टोकन बचे हैं। यदि कोई वार्तालाप संदर्भ विंडो से अधिक हो जाता है, तो मॉडल वार्तालाप के सबसे पुराने हिस्सों को हटाना शुरू कर सकता है।
संदर्भ विंडो मॉडल के लिए उपलब्ध कम्प्यूटेशनल संसाधनों से जुड़ी हुई है। यदि आप संदर्भ विंडो की लंबाई 2x बढ़ाते हैं, तो आवश्यक शक्ति लगभग 4x बढ़ जाती है। इसलिए बड़ी खिड़कियों वाले मॉडल चलाना अधिक महंगा होता है।
कभी-कभी भले ही कोई मॉडल एक लाख टोकन स्वीकार कर सकता है, उसे बीच में दबी हुई जानकारी का एक टुकड़ा ढूंढने में कठिनाई हो सकती है। इसे ‘बीच में खो जाना’ घटना कहा जाता है।
