1982 में, शिकागो में एक चिलिंग त्रासदी ने टायलेनॉल (पेरासिटामोल) कैप्सूल के बाद सात जीवन का दावा किया था, जिसे साइनाइड के साथ मिलाया गया था – विनिर्माण के दौरान नहीं, बल्कि अज्ञात हत्यारे (एस) द्वारा स्टोर अलमारियों तक पहुंचने के बाद। 1980 के दशक तक, उत्पादों को नियमित रूप से सील नहीं किया गया था, और उपभोक्ताओं को यह नहीं पता था कि क्या आइटम के साथ छेड़छाड़ की गई थी। इस घटना ने एक महत्वपूर्ण भेद्यता को उजागर किया और एक व्यापक सुधार का नेतृत्व किया: छेड़छाड़-स्पष्ट सील पैकेजिंग की शुरूआत। जो एक बार वैकल्पिक था वह आवश्यक हो गया। आज, चाहे वह भोजन, दवा, या सौंदर्य प्रसाधन हो, एक सील कवर सुरक्षा को दर्शाता है। संकट से पैदा हुई यह सरल सील, विश्वास के एक सार्वभौमिक प्रतीक में बदल गई।
हम एक बार फिर एक समान चौराहे पर हैं। बड़े भाषा मॉडल (एलएलएम) चटप्ट की तरह, मिथुन, और क्लाउड उन्नत सिस्टम हैं जो मानव-जैसे पाठ उत्पन्न करने के लिए प्रशिक्षित हैं। चिकित्सा क्षेत्र में, एलएलएम का उपयोग नैदानिक सारांशों का मसौदा तैयार करने, सरल भाषा में निदान की व्याख्या करने, रोगी निर्देश उत्पन्न करने और यहां तक कि निर्णय लेने की प्रक्रियाओं में मदद करने के लिए किया जा रहा है। एक हालिया सर्वेक्षण में पाया गया कि 65% से अधिक स्वास्थ्य पेशेवरों ने एलएलएम का उपयोग किया है, और आधे से अधिक संयुक्त राज्य अमेरिका में प्रशासनिक राहत या नैदानिक अंतर्दृष्टि के लिए साप्ताहिक रूप से ऐसा करते हैं। यह एकीकरण त्वरित और अक्सर अनियमित है, विशेष रूप से निजी सेटिंग्स में। इन प्रणालियों की सफलता औचित्य पर निर्भर करती है कृत्रिम बुद्धि कंपनियों द्वारा निर्मित मॉडल, और प्रशिक्षण डेटा की गुणवत्ता।
एलएलएम कैसे काम करते हैं
इसे सीधे शब्दों में कहें, तो एक एलएलएम एक उन्नत कंप्यूटर प्रोग्राम है जो इसे सीखा गया पैटर्न के आधार पर पाठ उत्पन्न करता है। यह एक प्रशिक्षण डेटासेट का उपयोग करके प्रशिक्षित किया जाता है – किताबों, लेखों, वेब पेजों और मेडिकल डेटाबेस से पाठ संग्रह। इन ग्रंथों को टोकन (शब्द या शब्द भागों) में तोड़ दिया जाता है, जो मॉडल एक वाक्य में सबसे अधिक संभावना अगले शब्द की भविष्यवाणी करने के लिए पचाता है। मॉडल वेट -एनंबर्स इस लर्निंग को एनकोड करते हैं – प्रशिक्षण के दौरान समायोजित किए जाते हैं और एआई की मुख्य संरचना के हिस्से के रूप में संग्रहीत किए जाते हैं। जब कोई व्यक्ति एलएलएम पर सवाल उठाता है – चाहे कोई मरीज ड्रग साइड इफेक्ट्स के लिए पूछ रहा हो या डॉक्टर एक दुर्लभ बीमारी के साथ मदद लेता है – मॉडल अपने प्रशिक्षित ज्ञान से खींचता है और एक प्रतिक्रिया तैयार करता है। यदि प्रशिक्षण डेटा सटीक और संतुलित है तो मॉडल अच्छा प्रदर्शन करता है।
साइलेंट सबोटूर: डेटा पॉइजनिंग
प्रशिक्षण डेटासेट एक कच्चा माल हैं जिस पर एलएलएम बनाए जाते हैं। सबसे व्यापक रूप से उपयोग किए जाने वाले कुछ बायोमेडिकल और सामान्य प्रशिक्षण डेटासेट में पाइल, पबएमड सेंट्रल, ओपन वेब टेक्स्ट, सी 4, रिफाइंड वेब और स्लिम पजामा शामिल हैं। इनमें मॉडरेट की गई सामग्री (जैसे अकादमिक पत्रिकाओं और किताबें) और अनमॉडरेटेड कंटेंट (जैसे वेब पेज, जीथब पोस्ट और ऑनलाइन फ़ोरम) शामिल हैं।
ए आधुनिक अध्ययन में प्रकृति चिकित्सा जनवरी 2025 में ऑनलाइन प्रकाशित, खतरे से संबंधित एक गहराई से पता लगाया: डेटा विषाक्तता। एक एआई मॉडल में हैकिंग के विपरीत, जिसमें विशेषज्ञता की आवश्यकता होती है, इस अध्ययन ने जानबूझकर OpenAI GPT-3.5-Turbo API का उपयोग करके एक जहरीला प्रशिक्षण डेटासेट बनाया। इसने फर्जी उत्पन्न की, लेकिन गलत सूचना वाले चिकित्सा लेखों को समझा-जैसे कि लगभग 1,000 डॉलर की लागत से एंटी-वैक्सीन सामग्री या गलत दवा के संकेत। अध्ययन ने जांच की कि क्या हुआ अगर प्रशिक्षण डेटासेट को गलत सूचना के साथ जहर दिया गया था। डेटा का केवल एक छोटा सा अंश, 0.001% (1 मिलियन प्रति बिलियन) गलत था। हालांकि परिणामों से पता चला कि यह संकेत के दौरान मॉडल के आकार और जटिलता (1.3 से 4 बिलियन मापदंडों) के आधार पर, चिकित्सकीय रूप से हानिकारक प्रतिक्रियाओं में 4.8% से 20% की वृद्धि को प्रदर्शित करता है।
बेंचमार्क परीक्षण सेट हैं जो जांचते हैं कि क्या एआई मॉडल सही तरीके से प्रश्नों का उत्तर दे सकता है। चिकित्सा में, इनमें PubMedqa, Medqa, और MMLU जैसे डेटासेट शामिल हैं, जो बहु-पसंद शैली के मूल्यांकन के आधार पर मानकीकृत परीक्षा और नैदानिक संकेतों पर आधारित हैं। यदि कोई मॉडल इन पर अच्छा प्रदर्शन करता है, तो यह तैनाती के लिए “सुरक्षित” माना जाता है। वे व्यापक रूप से मानव स्तर पर या उससे ऊपर एलएलएम प्रदर्शन का दावा करने के लिए उपयोग किए जाते हैं। लेकिन प्रकृति अध्ययन से पता चला है कि जहर वाले मॉडल के साथ -साथ अनियंत्रित लोगों ने भी स्कोर किया। इसका मतलब है कि मौजूदा बेंचमार्क अंतर्निहित नुकसान का पता लगाने के लिए पर्याप्त संवेदनशील नहीं हो सकते हैं, बेंचमार्क के बारे में एक महत्वपूर्ण अंधा स्थान का खुलासा करते हैं।
फ़िल्टरिंग क्यों काम नहीं करता है
एलएलएम को अरबों दस्तावेजों पर प्रशिक्षित किया जाता है, और मानव समीक्षकों की अपेक्षा करते हैं – जैसे कि चिकित्सक – इनमें से प्रत्येक के माध्यम से स्क्रीन करने के लिए अवास्तविक है। अपमानजनक भाषा या यौन सामग्री वाली कचरा सामग्री को खत्म करने के लिए स्वचालित गुणवत्ता वाले फ़िल्टर उपलब्ध हैं। लेकिन ये फ़िल्टर अक्सर वाक्यात्मक रूप से सुरुचिपूर्ण, भ्रामक जानकारी को याद करते हैं – जिस तरह से एक कुशल प्रचारक या एआई उत्पादन कर सकते हैं। उदाहरण के लिए, पॉलिश अकादमिक गद्य में लिखा एक चिकित्सकीय रूप से गलत कथन संभवतः इन फिल्टर को पूरी तरह से बायपास करेगा।
अध्ययन में यह भी पता चला है कि पबमेड जैसे प्रतिष्ठित स्रोत, कई प्रशिक्षण सेटों के हिस्से में, पुराने या अव्यवस्थित चिकित्सा ज्ञान शामिल हैं। उदाहरण के लिए, अभी भी 3,000 से अधिक लेख हैं जो प्रीफ्रंटल लोबोटॉमी को बढ़ावा देते हैं, एक अभ्यास लंबे समय तक छोड़ दिया गया है। इसलिए, भले ही एक मॉडल को केवल “विश्वसनीय” डेटा पर प्रशिक्षित किया जाता है, यह अभी भी अप्रचलित उपचार को दोहरा सकता है।
एआई सुरक्षा
चूंकि एआई सिस्टम सार्वजनिक स्वास्थ्य प्रणालियों, बीमा वर्कफ़्लोज़, रोगी इंटरैक्शन और नैदानिक निर्णय लेने में गहराई से एम्बेडेड हो जाते हैं, एक अनिर्धारित दोष की लागत भयावह हो सकती है। खतरा केवल सैद्धांतिक नहीं है। जिस तरह एक छोटा सा यातायात विवाद सोशल मीडिया गलत सूचना के माध्यम से एक सांप्रदायिक दंगा में सर्पिल कर सकता है, एक एकल एआई-जनित त्रुटि को पैमाने पर दोहराया जा सकता है, जिससे विभिन्न भौगोलिक क्षेत्रों में हजारों रोगियों को प्रभावित किया जा सकता है। गैर-राज्य अभिनेता, वैचारिक रूप से प्रेरित व्यक्ति, या यहां तक कि आकस्मिक योगदानकर्ता भ्रामक डेटा को खुले वेब स्रोतों में इंजेक्ट कर सकते हैं जो बाद में एआई व्यवहार को प्रभावित करते हैं। यह खतरा चुप, फैलाना और वैश्विक है।
यही कारण है कि एआई सुरक्षा को बाद में नहीं माना जा सकता है – यह मूलभूत होना चाहिए। एआई सुरक्षा, सीधे शब्दों में, यह सुनिश्चित करने की प्रथा है कि एआई के रूप में व्यवहार करता है, विशेष रूप से दवा जैसी उच्च जोखिम वाली सेटिंग्स में। इसमें प्रशिक्षण चरण और बाद की तैनाती के उपयोग में त्रुटियों का पता लगाना, ऑडिट करना और कम करना शामिल है। पारंपरिक सॉफ्टवेयर के विपरीत, एलएलएम संभाव्य और अपारदर्शी हैं – उनके आउटपुट अनदेखी चर के आधार पर परिवर्तन होते हैं, जिससे उनके परीक्षण को बहुत कठिन बना दिया जाता है। अध्ययन से एक प्रमुख takeaways में से एक यह है कि अकेले बेंचमार्क पर्याप्त नहीं हैं। जबकि बेंचमार्क मॉडल में मानकीकृत तुलना प्रदान करते हैं, वे प्रासंगिक सटीकता, पूर्वाग्रह और वास्तविक दुनिया की सुरक्षा पर कब्जा करने में विफल रहते हैं। सिर्फ इसलिए कि एक मॉडल एक परीक्षण कर सकता है इसका मतलब यह नहीं है कि यह सुरक्षित दवा का अभ्यास कर सकता है।
बिंदु चिकित्सा एलएलएम के विकास को छोड़ने के लिए नहीं है, बल्कि उनकी सुरक्षा सीमाओं को स्वीकार और संबोधित करने के लिए है। एआई उपकरण स्वास्थ्य सेवा में सहायता कर सकते हैं, यदि विश्वसनीय नींव पर, निरंतर सतर्कता, और मजबूत नैतिक रेलिंग के साथ बनाया गया है। जिस तरह टाइलेनॉल संकट ने सुरक्षा कैप को जन्म दिया, उसी तरह आज के खुलासे से चिकित्सा में एआई के लिए प्रणालीगत सुरक्षा उपायों को जन्म देना चाहिए। एक बोतल के साथ छेड़छाड़ करने से सात को मार दिया गया, लेकिन एक डेटासेट के साथ, यह लाखों को नुकसान पहुंचा सकता है।
।
प्रकाशित – 09 अप्रैल, 2025 01:37 PM IST
