ஒரே ஒரு வரி உரை, “என் உள்ளடக்கத்தில் பயிற்சி அளிக்காதே” என்பதற்கான AI துறையின் பதிலை ஒன்றுபடுத்தியது

மூன்று ஆண்டுகளாக, ஒரு AI நிறுவனத்திடம் உங்கள் இணையதளத்தில் பயிற்சி அளிக்க வேண்டாம் என்று சொல்வது என்றால், அதன் crawler-இன் பெயரை அறிந்திருக்க வேண்டும். OpenAI-க்கு GPTBot, Anthropic-க்கு ClaudeBot, Google-க்கு Google-Extended, Microsoft-க்கு ஒரு meta tag. ஒவ்வொரு விற்பனையாளருக்கும் அதனதன் சுவிட்ச், அதனதன் தொடரியல், அதனதன் ஆவணம் இருந்தன; AI பயிற்சியிலிருந்து விலகிருக்க விரும்பும் எந்த இணையதள நிர்வாகியும் அவை அனைத்தையும் கண்டுபிடித்து பராமரிக்க வேண்டியிருந்தது. வெள்ளியன்று, மிகப்பெரிய நான்கு AI நிறுவனங்கள் அதற்குப் பதிலாக ஒரே ஒரு வரியைப் படிக்க ஒப்புக்கொண்டன.

OpenAI, Google, Microsoft, Anthropic ஆகிய நான்கும், 1994 முதல் இயந்திரங்கள் இணையதளங்களை எவ்வாறு நடத்த வேண்டும் என்பதை நிர்ணயித்து வரும் சிறிய உரைக் கோப்பான robots.txt-இல் ஒரு பகிரங்க சமிக்ஞையை மதிக்கும் என்று அறிவித்தன. ஒரு பதிப்பாளர், பங்கேற்கும் அனைத்து AI வழங்குநர்களுக்கும் ஒரே நேரத்தில் அடையும் ஒரே ஒரு விதியை எழுதி, தன் உள்ளடக்கம் ஜெனரேட்டிவ் மாதிரிகளைப் பயிற்றுவிக்கப் பயன்படலாமா என்பதைத் தெரிவிக்க முடியும். OpenAI வரும் மாதங்களில் இச்சமிக்ஞையை நடைமுறைப்படுத்தும் என்கிறது. Google 2027-இல் ஆதரவு திட்டமிட்டுள்ளது. Microsoft மிகவும் விரிவான காலக்கெடுவை வெளியிட்டுள்ளது; புதிய கட்டுப்பாடுகள் பிப்ரவரி முதல் அமலுக்கு வருகின்றன.

இயல்புகள் வேண்டுமென்றே சலிப்பானவை; அதுவே இதன் நோக்கம். இந்த முன்மொழிவு robots.txt-இல் புதிய directive எதையும் சேர்க்கவில்லை. ஒரு தளம் __usage_ai-training என்ற policy token-இன் கீழ், எப்போதும் பயன்படுத்தும் Allow மற்றும் Disallow வரிகளைக் கொண்டே சாதாரண விதிக் குழுவை எழுதுகிறது. ஒரு wildcard குழு அந்த token-உடன் ஒருபோதும் பொருந்தாது; அந்த token இல்லாத கோப்பு எந்த விருப்பத்தையும் காட்டாது. இன்று இணையத்தில் உள்ள ஒவ்வொரு robots.txt கோப்பும் அப்படித்தான் உள்ளது. யாருடைய தற்போதைய அமைப்பும் ஒரே இரவில் பொருள் மாறிவிடாது.

இந்த யோசனை Internet Engineering Task Force-இன் AI Preferences பணிக்குழுவிலிருந்து உருவானது; குறிப்பிட்ட வரைவை Anthropic பொறியாளர் Kevin Kelley சமர்ப்பித்தார். இது ஏற்றுக்கொள்ளப்பட்ட தரம் அல்ல, ஒரு தனிப்பட்ட Internet Draft; பணிக்குழு அதை மேலும் கொண்டுசெல்லாவிட்டால் 2027 மே மாதம் காலாவதியாகும். தனது சேவைகள் முழுவதும் ஆதரவை நடைமுறைப்படுத்த காலம் எடுக்கும் என்று Anthropic கூறுகிறது. இது ஒழுங்குமுறை அல்ல; போட்டியாளர்களுக்கிடையிலான தன்னார்வ ஒப்பந்தம். புகழைத் தவிர வேறு எந்த அபராதமும் இதில் இல்லை.

நுண்ணெழுத்துகளைப் படித்தால்தான் இந்த ஒப்பந்தம் எளிதாகத் தோன்றுவது நின்றுவிடுகிறது. ஒவ்வொரு நிறுவனமும் அதே வரியைப் படித்து வெவ்வேறு மாதிரி நடக்கும். Google, பகிரங்க opt-out-ஐ Google-Extended தடையாகக் கருதும்; அது எதிர்கால Gemini பயிற்சியிலிருந்தும் Gemini Apps-இல் grounding-இலிருந்தும் உள்ளடக்கத்தை நீக்கும், ஆனால் Google Search-ஐத் தொடாது. Microsoft முடிவை இரண்டாகப் பிரிக்கிறது: ஒன்று பயிற்சிக்கான விருப்பம், மற்றொன்று grounding-க்கானது; அதாவது Copilot மற்றும் Bing-இன் AI Mode உருவாக்கும் பதில்களில் உங்கள் பக்கங்கள் பங்குபெறலாமா என்பது. இன்று பல தளங்கள் நம்பியிருக்கும் NoArchive மற்றும் NoCache குறிச்சொற்களையும் Microsoft ஓய்வுபெறச் செய்கிறது; தங்கள் தேர்வுகளை மீண்டும் பதிவு செய்ய நிர்வாகிகளுக்கு 2027 மார்ச் வரை காலம் உள்ளது. அந்தக் காலக்கெடுவைத் தவறவிடும் தளங்கள் grounding-ஐ அனுமதிப்பதாக default ஆகிவிடும்.

இந்தக் கடைசி விவரம் ஒரு போர்டின் கவனத்திற்கு உரியது. பயிற்சியிலிருந்து விலகுவது, பதில்களிலிருந்து விலகுவது அல்ல. ஒரு நிறுவனம் தன் உள்ளடக்கத்தை மாதிரியின் weights-இலிருந்து விலக்கி வைத்துக்கொண்டே, AI தயாரிப்புகள் அதை மேற்கோள் காட்ட அனுமதிக்கலாம்; அல்லது அதற்கு நேர்மாறாகவும் செய்யலாம். ஒவ்வொரு விற்பனையாளரும் அந்தக் கோட்டை வெவ்வேறு இடத்தில் வரைகிறார். Microsoft நேரடியாக எச்சரிக்கிறது: grounding-ஐக் கட்டுப்படுத்தினால் AI உருவாக்கும் பதில்களில் பிராண்டின் தோற்றம் குறையும், ஆனால் சாதாரண தேடல் முடிவுகளில் அல்ல. இது இனி வலைக்குழுவின் தொழில்நுட்ப வீட்டுவேலை அல்ல. உங்கள் வார்த்தைகள் எங்கே மிகக் கடினமாக உழைக்க வேண்டும் என்பதைப் பற்றிய விநியோக மூலோபாயக் கேள்வி இது.

வெள்ளியன்று என்ன மாறியது என்பதற்கும் நேர்மையான எல்லை உண்டு. இந்தச் சமிக்ஞை, அதை அறிவித்த நிறுவனங்கள் உட்பட அனைவருக்கும் தன்னார்வமானது. கட்டணம், உரிமம் அல்லது தரவுக்கான அங்கீகாரம் பற்றி இது எதுவும் சொல்லவில்லை; இன்றைய மாதிரிகளில் ஏற்கெனவே உள்வாங்கப்பட்ட உள்ளடக்கத்திற்கும் இது ஒன்றும் செய்யாது. இழப்பீடு வேண்டும் பதிப்பாளருக்கு இன்னும் ஒப்பந்தம் தேவை; நீக்கம் வேண்டும் பதிப்பாளருக்கு இன்னும் வழக்கறிஞர் தேவை. பகிரங்க வரி தருவது சம்மத இயந்திரம்மை; எந்த இணையதளமும் பயன்படுத்தும் அளவுக்கு மலிவானது, “மதிப்பது மிகச் சிக்கலானது” என்று துறை சொல்ல முடியாத அளவுக்கு ஒருசீரானது.

ஆழ்ந்த மாற்றத்தைப் பெயரிடத் தக்கது. பயிற்சித் தரவு, துறை எடுத்துக்கொண்ட ஒன்றிலிருந்து, கேட்டுப் பெற வேண்டிய ஒன்றாக மாறுகிறது; கேட்பது இணையம் தரப்படுத்தும் வழியில் தரப்படுத்தப்படுகிறது: ஒரு token, ஒரு சொல்லகம், ஒரு பணிக்குழு, ஒரு காலக்கெடு. சம்மதத்திற்கு ஒரு கோப்பு வடிவம் கிடைத்தவுடன், பேரத்திற்கு ஒரு தொடக்கப்புள்ளி கிடைக்கிறது. உரிமப் பேச்சுவார்த்தைகள், ஒழுங்காளர் வரைவுகள், நிறுவனத் தரவு ஒப்பந்தங்கள் இச்சமிக்ஞையை cookie banners-ஐ தனியுரிமை விவாதங்கள் குறிப்பிடுவது போலக் குறிப்பிடும் என்று எதிர்பார்க்கலாம்; தெளிவற்ற கொள்கை செயல்முறைக் கட்டுப்பாடான தருணமென்று.

தலைமைக் குழுக்களுக்கான நடவடிக்கை சிறிது ஆனால் உண்மையானது. உங்கள் உள்ளடக்கம் மாதிரிகளைப் பயிற்றுவிக்கட்டுமா, பதில்களுக்கு உதவட்டுமா, இரண்டுமா, அல்லது ஒன்றுமில்லையா என்பதை விட்டுவிடாமல் தீர்மானமாக முடிவு செய்யுங்கள்; அந்த முடிவை ஒரே இடத்தில் ஒருமுறை எழுதிவையுங்கள்; ஒரு default உங்களுக்காகப் பதில் சொல்ல விடாதீர்கள். 2026 மற்றும் 2027 வழியாக ஒவ்வொரு வழங்குநரும் பகிரங்க வரியை எவ்வாறு விளக்குகிறார்கள் என்பதைக் கண்காணிக்க ஒருவரை நியமியுங்கள்; ஏனெனில் சிறிது காலம் அதே வார்த்தைகள் Google-இலும் Microsoft-இலும் வெவ்வேறு பொருள் தரும். இதை அமைப்புப் பக்கமாக அல்ல, மூலோபாயத் தேர்வாகக் கருதும் நிறுவனங்கள்தாம், தங்கள் உள்ளடக்கம் தங்கள் விதிகளில் வேலை செய்யும் நிறுவனங்களாக இருப்பார்கள்.

கணித அடிப்படையில் சிந்தியுங்கள். அறிவார்ந்த முறையில் பொறியியல் தீர்வுகளை உருவாக்குங்கள். மூலோபாய நோக்குடன் வழிநடத்துங்கள். பொறுப்புடன் உருவாக்குங்கள். உலகளவில் விரிவுபடுத்துங்கள். செயற்கை நுண்ணறிவின் மூலம் உண்மையான வணிக மதிப்பை உருவாக்குங்கள்.

#ArtificialIntelligence #AIStrategy #RobotsTxt #ContentPolicy #ITImpress