Iese ChatGPT la detectoarele de conținut AI și la plagiat?

1 Ce măsoară de fapt un detector de conținut AI

Un detector de conținut AI nu compară textul tău cu nimic. Nu are o bază de date cu „tot ce a scris ChatGPT”. Se uită la forma statistică a textului și estimează cât de probabil este ca un model de limbaj să fi produs exact acea înșiruire de cuvinte.

Primul semnal se numește perplexitate. GPTZero, una dintre uneltele populare, o descrie în propria documentație ca „a measure of how likely an AI model would have chosen the exact same set of words as found in the document”. Un LLM alege, statistic, cuvântul cel mai probabil în context, deci textul generat are perplexitate scăzută. Oamenii fac alegeri lexicale mai neobișnuite, deci perplexitate mai mare. Aceeași sursă recunoaște explicit că „there isn't an absolute scale for perplexity”. GPTZero oferă totuși o orientare, spunând că o perplexitate peste 85 vine mai degrabă dintr-o sursă umană, dar recunoaște că nu e o scală absolută și că pentru burstiness nu există un prag fix.

Al doilea semnal este burstiness. Aceeași documentație GPTZero îl definește ca „a measure of how much the perplexity varies over the entire document”, adică variația de ritm și complexitate pe parcursul textului. În literatura de specialitate îl vei găsi operaționalizat de obicei ca deviație standard a scorurilor de perplexitate între propoziții, dar formularea aceea nu îi aparține GPTZero. Ideea din spate e aceeași: textul generat tinde spre uniformitate, omul alternează fraze lungi cu fraze scurte.

Comercial, abordarea dominantă este clasificatorul supervizat. Turnitin descrie în documentația proprie cum funcționează al lor: lucrarea este tăiată în segmente de câteva sute de cuvinte, segmentele se suprapun pentru context, fiecare propoziție primește un scor între 0 și 1, iar media segmentelor dă procentul final. Justificarea semnalului este aceeași: „GPT-3 and ChatGPT tend to generate the next word in a sequence of words in a consistent and highly probable fashion. Human writing, on the other hand, tends to be inconsistent and idiosyncratic.”

Există și metode zero-shot, fără antrenare pe exemple. DetectGPT (Mitchell et al., ICML 2023) pornește de la observația că textul generat de un model ocupă regiuni de curbură negativă a funcției de log-probabilitate, cu o îmbunătățire raportată de la 0,81 la 0,95 AUROC față de cel mai bun baseline zero-shot pe știri false generate de GPT-NeoX 20B.

2 Cât de fiabile sunt, de fapt

Cel mai instructiv caz vine chiar de la producătorul lui ChatGPT. Pe 31 ianuarie 2023, OpenAI a lansat „AI Text Classifier”, cu cifre declarate de ei și măsurate pe un set de test („challenge set”) de texte în engleză, nu pe un eșantion general: identifica corect 26% din textul scris de AI ca „likely AI-written” și eticheta greșit text scris de om ca fiind AI în 9% din cazuri. Documentația avertiza că unealta e „very unreliable on short texts (below 1,000 characters)”, că „performs significantly worse in other languages”, și că „should not be used as a primary decision-making tool”. Pe 20 iulie 2023, produsul a fost retras, cu o notă pe aceeași pagină: „the AI classifier is no longer available due to its low rate of accuracy”.

Poziția actuală a OpenAI, din propriul Help Center, la întrebarea dacă detectoarele funcționează: „In short, not in our experience. Our research into detectors didn't show them to be reliable enough given that educators could be making judgments about students with potentially lasting consequences.” Tot acolo, un detaliu care spune mult: „we found that it labeled human-written text like Shakespeare and the Declaration of Independence as AI-generated”. Și încă unul, valabil pentru oricine speră să treacă neobservat: „students can make small edits to evade detection”.

Independent, un studiu publicat în International Journal for Educational Integrity (Weber-Wulff et al., 2023) a testat 12 unelte publice plus două sisteme comerciale, Turnitin și PlagiarismCheck. Concluzia din abstract este directă: „the available detection tools are neither accurate nor reliable”. Autorii notează și o înclinație sistematică spre a clasifica textul ca fiind scris de om, plus faptul că tehnicile de ofuscare a conținutului degradează serios performanța.

Pe partea teoretică, Sadasivan et al. (arXiv 2303.11156, 2023) formulează un rezultat de imposibilitate: pentru un model de limbaj suficient de bun, chiar și cel mai bun detector posibil se apropie de performanța unui clasificator aleatoriu. Atacul prin parafrazare recursivă a spart, în testele lor, toate categoriile de detectoare, inclusiv cele cu watermarking.

Instituțiile au reacționat. Vanderbilt University a dezactivat detectorul AI din Turnitin pe 16 august 2023, argumentând că la aproximativ 75.000 de lucrări trimise în 2022 și la rata de 1% fals-pozitiv revendicată de furnizor, în jur de 750 de lucrări ar fi putut fi etichetate greșit. Au invocat și lipsa de transparență: „To date, Turnitin gives no detailed information as to how it determines if a piece of writing is AI-generated or not.”

Merită citită atent și revendicarea Turnitin: rata de sub 1% fals-pozitiv este declarată „for documents with over 20% of AI writing”, nu global. Între 1% și 19% nu se atribuie scor și nu se evidențiază text în document; raportul arată doar un asterisc, tocmai pentru că în intervalul acela fals-pozitivele sunt mai frecvente. Compania recunoaște că fals-pozitivele apar la „content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas”, și că la documente scurte predicția e „mostly all or nothing”.

Un mit de eliminat rapid: nu întreba ChatGPT dacă a scris el un text. OpenAI e explicit că modelul „has no 'knowledge' of what content could be AI-generated” și că răspunsurile la astfel de întrebări „are random and have no basis in fact”. E aceeași categorie de problemă cu halucinațiile.

3 Plagiat și conținut generat AI sunt două întrebări diferite

Confuzia asta produce cele mai multe panici inutile. Turnitin o clarifică în documentația proprie: „The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.”

Raportul de similaritate, adică verificarea de plagiat, caută potriviri de text față de o bază de date de surse existente. Este o căutare de suprapunere, deterministică: fie fragmentul apare undeva, fie nu. Raportul de scriere AI este predicția unui clasificator, fără nicio sursă cu care să compare. Este o probabilitate, nu o dovadă.

Consecința practică: un text generat de ChatGPT, original ca formulare, poate avea simultan 0% similaritate și 100% scor AI. Invers, un text scris integral de tine, dar care citează prost, poate avea similaritate mare și scor AI zero.

Diferențele merg mai departe. Sunt produse comerciale separate, detecția AI fiind disponibilă doar clienților care licențiază Turnitin Originality. Instituția o poate dezactiva complet din setări, fără să afecteze similaritatea. Scorul AI nu este vizibil studenților. Detecția AI acoperă doar text long-form în engleză, spaniolă sau japoneză, iar detecția de parafrazare AI și de unelte bypasser funcționează exclusiv pe engleză. Pragurile de minimum 300 de cuvinte de proză și maximum 30.000 sunt listate în FAQ-ul oficial ca cerințe pentru lucrările în engleză; pentru spaniolă și japoneză, Turnitin trimite la FAQ-urile dedicate. Se punctează doar proza continuă, nu liste, marcatori, cod sau bibliografii adnotate. Iar Turnitin declară explicit că unealta „does not make a determination of misconduct” și „should not be used as the sole basis for adverse actions against a student”.

4 Ce spune Google despre conținutul AI în căutare

Documentul de referință este „Google Search's guidance about AI-generated content”, publicat pe 8 februarie 2023, semnat Danny Sullivan și Chris Nelson. Titlul secțiunii principale rezumă poziția: „Rewarding high-quality content, however it is produced”.

La întrebarea dacă un conținut generat cu AI încalcă ghidurile, răspunsul este: „Appropriate use of AI or automation is not against our guidelines. This means that it is not used to generate content primarily to manipulate search rankings, which is against our spam policies.” Iar la întrebarea dacă textul AI se va clasa bine: „Using AI doesn't give content any special gains. It's just content. If it is useful, helpful, original, and satisfies aspects of E-E-A-T, it might do well in Search. If it doesn't, it might not.”

Poziția a rămas consecventă. Actualizarea din 5 martie 2024 a introdus politica de „scaled content abuse”, formulată explicit ca fiind agnostică față de metodă: acțiunea se aplică „no matter whether content is produced through automation, human efforts, or some combination of human and automated processes”. Politica de spam actuală listează printre exemple „using generative AI tools or other similar tools to generate many pages without adding value”.

Cu alte cuvinte, nu există „penalizare pentru conținut AI” în documentația oficială. Există penalizare pentru conținut slab produs la scară ca să manipuleze rankingul, indiferent cine l-a scris. Ceea ce mută discuția de la „cum a fost produs” la E-E-A-T și la utilitatea reală, inclusiv în noile suprafețe de căutare pe care le acoperă GEO. Google mai adaugă o notă utilă despre transparență: dezvăluirile despre folosirea AI sunt utile „for content where someone might think 'How was this created?'”, dar a trece AI-ul ca autor „is probably not the best way” de urmat.

5 Riscul fals-pozitivelor pentru vorbitorii non-nativi

Aici este cea mai serioasă problemă etică a detectoarelor. Studiul „GPT detectors are biased against non-native English writers” (Liang, Yuksekgonul, Mao, Wu, Zou), publicat peer-reviewed în Patterns pe 10 iulie 2023, a testat 7 detectoare pe 91 de eseuri TOEFL scrise de vorbitori non-nativi de engleză, fără niciun ajutor AI.

Cifra-cheie din lucrare este o medie, nu un procent de eseuri: rata medie de fals-pozitiv pe cele 7 detectoare a fost de 61,3%, adică în medie peste jumătate din eseuri au fost marcate greșit ca generate de AI. Dincolo de medie, 18 din 91 de eseuri au fost marcate ca AI de toate cele 7 detectoare simultan, iar 89 din 91 au fost marcate de cel puțin un detector. Pe eseuri scrise de elevi americani de clasa a opta, aceleași unelte au performat aproape perfect.

Mecanismul e direct legat de cum funcționează detectoarele. Vorbitorii non-nativi folosesc vocabular mai simplu și sintaxă mai puțin variată, deci perplexitate mai mică, exact semnalul interpretat ca „AI”. Detectorul nu măsoară originea textului, ci bogăția lexicală.

Ironia completează tabloul: același studiu arată că o simplă instrucțiune către model de tipul „Elevate the provided text by employing literary language” ocolește detectoarele. Utilizatorul necinstit scapă, cel onest cu engleză mai simplă e acuzat. James Zou, autor senior al studiului, pentru Stanford HAI: „Current detectors are clearly unreliable and easily gamed, which means we should be very cautious about using them as a solution to the AI cheating problem.” Concluzia e coroborată din alte două direcții independente: OpenAI menționează în propriul FAQ indicii că un astfel de detector ar putea afecta disproporționat studenții care învață engleza ca a doua limbă, iar Vanderbilt a citat explicit acest bias când a dezactivat unealta. Turnitin susține că a inclus grupuri sub-reprezentate în setul de antrenare, dar nu am găsit o validare independentă publică a acestei contramăsuri.

6 Ce faci concret

Dacă produci conținut cu AI generativ, mută discuția de la „cum trec de detector” la „cum produc ceva ce merită publicat”. Practic:

1. Nu publica prima ieșire. Editează uman: restructurează argumentul, taie repetițiile, adaugă exemple și date pe care modelul nu le are. Editarea reală rezolvă simultan calitatea și tiparul statistic uniform care declanșează detectoarele. 2. Verifică faptele, unul câte unul. Orice cifră, citat, dată sau nume trebuie confirmat pe sursă primară înainte de publicare. Modelele inventează referințe cu aceeași încredere cu care le redau pe cele corecte. 3. Adaugă ce nu poate genera un model. Date proprii, capturi, teste, interviuri, experiență directă. Este singura diferențiere care contează și pentru cititor, și pentru E-E-A-T. 4. Fii transparent unde contează. Menționează folosirea AI acolo unde cititorul s-ar întreba cum a fost produs materialul, dar nu trece modelul ca autor. 5. Verifică regulile locului. Universitatea, clientul sau publicația pot avea politici proprii. Le respecți pe acelea, nu pe cele deduse de tine. 6. Tratează scorurile de detecție ca semnal, nu ca verdict. Un scor mare nu dovedește nimic, un scor mic nu absolvă nimic. Nu are sens să îți construiești fluxul de lucru în jurul unui clasificator despre care chiar producătorii lui spun că nu e fiabil, și cu atât mai puțin să plătești ca să treci un prag. Dacă cineva îți cere totuși un scor, cere-i și metodologia din spate și rata de fals-pozitiv declarată. 7. Dacă ești acuzat pe nedrept, arată procesul. Istoric de versiuni, ciorne, notițe, comentarii. Procesul de scriere este dovada pe care un clasificator probabilistic nu o poate contrazice.

Pentru context suplimentar despre cum se integrează aceste unelte într-un flux de lucru, sunt utile ghidurile despre AI marketing și despre ChatGPT în limba română.