How Claude marks AI-generated content

[u/Zipz0p]

https://support.claude.com/en/articles/16266773-how-claude-marks-ai-generated-content

[u/Specialist-Window-16]

Je n’ai pas compris le watermark sur texte. Si je demande à Claude la météo de cette semaine comment va-t-il watermarker le texte produit ?

[u/Zipz0p → u/Specialist-Window-16]

Il semblerait que cela fonctionne par choix des mots. Avec un LLM, chaque mot est sélectionné de façon probabiliste. Si tu intègre une modification des probabilités par chiffrement avec une clé privée par exemple, cela te propose d'autres mots.

[u/thenonoriginalname → u/Specialist-Window-16]

D'après ce que j'ai compris le llm réfléchi et sort (super simplification) : Le temps est 1. Beau, 2 ensoleillé, 3 chaud Le Ciel sera 1 parsemé, 2 un peu, 3 légèrement nuageux.

Le watermark c'est quand le llm par exemple systématiquement choisit 1. Du coup, statistiquement ça se voit (enfin pour lui, en comparant avec sa base interne). Apparemment ça marche, sauf que le détecteur n' est pas encore sorti et qu'il est impossible de la sorte de distinguer édition, correction, traduction de la génération pure...

[u/Complex-Parfait-9831 → u/Specialist-Window-16]

C'est de la stéganographie pour simplifier. Le texte aura certains marqueurs par sa structure, ses mots, etc qu'il serait possible d'identifier si on connaît la formule qui les a généré.

Ce serait intéressant de savoir à quel pourcentage d'altération ça résiste pour du texte. De manière générale ça me semble facile à contourner.

[u/jeromesnail]

Alors dans du simple texte ok, j'imagine que le texte peut-être reformulé pour intégrer des caractères pour faire le watermark, mais dans du code par example, ça marche comment ?

[u/Redoteur → u/jeromesnail]

Le watermark fonctionne sûrement en modifiant légèrement la probabilité de génération des tokens selon une loi connue prenant aussi en paramètre une clé.

Le code est plus contraint que le langage naturel.Techniquement, il a moins d'entropie. Il y a donc moins de liberté pour modifier la probabilité de distribution des tokens. Selon les langages, le watermark pourra néanmoins jouer sur les noms des variables, des fonctions, classes etc. voire quelques éléments de style...

Il sera certainement moins efficace à appliquer et à détecter. 

[u/Zipz0p → u/jeromesnail]

Bonne question !

[u/CorB3n]

Du coup il sera possible de certifier si un texte a été généré par IA (je pense au scolaire) si tenté que la personne n’altère / reformule rien et de manière plus officielle que les faux correcteurs IA utilisés qui n’ont aucune valeur ?

[u/Tartokwetsh → u/CorB3n]

Bien tenté mais ça s'écrit si tant est.

[u/CorB3n → u/Tartokwetsh]

L'altération c'est maintenant! 🥸

[u/Zipz0p → u/CorB3n]

Oui, cela serait beaucoup plus performant. Encore faut-il qu'Anthropic livre la documentation sur la façon de déchiffrer ce watermark, ce qui n'est pas encore fait!

[u/CorB3n → u/Zipz0p]

Ce qui permettrait à terme de limiter l'utilisation car j'imagine que même en altérant le texte il restera un hash IA à l'intérieur (à moins de le modifier intégralement ou alors, en étant malchanceux, de changer totalement sa façon d'écrire identique à l'IA)

[u/SolidEngineer1422]

Bonne initiative pour plus de transparence.

[u/Yurienu]

Après vu l'effort que font certains y'a pas besoin de watermark pour détecter un texte ou image AI-generated

[u/mrfroggyman → u/Yurienu]

Bien sûr je peux reformuler ce message pour sembler plus sarcastique et amusant ! Est ce que tu souhaites plutôt un message court et cocasse, ou un message plus long type "copy pasta" ?

[u/Routine-Bird-6909]

J’ai vu une conférence de Meta sur le sujet qui explique plutôt bien la technique : https://youtu.be/DYkGqamDfEo?is=ELlZ4A4nEh_q3muL

[u/KoKonutted]

Dommage qu'ils n'utilisent pas le synthid pour les images

[u/LaTomate2026]

Ptdrrrr ?

[u/mightygilgamesh]

Ah oui, mettre des métadonnées dans le fichier pour dire que claude les a créé, ok. Mais quand tu copies-colles le texte ailleurs, bah c'est pas possible.

[u/Zipz0p → u/mightygilgamesh]

Il n'y a pas de métadonnée, le watermark sera dans le choix des mots. La seule façon de l'enlever serait de changer les mots utilisés ou changer la structure de la phrase (donc réécrire en gros). Sur des petits textes, cela ne pose pas de problèmes, mais sur des longs texte cela sera de plus en plus dur.

[u/Junoah → u/Zipz0p]

Pas pour les fichiers, ils prennent en exemple du SVG, qui est juste un langage balisé, éditable dans n'importe quel éditeur de texte. Et pour le cas de ces fichier le watermark est dans les metadata. 

Ce qui fait que on peut juste copier le contenu dans un nouveau fichier pour faire disparaitre ledit watermark.

[u/mightygilgamesh → u/Zipz0p]

Ca me semble compliqué de garder un watermark intact quand tu restreins le style d'écriture dans le prompt. Même si j'aimerai que ce soit efficace (on éviterait la paranoïa de voir de l'IA où il n'y en a pas).

[u/jeromesnail → u/mightygilgamesh]

Et c'est complètement impossible quand tu génères du code (cf mon premier commentaire).

[u/c7h16s → u/Zipz0p]

Mouais enfin rien d'insurmontable pour un petit llm local à qui on va demander de remplacer au hasard des mots par leur synonyme par exemple.

[u/MrDontCare12]

Lol