Elle est de plus en plus utilisée dans des génocides et pour la surveillance de masse et sert un agenda fascite.

Et tout ça, c'est pas prêt de changer. Et tout ça, ce sont des choses qui sont censées parler à gauche et qui peuvent mettre les gens en mouvement (même si l'IA leur semble utile).

et qui ne bénéficie qu'aux capitalistes, pas aux prolos. Elle augmente des inégalités déjà injustifiables. Elle rend aliénant des boulots qui étaient autrefois plutôt stimulants. Elle liquéfie nos cerveaux. Elle a de nombreux biais problématiques entretenus par de grandes entreprises.

(donc si on détruit des emplois qualifiés chez nous, c'est pour en créer des merdiques ailleurs). Elle crame la planète à vitesse grand V. Elle pollue l'air et les sols. Elle déshabille des femmes. Elle nous permet un gain de productivité dont on n'a pas besoin,

Enfin, il y a l'aspect stratégique, car ces critiques de l'IA sont de moins en moins fondées, et s'y attacher dilue celles qui restent valides.

Elle est basée sur l'exploitation de travailleurs précaires et maltraités qui n'ont pas le droit de se syndiquer

ça évolue, à tel point que dans certains domaines (la programmation par exemple, comme on peut s'en douter avec ce qui précède) les capacités actuelles auraient été quasiment inimaginables l'année dernière, et l'utilité de ces modèles devient réelle.

Ensuite, les gens qui savent un peu comment ça marche associent ce genre d'argument aux anti-IA, et vont évidemment généraliser : "les anti-IA ne comprennent pas de quoi ils parlent, ça sert à rien de les écouter". C'est exactement comme attaquer les IA sur leurs capacités :

Je pense qu'il est important de l'admettre pour plusieurs raison. Déjà, c'est un argument apolitique, personne ne va boycotter les LLM sous prétexte que "c'est pas comme ça que les humains apprennent" tant que ça remplit à peu près la fonction pour laquelle ils les utilisent.

Plus ou moins comme un humain le ferait.

L'idée qu'on lui apprend à prédire le prochain mot n'a plus aucun sens, et c'est équivalent à dire "un humain ne peut pas planifier ce qu'il va dire car il prononce les mots un par un".

Ici, le modèle ne se contente pas de générer un raisonnement textuel, mais peut directement effectuer des expériences pour voir comment l'environnement réagit, revenir en arrière... Si on lui demande d'écrire un texte dans Word, il est capable de se relire en autonomie, de corriger des phrases...

Encore une fois, durant l'entrainement, on lui donne une instruction avec une solution vérifiable ("met en place un serveur web qui communique avec une base de données"), et on le laisse essayer des choses, et à la fin il apprend à interagir avec un ordinateur.

Plutôt que lui faire générer uniquement un raisonnement sous forme de texte et de nous donner une réponse textuelle, on le laisse interagir directement avec un environnement (aujourd'hui, il s'agit d'un environnement numérique, une session Linux par exemple).

il apprend véritablement à générer un raisonnement par lui-même (même s'il peut être imparfait, bien sûr).

Enfin, avec les "agents", on va encore plus loin.

Il apprend spontanément des stratégies de résolution de problème qui donnent une réponse valide avec un taux du succès bien plus élevé. À ce stade, dire qu'on se contente d'apprendre au modèle à prédire le prochain mot ne décrit plus du tout la réalité :

Quand on fait ça, le modèle va naturellement tendre vers des réponses bien plus longues, et va lui-même chercher décomposer le problème en étapes intermédiaires (ce qu'on ne lui a jamais appris), tester plusieurs approches et sélectionner la plus pertinente...

Est-ce que le code compile ? Est-ce qu'il fait vraiment ce qu'on demande ? Est-ce que la solution trouvée pour l'équation résout bien le problème ?

Avec les """"thinking""" models", plus récents, on s'en éloigne encore. Au lieu de demander à un humain de donner la meilleure réponse, et donc d'apprendre au modèle à imiter une réponse qui plait plus à un humain, on va plutôt utiliser des questions avec une réponse vérifiable.

davantage à un humain, on n'est déjà plus tout à fait dans le paradigme "apprendre à prédire le prochain mot". Le résultat était toujours médiocre, mais il était bien formaté, plus crédible à première vue.

Quand ChatGPT est sorti, on avait déjà une étape d'entrainement supplémentaire : on laissait le modèle donner deux réponses, et un humain exploité lui indiquait manuellement la meilleure des deux. Le modèle apprenait à partir de ça à privilégier une réponse qui plairait statistiquement

le mot suivant le plus probable selon le corpus d'entrainement.

C'est ce qui était fait jusqu'en 2022, et ça nécessitait pour l'utilisateur de donner manuellement des exemples de ce qu'il attendait, et il obtenait une réponse médiocre qui imitait ces exemples.

Apprendre à prédire le prochain mot, c'est aujourd'hui ce qu'on appelle le pré-entrainement (globalement, c'est juste dégrossir le modèle, bien initialiser ses paramètres). Si on se contente de ça, le modèle est effectivement inutilisable, car il apprend uniquement à donner statistiquement

Fermement anti-IA ici (j'y reviendrai à la fin), mais cet argument n'est plus vraiment valide aujourd'hui, et je pense qu'il est important de le reconnaitre. Je ne parlerai que des LLM, car "prédire le mot suivant" leur est spécifique, et je ne suis plus à jour sur les modèles de diffusion.