Joie et curiosité #7

Un petit article cette semaine, chers lecteurs. J'ai eu une semaine incroyablement chargée (fin de session oblige), du coup, je n'ai pas lu autant que je l'aurais souhaité. En espérant revenir au programme « régulier » bientôt. À moins que cette formule vous plaise ! Vous me le direz en commentaires.

---

• Le clou de la semaine : 28 notes légèrement grossières sur l’écriture . J’aimerais citer un extrait de chaque paragraphe, mais cet article a particulièrement bien réussi : il m’a enfin donné une bonne explication de mon aversion pour la prose générée par l’IA. La voici, dans les numéros 14 et 15 : « Certains pensent qu’écrire se résume à choisir les bons mots et à les mettre dans le bon ordre, comme enfiler des perles sur un collier. Mais le pouvoir de ces mots, s’il y en a un, ne réside pas dans les mots eux-mêmes. Seul, “Aimer les questions” est presque dénué de sens. Ces mots ne prennent vie que lorsqu’ils sont intégrés dans cette lettre décousue d’un poète célèbre à un enfant effrayé, un enfant qui choisit entre une vie où il écrit des poèmes et une vie où il tire à la mitrailleuse sur les rebelles bosniaques. La beauté n’est pas dans le collier. Elle est dans le cou. C’est peut-être là mon problème avec la prose générée par l’IA : tout est collier, pas de cou. » Une lecture qui m'a fait réaliser que pour moi, une bonne écriture ne se résume pas aux mots, mais à qui les a écrits et pourquoi.

• Cet article de Sean Goedecke introduit un terme dont je suis fier de proclamer que je me souviendrai toujours : les fonctionnalités clés . Les fonctionnalités clés sont des « fonctionnalités à prendre en compte à chaque création d'une autre fonctionnalité », et rien qu'en le lisant, j'ai été impressionné. Excellent article.

• Ben Kuhn sur l'impact, l'action et le goût : « J'ai remarqué que beaucoup de gens sous-estiment leurs propres goûts, car ils s'attendent à ce qu'avoir bon goût leur donne l'impression d'être très intelligent, compétent ou doué. Malheureusement, je suis là pour vous dire que, du moins si vous êtes comme moi, vous ne vous sentirez jamais intelligent, compétent ou doué ; au contraire, vous aurez de plus en plus l'impression que les autres sont mystérieusement nuls. C'est pourquoi je vous propose ici la question suivante : dans quel domaine semble-t-il que les autres soient mystérieusement mauvais ? »

• Un autre article de Sean Goedecke, lu cette semaine, que je partage ici pour résumer les récents problèmes de flagornerie chez OpenAI (oui, j'ai dû chercher le terme « flagornerie (sycophancy en anglais) ») : « Sycophancy est le premier « dark pattern » du LLM . » Le deuxième article d'OpenAI, publié après celui de Goedecke, contient des informations complémentaires sur le processus d'évaluation d'une nouvelle version de modèle : « Développer ce que nous avons manqué avec la flagornerie » .

• Grant Slatton présente différentes méthodologies de développement logiciel , dont l'une d'elles : « Commencez à travailler sur la fonctionnalité en début de journée. Si vous n'avez pas terminé à la fin de la journée, supprimez tout et recommencez le lendemain. Vous pouvez conserver les tests unitaires que vous avez écrits. » Le genre de méthode « accordez-vous 5 minutes », très bien.

• Cela m'a rappelé de mauvais souvenirs de mon cours sur Office : « Les articles doivent citer l'auteur et l'année. Ces citations peuvent être utilisées soit comme groupe nominal, comme « Le calcul lambda a été conçu à l'origine par Church [1932] », soit comme une parenthèse, comme « Le calcul lambda [Church 1932] était destiné à servir de fondement aux mathématiques ». » L'article ne se limite cependant pas aux références bibliographiques : « On pourrait se demander : "Qu'y a-t-il de mal à une norme ?" Eh bien, l'innovation procède par des écarts par rapport à la norme. Récemment, j'ai relu des articles marquants en informatique, en sciences sociales et en logique, et j'ai été frappé par leur disparité. Certes, l'argument « Ils ne seraient pas acceptés aujourd'hui » n'est pas pertinent, car l'état de l'art évolue ; mais on ne peut s'empêcher de penser que si les normes de l'époque avaient été aussi axées sur la forme que sur le fond, certains de ces articles auraient été rejetés à l'époque. » Je n'ai jamais travaillé dans le milieu universitaire, donc mes impressions à ce sujet sont peut-être complètement fausses, mais chaque fois que j'entends ou que je lis quelque chose sur le monde universitaire, je me questionne…

• Jason Fried sur la motivation : « Je peux faire semblant. Je peux faire semblant beaucoup. Mais j'ai remarqué qu'il y a une chose en particulier que je ne peux pas faire semblant : la motivation. » Ce que j'ai lentement (douloureusement lentement) appris ces dernières années, c'est que la motivation, pour moi, est l'élément crucial pour accomplir quoi que ce soit. Certes, parfois, il faut de la force brute, de la discipline et simplement aller jusqu'au bout, mais pour les gros morceaux, les morceaux importants, si je ne comprends pas pourquoi je les fais, je perds du temps. Apprendre cela a été douloureux, car il s'avère qu'il n'y a pas de solution miracle pour faire naître la motivation. Cela me demande beaucoup d'échanges avec les autres, de lectures et d'écritures, de reformulations de mes pensées, d'essais de me construire une histoire. Je n'ai pas trouvé de raccourci. Une fois que j'ai une histoire à me raconter sur ce que nous faisons et pourquoi, j'ai remarqué que je peux très bien l'utiliser pour motiver les autres. Dernièrement, je me suis demandé à quoi ressemblerait cet effort – l’effort pour trouver la motivation, pour comprendre le pourquoi – s’il s’agissait d’un effort explicite .

• Un article très intéressant examine la possibilité de faire produire de la prose par un LLM comme s'il vivait en 1913. Ils comparent l'entraînement de leur propre modèle, son affinement et l'incitation, et les résultats sont plutôt conformes à ce qu'on pourrait attendre : on obtient des résultats plus conformes à la période en entraînant le modèle uniquement sur des textes de cette période. Mais les idées avancées dans cet article sont très intéressantes, quels que soient les résultats. Par exemple, cette phrase concernant la tentative du chercheur d'évaluer les résultats du modèle : « On pourrait résumer en disant que les lecteurs de 2025 ne sont pas particulièrement doués pour évaluer la cohérence d'un passage avec l'état du monde il y a une centaine d'années. »

• À ce sujet, un article similaire est paru cette semaine : « Sur la généralisation des modèles linguistiques issus de l’apprentissage contextuel et du réglage fin : une étude contrôlée ». Résultat surprenant, du moins à mon avis : « Globalement, nous constatons que les modèles se généralisent mieux en moyenne sur plusieurs dimensions grâce à l’apprentissage contextuel. L’utilisation de l’apprentissage contextuel pour enrichir l’ensemble de données de réglage fin permet d’exploiter les avantages complémentaires des deux et d’obtenir de meilleures performances. » Il faudra approfondir la question.

• Comment faire de l'excellence : « En fin de compte, l'excellence est moins une liste de contrôle qu'un délicat alignement d'états d'esprit, de méthodes et de valeurs morales. On commence avec quelque chose d'à moitié vu et à moitié connu, on construit avec d'autres qui partagent notre foi, on s'aventure avant de fixer une direction, on apprend par la pratique plutôt que par des théories creuses, on protège les idées naissantes des jugements prématurés et on persiste avec agilité, refusant de sacrifier l'excellence sur l'autel de la rapidité. Chacun de ces principes, pris isolément, n'est qu'une note. Ensemble, ils forment un accord dont la résonance peut remodeler le monde. »

• « À partir des années 2010, et avec une accélération dans les années 2020, la réalité a commencé à se conformer aux visions cyberpunk avec lesquelles j'avais grandi. […] J'ai arrêté de lire du cyberpunk il y a une dizaine d'années. À cette époque, il est devenu évident que le rythme des véritables changements technologiques avait dépassé l'imagination des auteurs ; les nouvelles fictions cyberpunk commençaient à avoir un côté rétrofuturiste, comme si quelqu'un écrivait sur le présent et se trompait. Pendant ce temps, il me suffisait de lire les nouvelles pour voir se déployer de fantastiques techno-futurs autour de moi . » Comme c’est deux robots au restaurant qui ramassaient la vaisselle sale . J’ai l'impression d'être le seul à m'y intéresser, même vaguement ! Les gens font comme si de rien n’était ! Bien sûr, les « robots » ne faisaient que conduire des chariots remplis de vaisselle sale, mais quand même : ils conduisaient des chariots remplis de vaisselle sale ! Avec des yeux LED ! Et puis, bien sûr, si nous sortons, il y a maintenant des robots entrain de tondre la pelouse. Quel moment !

Merci de m’avoir lu!