Le Bar

[Le Rouge]

Reprise du message précédent :

ChatGPT est assez mauvais en général, sauf pour développer ou reprendre du texte. Et sur certains langages de programmation. En fait, les IAs ne sont pas généralistes.
Par contre certains modèles sont vraiment très bons dans leurs spécialités. Claude se débrouille très bien pour coder, notamment du langage hardware.
En fait l'IA fonctionne bien quand tu utilises des outils comme Cursor, qui permet de faire appel à différents modèles selon leurs qualités.

On parle bien de chatgpt qui a gagné la médaille d'or aux Olympiades internationales de mathématiques ? En totale autonomie : lecture du problème, gestion du temps, priorisation des tâches...
Ou qui passe le barreau finger in the nose ?

Assez mauvais t'es sérieux là ?

[Le Rouge]

Je ne m'en sers toujours que très très peu dans mon quotidien (même pas une fois semaine je crois...), et un peu plus au travail pour des trucs de programmation mais là aussi parfois il dit n'importe quoi donc je l'utilise peu et que pour certaines tâches précises.

Bah tu l'utilises peut être de façon la plus sage non ? Tout ce que tu dis relèves du bon sens. T'es autonome, tu l'utilises quand t'es bloqué. Comme tout bon professionnel.

Par contre, je ne crois pas à la bulle. A chaque nouvelle technologie, tu crames du bifton avant de trouver un équilibre.

[Sn@ke]

ChatGPT est assez mauvais en général, sauf pour développer ou reprendre du texte. Et sur certains langages de programmation. En fait, les IAs ne sont pas généralistes.
Par contre certains modèles sont vraiment très bons dans leurs spécialités. Claude se débrouille très bien pour coder, notamment du langage hardware.
En fait l'IA fonctionne bien quand tu utilises des outils comme Cursor, qui permet de faire appel à différents modèles selon leurs qualités.

On parle bien de chatgpt qui a gagné la médaille d'or aux Olympiades internationales de mathématiques ? En totale autonomie : lecture du problème, gestion du temps, priorisation des tâches...
Ou qui passe le barreau finger in the nose ?

Assez mauvais t'es sérieux là ?

Sur les exos de maths de ma fille (en 1ere), il se plante régulièrement en tout cas

[Gui]

Le même qui sait pas répondre à des questions super simples :
https://s.yimg.com/ny/api/res/1.2/nc8fL ... 7fe5fa180d

[Gui]

Je ne m'en sers toujours que très très peu dans mon quotidien (même pas une fois semaine je crois...), et un peu plus au travail pour des trucs de programmation mais là aussi parfois il dit n'importe quoi donc je l'utilise peu et que pour certaines tâches précises.

Bah tu l'utilises peut être de façon la plus sage non ? Tout ce que tu dis relèves du bon sens. T'es autonome, tu l'utilises quand t'es bloqué. Comme tout bon professionnel.

Par contre, je ne crois pas à la bulle. A chaque nouvelle technologie, tu crames du bifton avant de trouver un équilibre.

Je l'utilise en fait surtout quand je connais le résultat attendu (et donc je suis capable de le vérifier) et que je pense qu'il sera + rapide pour générer le code, mais même là pour l'instant vu le temps que ça prend pour tout vérifier je suis pas encore certain d'y gagner (à voir sur un + long terme, le fait d'écrire le code soi-même quitte à y passer un peu plus de temps permet de mieux se souvenir de la code base ce qui est très utile...).
Là où je le trouve très utile c'est quand je lui pose une question sur un morceau de code, mais là encore parfois il dit l'inverse de ce que la documentation officielle d'une API dit donc c'est un peu gênant.

La bulle on verra, ça semble être sur la bouche de tout le monde vu les sous mis en jeu et investis de manière complètement insestueuse sans que les revenus soient à la hauteur. Wait and see.

[Tonio_S]

Il doit être très fort dans la discipline mangeur de Muktuk... Mais il y a une autre discipline dans laquelle il excelle, le tirage d'oreille esquimau.

Bon perso je suis dans le domaine juridique / sociologique et concrètement, il a déjà modifié / s'est trompée sur des arrêts de cour de justice (portée, référence, confond affaire en cours et arrêt définitif), m'a déjà inventé des expériences pratiques complètement à l'ouest (je voulais un exemple de bonnes pratiques non discriminatoires dans un contexte précis et il m'a sorti un exemple de ce qu'il ne faut surtout pas faire - au milieu d'autres trucs corrects quand même), a même foiré ses interprétations statistiques parce qu'au cour de l'échange il a cru bon d'intégrer une nouvelle référence au lieu de rester sur celles que je lui donnais...

Plus simplement, quand la conversation dure longtemps, il se perds dans toutes les propositions qu'il fait. Même sur du texte basique, genre un courriel un peu touchy, je lui demande de reformuler un seul paragraphe pour X raisons, il me demande ensuite s'il intègre ce para au reste du texte et il croit bon de reformuler l'entièreté du texte pour ces même X raisons.

Et il est incapable de mettre en page un document word.

En gros, quand tu pousses un peu y'a pas grand chose, c'est vraiment basique "fais ça pour moi", ça te fait gagner du temps dans l'organisation de tes idées et faut ensuite tout reprendre, juste à a fin de lui demander de corriger l'expression (et encore faut faire gaffe) et les fautes, mais c'est pas demain qu'on va nous remplacer

[Sn@ke]

Le rouge l’utilise pour tous ses posts sur PF et HFR, on ne voit pas la différence avec ses posts habituels, y a ni plus ni moins de trucs aberrants

[Le Rouge]

Bon perso je suis dans le domaine juridique / sociologique et concrètement, il a déjà modifié / s'est trompée sur des arrêts de cour de justice (portée, référence, confond affaire en cours et arrêt définitif), m'a déjà inventé des expériences pratiques complètement à l'ouest (je voulais un exemple de bonnes pratiques non discriminatoires dans un contexte précis et il m'a sorti un exemple de ce qu'il ne faut surtout pas faire - au milieu d'autres trucs corrects quand même), a même foiré ses interprétations statistiques parce qu'au cour de l'échange il a cru bon d'intégrer une nouvelle référence au lieu de rester sur celles que je lui donnais...

Pourtant les travaux dans le domaine juridique sont très avancés... y a déjà des outils comme doctrine qui existe et est spécialisé sur ce sujet et j'imagine que Dalloz c'est pareil. Puis bon... si tu le trouves si pourri, pourquoi tu l'utilises encore ? T'as peur du déclassement (plus de la moitié des juristes l'utilise) ?

N'ayant plus d'expertise dans ce domaine (même si j'ai un DEA en droit mais cela date d'il y a 20 ans), je ne peux contester ce que tu dis. Par contre, j'ignore si ta pratique du prompt est suffisamment avancé pour te permettre d'avoir le moins d'erreur possible. Il y aura toujours des erreurs, c'est dans l'ADN des LLMs. Par contre, tu peux faire en sorte en créant un GPT spécifique d'en avoir le moins possible.

[Le Rouge]

Je ne m'en sers toujours que très très peu dans mon quotidien (même pas une fois semaine je crois...), et un peu plus au travail pour des trucs de programmation mais là aussi parfois il dit n'importe quoi donc je l'utilise peu et que pour certaines tâches précises.

Bah tu l'utilises peut être de façon la plus sage non ? Tout ce que tu dis relèves du bon sens. T'es autonome, tu l'utilises quand t'es bloqué. Comme tout bon professionnel.

Par contre, je ne crois pas à la bulle. A chaque nouvelle technologie, tu crames du bifton avant de trouver un équilibre.

Je l'utilise en fait surtout quand je connais le résultat attendu (et donc je suis capable de le vérifier) et que je pense qu'il sera + rapide pour générer le code, mais même là pour l'instant vu le temps que ça prend pour tout vérifier je suis pas encore certain d'y gagner (à voir sur un + long terme, le fait d'écrire le code soi-même quitte à y passer un peu plus de temps permet de mieux se souvenir de la code base ce qui est très utile...).
Là où je le trouve très utile c'est quand je lui pose une question sur un morceau de code, mais là encore parfois il dit l'inverse de ce que la documentation officielle d'une API dit donc c'est un peu gênant.

Evidemment qu'on perd son temps à les utiliser tout comme à une époque on pouvait se perdre dans les méandres de certains forums pour avoir une réponse à un de ses problèmes, parfois médiocre. Il faut privilégier l'effort intellectuel mais quand on tourne en rond, l'IA peut aider à trouver des solutions ou d'autres idées.
Je pense que t'as la même utilisation que moi mais je suis juste moins critique car chatgpt m'a permis de sortir d'impasses un nombre incalculable de fois (en terme de data et de programmation) et il faut le reconnaître.

[TrickyKid]

Niveau interprétation textuelle/juridique, c'est pas ouf quand même. J'ai voulu me programmer une veille synthétique en droit social, le machin interprète librement ses sources, invente des consultation obligatoires du CSE qui n'existent pas et te repond "oupsy" quand tu lui montres son erreur, m'obligeant a aller consulter les sources et perdre le temps que je voulais gagner. Gé-nial.

Idem pour des sujets perso : j'ai demandé des conseils pour régler mes pédales, la documentation est intégralement dispo sur le Web mais le machin t'invente des potards qui n'existent juste pas sur les modeles spécifiés

Je suppose que je peux améliorer mes prompts, mais les erreurs sont légion.

[MeWa]

Ma femme s'est servi de chatgpt pendant 2 ans pour son concours et son année de stage ensuite. Elle est en vraiment très contente, ça lui a fait gagner un temps fou pour rediger sa thèse et ses dossiers dans son nouveau métier. Pareil pour les comptes rendus de réunion, ou les notes à rédiger.

[Halouf]

ChatGPT est assez mauvais en général, sauf pour développer ou reprendre du texte. Et sur certains langages de programmation. En fait, les IAs ne sont pas généralistes.
Par contre certains modèles sont vraiment très bons dans leurs spécialités. Claude se débrouille très bien pour coder, notamment du langage hardware.
En fait l'IA fonctionne bien quand tu utilises des outils comme Cursor, qui permet de faire appel à différents modèles selon leurs qualités.

On parle bien de chatgpt qui a gagné la médaille d'or aux Olympiades internationales de mathématiques ? En totale autonomie : lecture du problème, gestion du temps, priorisation des tâches...
Ou qui passe le barreau finger in the nose ?

Assez mauvais t'es sérieux là ?

C'est justement une démonstration de ce que je décris.
Le modèle a été spécifiquement entraîné pour résoudre des problèmes mathématiques. C'est d'ailleurs un axe d'entraînement qui est perçu comme un chemin pertinent pour le développement d'une IA vraiment généraliste.

Des que tu vas sortir du cadre, ou chercher de la profondeur dans le raisonnement, elle finit par divaguer, mais toujours avec le même aplomb. Ca ne veut pas dire qu'elle n'est capable de rien ou de rendre certains services.

[Gnom]

Savoir aussi que le même modèle peut être mis en œuvre de différents façons, en particulier sur le nombre d'opérations, ce qui semble faire une grosse différence sur les trucs « chain of thought » (où on lui fait articuler ses pensées en le forçant à faire un plan, des étapes, de la rétroaction...), par contre plus d'opérations c'est évidemment plus cher (en temps/puissance, et du coup en argent). Les trucs qui démontrent des prouesses en concours etc. ne sont pas les mêmes implémentations que dans des agents grand-public (même si à la vitesse où ça progresse le grand-public de dans pas longtemps a des chances d'être le même que le cutting edge de maintenant). Perso je ne critique pas l'efficacité (en tous cas pas sur le principe), et je ne suis pas sûr qu'il y ait une bulle (même si c'est possible et qu'il y aura en tous cas des changements dans les usages etc.), par contre j'essaye de ne pas l'utiliser quand j'ai le choix plus par principe, je pense que c'est avant tout un outil de merdification (malgré les avantages que je reconnais plus haut, pour un aspect positif il y en a deux négatifs).