Avec GPT-4o, OpenAI ouvre grand les yeux et les oreilles de ChatGPT

Florian Innocente |

OpenAI a dévoilé "GPT-4o", une évolution de son modèle d'IA générative dont les capacités de traitement ont été largement améliorées pour le texte, l'audio et la vision.

GPT-4o (le "o" signifiant "omni" pour l'étendue de ses capacités) reste à un niveau d'intelligence comparable à celui de ChatGTP-4, a expliqué Mira Murati, la responsable technique d'OpenAI en préambule à une démonstration des nouveautés de printemps. Mais OpenAI a amélioré les capacités d'analyse audio de ChatGPT de manière à ce que l'utilisateur ait le sentiment d'un véritable dialogue avec l'assistant, avec des intonations de voix, la simulation d'émotions ou la possibilité de l'interrompre pour enchainer sur un autre sujet.

GPT-4o améliore ensuite sa capacité de compréhension d'une image et de son contenu. C'est utilisé par exemple dans la nouvelle et première version Mac de ChatGPT qui peut observer l'écran ou une capture qu'on lui soumet et qu'il va commenter, comme le ferait un super Siri.

OpenAI lance ChatGPT pour macOS face à Siri et Spotlight

OpenAI lance ChatGPT pour macOS face à Siri et Spotlight

Dans une autre démo, deux iPhone font chacun tourner GPT-4o. L'un utilise la caméra frontale pour voir ce qui se passe devant son objectif. L'autre assistant lui demande alors de décrire la pièce, la décoration, la personne devant et ce qu'elle est en train de faire (plusieurs autres vidéos de démo sont disponibles ici). Dans une autre démo, c'est un non-voyant qui exploite cette faculté d'analyse d'événements en direct en extérieur dans la rue.

À l'avenir cela pourrait aller beaucoup plus loin et toujours en temps réel. Par exemple, ChatGPT pourrait observer la vidéo d'un match et expliquer ce qui se passe ainsi que les règles de la discipline, a suggéré Mira Murati. Pour la traduction en direct, le moteur s'est amélioré sur 50 langues environ et l'opération est deux fois plus rapide. Une personne parlant dans une langue s'adresse à ChatGPT qui traduit l'échange dans une autre langue pour un autre interlocuteur.

Ce volet voix n'est pas encore intégré à l'API de GPT-4o maintenant disponible pour tous. OpenAI veut continuer de l'améliorer auprès d'un cercle restreint d'utilisateurs afin de poser quelques barrières. D'ici un mois les utilisateurs de la formule Plus devraient en disposer en version alpha.

GPT-4o est proposé dès aujourd'hui aux utilisateurs de la formule gratuite de ChatGPT ainsi qu'aux souscripteurs des formules payantes Plus et Teams avec un quota de messages multiplié par 5. Cette limite dépassée, ChatGPT basculera sur un modèle plus ancien, GPT-3.5.

avatar Yves SG | 

@R-APPLE-R

L’objet de mon premier commentaire n’était surtout pas de vous insulter, ni de vous prendre de haut, mais juste de souligner d’une certaine façon le paradoxe qu’il y a à s’ébahir sur la puissance et l’IA tout en faisant des fautes de grammaire et en affirmant un peu plus loin qu’elles n’en sont pas.
Autant une faute d’orthographe au final ne change pas grand-chose, autant une faute de grammaire est le signe d’un manque de compréhension de la syntaxe de la phrase et donc de la construction même du langage.
Le langage étant à l’origine de la pensée, autant que la pensée est elle même à l’origine du langage, l’implication n’est pas du tout la même.
Par ailleurs, une des grosses difficultés des communications via ces commentaires est que l’on ne connaît rien de la personne à qui on s’adresse : ni son origine sociale ni surtout son âge. Je ne sais pas par exemple si vous avez 15 ans ou 30 ans. J’imagine à la lecture de vos commentaires que vous n’en avez pas plus, mais je peux me tromper.
Dans la « vraie vie », il est certain que je ne m’adresse pas la même façon à un ado, à un post-ado, à un adulte de 40 ans ou à une personne âgée.
Et pour revenir sur le sujet, la « révolution » apportée par Internet dépend en grande partie de la capacité de chacun à l’utiliser. Je suis surpris de constater qu’un nombre important de personnes, surtout dans les jeunes générations, sont aujourd’hui encore incapables d’effectuer une recherche pertinente via un moteur de recherche.
L’impact de la « révolution » qu’apportera l’intelligence artificielle sera elle aussi dépendante de la capacité des individus à utiliser ce qui permet ce nouvel outil.

avatar Supernova | 

@Yves SG

A l’heure ou j’écris ces lignes, les échanges précédents ont été supprimés. Je ne suis donc pas en mesure de juger leur caractère insultant ou non.
En revanche, ce qui est dit là est juste indiscutable. Merci à vous, 💯% d’accord.🙏

avatar Yves SG | 

@Supernova

Merci pour votre retour.
Effectivement plein de commentaires ont disparu !
Je ne sais pas si c’est habituel mais en tout cas c’est la première fois que je le remarque ?

Ce qui a heurté mon interlocuteur est qu’en réponse à « C’est ce qu'Apple a peur » je lui ai répondu que je ne savais pas qui avait peur de qui mais que ChatGPT même en beta-0 devrait pouvoir l’aider avec la grammaire.
Après vérification, ChatGPT peut évidemment bien proposer une phrase correcte exprimant cette idée. Encore faut-il avoir la présence d’esprit de lui demander.
Mais c’est vrai que j’aurais pu développer plus en avant ma pensée.
Quand je faisais encore beaucoup dephotographie, à chaque changement d’appareil, mes photos étaient moins bonnes. Que celles prises juste avant. L’appareil, lui, était bien meilleur que le précédent, mais tant que je n’avais pas appris à l’utiliser, les résultats dont j’étais capable étaient inférieurs à ceux que j’obtenait avec un appareil moins bon mais que que je connaissais parfaitement.

avatar PA5CAL | 

@ Yves SG
Je fais également beaucoup de photos et, tout comme vous, j'ai constaté qu'elles étaient de moins en moins bonnes au fil des changements d'appareils et que la prise en main de ces derniers étaient de plus en plus compliquée. Cependant, je n'aboutis pas aux mêmes conclusions.

D'une part, il me paraît anormal de devoir faire des manipulations de plus en plus complexes pour pouvoir continuer de faire la même chose. Les progrès techniques me semblent devoir autoriser le maintien ou l'amélioration de l'ergonomie plutôt que provoquer son déclin.

D'autre part, comme j'ai veillé à maitriser parfaitement l'usage de chacun de mes nouveaux appareils, je sais que le problème ne vient pas de là. Je me suis rendu compte que si mes photos étaient de moins en moins satisfaisantes, c'était principalement dû au fait que ces appareils, soi-disant de plus en plus « intelligents », décidaient à ma place d'un nombre de plus en plus important de paramètres de mes prises de vue.

Sur les anciens modèles, j'avais encore la ressource de débrayer tout ou partie des automatismes. Aujourd'hui, avec les appareils qui entrent dans le budget que je consacre habituellement à cette activité (le prix d'un Mac Mini bas de gamme), il est devenu impossible de revenir à un véritable fonctionnement totalement manuel.

Pire, en plus de souvent m'empêchent de réaliser précisément ce que je désirais, ces automatismes sont devenus de plus en plus malaisés à contrôler. Alors qu'il y a vingt ans je parvenais à allumer l'appareil, le régler et prendre un superbe cliché en moins de deux secondes, j'en suis arrivé au point de devoir patienter, parfois plus de dix secondes (entre l'initialisation, le trifouillage dans les menus et les hésitations de l'appareil), pour obtenir une photo qui, en règle générale, ne correspondait pas complètement à mes attentes. Ainsi, j'ai raté de belles occasions, et j'ai souvent dû choisir entre une photo ratée et pas de photo du tout.

J'ai fini par régler le problème en remplaçant mon dernier appareil cassé par un vieux modèle d'occasion.

J'ai le sentiment que cette modernité méprise la volonté, l'habileté et l'intelligence des utilisateurs et nuit à la libre expression de leur inspiration.

Et là, je ne vous parle même pas du caractère intrusif et pervertisseur des services en ligne du type de celui dont l'article est le sujet...

avatar iJoke | 

@PA5CAL

Il y’a un bouton action sur l’iPhone 15 pro

avatar PA5CAL | 

@ iJoke
Si je me plains du manque d'ergonomie des APN moderne, de leur propension à décider de leur fonctionnement à ma place et du caractère intrusif de certains systèmes communicants, alors je ne vois vraiment pas pourquoi je remplacerais mon appareil photo par un smartphone.

Non seulement ce type d'appareil est très certainement ce qu'on a fait de moins pratique pour prendre des photos, mais cela fait longtemps que j'ai pris le parti de ne jamais confier les différents aspects de ma vie privée à un mouchard ambulant que j'emporterais dans tous mes déplacements, et que je serais de plus tenu de recharger quotidiennement et d'envoyer en réparation chaque fois que la batterie arrive en fin de vie (entre autres inconvénients).

Il y a un moment où il faut arrêter les bêtises et s'en tenir aux outils qui sont réellement les mieux adaptés à ses besoins.

avatar iJoke | 

@PA5CAL

La faucille et le marteau

avatar PA5CAL | 

@ iJoke
Je doute qu'un iPhone convienne pour couper des joncs ou pour enfoncer des clous. 😉

D'une manière générale, ce type d'appareil s'avère a priori moins bien adapté que les outils conçus spécifiquement pour des tâches déterminées. Les smartphones, tablettes et ordinateurs sont conçus pour faire (presque) tout, mais il le font forcément moins bien, au minimum à cause des compromis que cela implique.

Si j'ai précisé « a priori », c'est parce qu'actuellement ces outils spécifiques tendent à évoluer sous le coup de la mode des gadgets numériques et/ou connectés (tout comme certains avaient déjà cédé à la mode de l'électrification systématique ou à celle de l'alimentation par batterie rechargeable à une époque). Ainsi, sous prétexte d'y apporter des améliorations dont on n'a souvent que faire, ils se retrouvent de plus en plus frappés des mêmes inconvénients que ceux de ces machines automatisées multifonctions. Et dans le même temps les outils originaux disparaissent du marché du neuf ou y deviennent plus rares et plus chers.

Par exemple, aujourd'hui il faudrait que je débourse trois à cinq fois ce que m'avait coûté l'APN que j'utilisais il y a quinze ans pour répondre aux mêmes besoins. Les APN actuels restant dans la même gamme de prix présentent des caractéristiques censément équivalentes ou meilleures, mais qui, en pratique, ont été littéralement sabotées par l'ajout de tous ces gadgets.

Derrière ces évolutions (qui poussent notamment l'INSEE à conclure à une baisse du coût de la vie) se cache en réalité une inflation galopante.

Il s'y cache également une augmentation de notre soumission à des puissances étrangères qui profitent de concevoir et de produire ces outils à notre place pour y introduire des moyens de contrôle de nos capacités d'action et de surveillance de nos activités. Et aujourd'hui, le déploiement de l'IA permet cette surveillance et ce contrôle à grande échelle au travers d'Internet sans pratiquement plus aucune intervention humaine.

Alors vous voudrez bien m'excuser si je n'y vois pas un progrès ni une voie à suivre.

avatar Yves SG | 

@PA5CAL

Votre expérience est plus récente que la mienne, mon dernier APN ayant maintenant six ou sept ans. Avec celui-ci, contrairement aux précédents, je n’ai jamais fait le travail d’apprendre à le maîtriser vraiment en mode manuel complet.
Ma fille cependant, qui a décidé de faire de la photographie sa profession, maîtrise elle complètement le mode manuel de son boîtier (certes, plus cher aussi).
Et pour étendre votre propos au sujet de l’article, cela pointe du doigt un autre risque, qui serait par exemple que les logiciels de présentation type Keynote au PowerPoint intègrent tellement l’IA que cela devienne beaucoup plus compliqué que ça ne l’est aujourd’hui de faire une présentation « simple » où l’on décide de tout…

avatar Gotmilker | 

Si Open AI sort un téléphone il va y avoir un sacré rebalancement du marché.

avatar TrollMan06 | 

@Gotmilker

Mdr

avatar ando | 

Deja actif dans l’appli chatgpt officiel

avatar Frodon | 

@ando

Pas chez moi, je suis encore en GPT 3.5 sur l’app iOS officielle. Je précise que je ne suis abonné à aucune offre payante.

avatar a.pitie | 

Je n’arrive pas à y accéder… y’a t’il quelque chose à faire ?

avatar TrollMan06 | 

@a.pitie

Oui

avatar nhtud948 | 

Il y a eu la révolution internet, révolution smartphone, maintenant place à l’ia.

Chaque révolution a eu son côté disruptif, l’ia est dans le même ADN.

Je suis désolé mais l’iPhone n’est pas une révolution, mais une évolution du smartphone, nuance ☝🏻.

avatar clemens94 | 

@nhtud948

Pas sur que le grand public voit vraiment la révolution derrière tout ça. Moi-même technophile baignant dans l’informatique depuis l’enfance, j’ai bien du mal à voir la révolution que cela peut représenter au quotidien. La révolution du moyen peut-être mais pas de la fin en tout cas. Ça va sans doute permettre de traiter bien de choses rébarbatives beaucoup plus rapidement (création d’audiodescription pour les malvoyants comme ou amélioration des outils de traduction pour reprendre les exemples donnés ici), mais est-ce une révolution comme l’a été l’apparition de l’informatique ? J’ai bien du mal à y croire pour le moment.

avatar raoolito | 

et l’ia generative une evolution des modeles precedents. Le grand public a sans doute ete surpris par chatGPT, mais dans le milieu il approchait depuis longtemps (on rappellera que le premier neural engine datait de l’iphoneX/8)

avatar Angusalex | 

WoW la vitesse de gpt4 maintenant 🤯

avatar R-APPLE-R | 

@Angusalex

GPT à passer la quatrième 😈

avatar crivol | 

Ces démos sont vraiment renversantes 🤩 quels progrès et perspectives à l’avenir pour tout un tas de domaines !! …
mais je ne peux m’empêcher de penser aussi à Skynet ! 😳 ce mélange de sentiments est peut être proche de celui ressenti par nos ancêtres qui découvraient les premiers chemins de fers! 🤷‍♂️

avatar Pozeyidon | 

@crivol

C’est exactement à Skynet que je pensais aussi aux débuts de ChatGPT. Il ne manque plus à l’IA que la capacité de produire des androïdes et des armes, et roule ma poule 🤣

avatar Angusalex | 

Après avoir regardé les vidéos sur leurs site c’est mindblowing

avatar jackhal | 

Salut, le Québec ! 👋

avatar dolbyEX | 

En tant que personne aveugle, je rêve d'avoir ce système dans une paire de lunettes type Meta. Pouvoir me décrire des choses en direct quand je me déplace dans la rue par exemple.

avatar Brice21 | 

@dolbyEX

ChatGPT marche aussi en vocal avec les AirPods.

avatar dolbyEX | 

@Brice21

Oui, mais ça m'embête, ce n'est pas très pratique de me balader en rue avec mon iPhone, et de filmer tout ce qui se passe autour de moi, déjà que j'ai ma canne blanche ou mon chien Guy dans une main…

avatar Brice21 | 

@dolbyEX

J’ai trois paires de Meta Rayban. Deux exemplaires de la première version et un exemplaire de la dernière version. Mais toujours pas de Meta.AI en EU…

avatar Krysten2001 | 

Franchement c’est génial. Surtout pour les étudiants qui ont du mal.

Malheureusement une bonne partie des profs vont super vite et finisse 1 mois à l’avance pour on ne sait quel raison et les élèves sont largués 😕

avatar ratz | 

C'est a dire pour les étudiants ? En quoi le modèle 4-o représente une avancée conséquente pour les étudiants en difficulté ?

avatar Krysten2001 | 

@ratz

Je voulais plus parler du fait que chatGPT peut parler 🙂

Mais aussi que GPT-4o permet d’aller plus vite :)

Cela leur permettra d’avoir un prof particulier h24 🙃

avatar dujarrier | 

Moi, ça me fait plutôt penser au film « Her » avec une intelligence artificielle enjouée et qui se rapproche d’une interaction avec une personne réelle…

Avant ChatGPT (2022), il y avait bien qques briques technologiques ça et la, mais c’est franchement assez bluffant de voir les progrès gigantesques accomplis dans le domaine des « chatbots conversationnels » au cours des 2 dernières années, avec l’assemblage de toutes ces briques…

avatar VanZoo | 

Ils ont utilisé des IPhones. Ce n’est pas un hasard.

L’IA est un terme fourre-tout. Dans de nombreux secteurs comme la médecine, c’est énorme sinon pour le grand public, ça me semble être un assistanat dangereux pour nos neurones.

avatar MachuPicchu | 

Mais du coup ça veut dire que la version gratuite de ChatGPT intègre la version 4 maintenant ?

avatar ataredg | 

Je n'ai plus sommeil. Je viens de regarder les démonstrations de ChatGPT-4o et je n'ai pas ressenti ce sentiment d'être face à quelque chose d'aussi dingue depuis un très long moment. Nous vivons une révolution, là, sous nos yeux.

avatar ataredg | 

Je me demande si la technologie que vient de montrer OpenAi ne va pas remplacer/cohabiter avec Siri et Spotlight dans iOS18 et MacOS15 ... On ne voit que des iPhones dans les demos et l'appli Mac qui semble remplacer Spotlight ...
Microsoft doit l'avoir un peu mauvaise de voir Apple partout chez OpenAI, non ?

avatar codeX | 

Aller Apple, tu peux maintenant le faire : https://www.youtube.com/watch?v=umJsITGzXd0

avatar cloum | 

Comment fait on pour envoyer une vidéo live comme. Sur la démo. Je ne trouve pas ça sur l’interface. J’ai pour tant la version 4o activée.

avatar valcapri | 

@cloum

Ce n’est pas encore déployé. Ce sont des démo techniques, cela sera disponible au fur et à mesure surtout en Europe où il déploie plus lentement.

J’ai ChatGPT Plus, j’ai GPT-4o de disponible. Sur le web, il ne fonctionne pas encore correctement. Par contre, sur l’app iOS, c’est bien lui. Laissons le temps à OpenAI de déployer le tout.

avatar Brice21 | 

@valcapri

Je ne suis pas certain que l’on aura la vision en EU. Si je me souviens bien l’AI Act interdit la lecture des émotions par une AI.

avatar Pierre.321 | 

Tim Cook a vraiment tout raté, bon gestionnaire et encore…. mais aucun sens pour anticipé les évolutions techniques.

avatar Nico_Belgium | 

@Pierre.321

D’ailleurs il a tellement tout raté que toutes les démo de chatGPT 4-o sont faites sur des iPhone. Ça montre que c’est vraiment des devices pourris dont absolument personne ne veux.

avatar ataredg | 

@Pierre.321 : Mais tu en sais quoi ? Apple n'a pas présenté ChatGPT et tu tires comme conclusion qu'il a tout raté ? Tu ne sais absolument rien de ce qu'il se passe dans les labos d'Apple. Rien. Nada. Ni toi, ni moi.

avatar Gotmilker | 

@ataredg

On sait quand même qu’Apple a fait un chèque à OpenAI et qu’il y a une possible intégration de Gemini dans iOS.
On voit donc clairement qu’Apple a eu une mauvaise lecture du marché avec un projet de voiture avorté et un casque dont personne ne veut.

avatar yd29021976 | 

@Gotmilker

Hummm… mais est-ce que ne pas avoir son propre moteur/infra pour l’IA est forcément un echec ?
Ensuite, comme dit par d’autres, on ne sait absolument rien (ou vraiment pas grand chose) de l’approche d’Apple sur ce secteur (i.e a quoi vont servir les fameux serveurs a base de m2 ultra par exemplee ?)

Apple n’a jamais eu de moteur de recherche (cf google) et je ne vois pas d’echec en particulier.

avatar Gotmilker | 

@yd29021976

Évidemment que c’est un échec.
Passer de M3 à M4 pour intégrer un NPU avec un minimum de TOPS au bout de 6 mois d’existence le démontre.
De même que ce n’est pas vraiment la philosophie d’Apple de laisser une boîte tiers infiltrer son OS. On est pas juste sur une application.
Peu importe à quoi vont servir ces serveurs le départ de la course à sonné depuis quelques années et la distance est stratosphérique à présent.
Il n’y a absolument aucun rapport entre un LLM intégré à l’OS pour améliorer l’expérience globale du device et un moteur de recherche dans un navigateur …

avatar yd29021976 | 

@Gotmilker

Ok

avatar ataredg | 

@Gotmilker : Apple dépense 30 milliards de $ chaque année en R&D. Je pense qu'un paquet de projet n'aboutira jamais. Mais c'est le but de ce département. Concernant l'Apple Car, c'est peut etre aussi une sage décision d'arrêter au bon moment. Et pour le casque Vision Pro, c'est un investissement à long terme. Je me trompe peut etre mais les versions suivantes du casque seront sans doute bien différentes. Regardes l'évolution de l'iPhone.

avatar Gotmilker | 

@ataredg

L’iPhone a cartonné à sa sortie rien à voir avec ce casque.
Peu importe que des projets soient avortés c’est juste qu’ici Apple s’est trompé dans sa lecture du marché.
Pourtant OpenAI a largement impressionné avec GPT et ça n’a visiblement pas ému Apple trop occupé à se regarder le nombril.

avatar Neo_007 | 

@Pierre.321

Encore un hater ignorant qui ne sais pas écrire…..

Pages

CONNEXION UTILISATEUR