L'IA et les modèles de langage peuvent compresser du texte de façon très efficace

Pierre Dandumont |

Un développeur a effectué une petite expérience très intéressante récemment : il a employé un grand modèle de langage (LLM, ce qui est souvent appelé IA, même si c'est un abus de langage) pour compresser du texte. Et le résultat est assez impressionnant, malgré quelques limites.

Les IA peuvent compresser le texte où apparaît ce lapin.

L'exemple porte le nom de Drink Me, pour une bonne raison : Julian a effectué ses essais sur le premier chapitre du livre Les Aventures d'Alice au pays des merveilles. Il a employé llaman.cpp, un logiciel open source qui peut utiliser les modèles LLaMA de Meta.

La décompression en cours.

Le fonctionnement exact est expliqué dans son sujet, mais l'idée est de ne stocker que le nécessaire pour que le logiciel puisse générer le texte à partir des informations stockées dans le modèle. Sur le premier chapitre du livre, qui contient 11 994 caractères, la version compressée ne nécessite que 986 caractères, soit 8 % seulement de la valeur d'origine. C'est très nettement mieux que les programmes de compression classiques, mais avec évidemment quelques contraintes et limites.

Un problème de taille

Le premier défaut est évident : la puissance nécessaire est élevée, et sur plusieurs niveaux. Il a en effet fallu créer le modèle lui-même, et tant la compression que la décompression nécessitent beaucoup de mémoire vive et une bonne puissance de calcul. Le second défaut est un peu différent : la compression est beaucoup moins efficace si le modèle ne contient pas les données au départ (le post d'origine de Julian passe de 3 436 à 2 691 caractères). Ce défaut peut être présenté dans l'autre sens : si le texte à compresser a été employé pour créer le modèle — ce qui est a priori le cas de la version originale d'Alice's Adventures in Wonderland —, la compression est extrêmement efficace.

Cet autre post montre bien les gains : le modèle LLaMA-3-8B (8 milliards de paramètres) permet d'obtenir un fichier 58,4 x plus petit pour le même premier chapitre ou 131 x plus petit pour un texte très courant comme le contenu de la licence GPL v2. Mais pour du texte produit par l'auteur, les résultats sont plus faibles (4,4 x, 5,76 x ou 6,93 x). Dans tous les cas, la compression avec les outils classiques comme GZIP (certes plus rapide) est nettement moins efficace, avec des fichiers environ 2 x plus petits que les originaux.

Dans la pratique, il ne s'agit évidemment pour le moment que d'une sorte de démonstration technologique. Mais qui sait, peut-être que les sociétés qui développent les grands modèles de langage pourraient s'intéresser à cette solution dans le futur, pour ajouter une nouvelle corde à l'arc de « l'IA ».

Lire les commentaires →

pCloud : jusqu'à 65 % de réduction pour tous les plans familiaux à vie ! 📍

Article sponsorisé |

pCloud, le leader suisse du stockage en ligne, annonce une offre exceptionnelle pour célébrer la Journée des familles 2024.

Du 13 au 18 mai, profitez de réductions allant jusqu'à 65 % sur les plans familiaux à vie, accompagnés de cadeaux exclusifs. Cette offre limitée dans le temps représente une belle opportunité pour les familles souhaitant sécuriser leurs données de manière fiable et économique.

Pourquoi choisir l'abonnement Famille de pCloud ?

Les plans familiaux à vie de pCloud sont conçus pour accommoder jusqu'à 5 membres, chaque utilisateur bénéficiant de son propre espace personnel sécurisé. Ces plans offrent une flexibilité sans précédent pour gérer et partager les données entre les membres de la famille tout en garantissant leur confidentialité et sécurité.

Bien évidemment l'avantage de pCloud réside dans son paiement unique : un seul investissement, pour un stockage sécurisé à vie. Ensuite, l'attribution et la gestion sont de votre volume de stockage pour chaque membre est très facile, et chaque utilisateur jouit de son propre espace dans le cloud.

Toutes les caractéristiques clés de pCloud

pCloud se distingue par sa compatibilité étendue avec macOS, Windows, Linux et des applications mobiles pour iOS et Android, qui incluent des fonctionnalités telles que le téléversement automatique pour libérer de l'espace sur les appareils mobiles. La plateforme assure une synchronisation instantanée entre tous vos appareils, permettant un accès et une collaboration aisés.

  • pCloud Drive : transforme le stockage cloud en un disque virtuel sur votre appareil, facilitant ainsi la gestion des fichiers (comme iCloud Drive, Dropbox, etc.)
  • Sauvegardes automatiques : la fonction pCloud Backup assure la sauvegarde continue de vos données.
  • Collaboration facilitée : partage de fichiers, invitations à des dossiers et demandes de fichiers pour une collaboration fluide, même avec des non-utilisateurs de pCloud.

pCloud Encryption, une sécurité maximale pour vos données sensibles

pCloud Encryption est votre bastion contre les accès non autorisés, offrant un chiffrement côté client de première classe. Cette technologie garantit que seuls vous et ceux à qui vous donnez accès peuvent voir vos données. Aucun tiers, y compris pCloud, ne peut accéder à vos fichiers chiffrés, vous offrant ainsi une tranquillité d'esprit totale.

Le chiffrement se fait côté client pour une sécurité maximale de vos fichiers sensibles et pCloud assure une politique de confidentialité zéro connaissance où seul vous avez accès à vos clés de chiffrement.

Comment profiter de cette offre ?

Pour bénéficier de cette promotion exclusive de la Journée des familles 2024, visitez le site officiel de pCloud et choisissez l'abonnement qui convient le mieux à vos besoins. N'oubliez pas, cette offre est valable du 13 au 18 mai 2024 seulement.

En choisissant pCloud, vous optez pour une solution de stockage robuste et sécurisée, reconnue mondialement et soutenue par plus de 20 millions d'utilisateurs. Ne laissez pas passer cette offre exceptionnelle, assurez dès aujourd'hui un avenir numérique sécurisé pour votre famille.

Les offres Famille de pCloud

Voici un résumé des offres du moment :

  • 2 To + pCloud Encryption à vie à seulement 399 €, au lieu de 1 100 € (remise de 64 %).
  • 5 To + pCloud Encryption à vie (édition limitée) à 599 €, initialement à 1 700 € (remise de 65 %).
  • 10 To + pCloud Encryption à vie pour 1 049 €, réduit de 2 500 € (remise de 58 %).

Chaque abonnement acheté inclut pCloud Encryption sans frais supplémentaires à vie, assurant une protection complète de vos données personnelles avec un chiffrement de bout en bout.

👉 Embrassez cette occasion pour garantir la sécurité et la gestion efficace de vos données familiales avec pCloud !

Lire les commentaires →

Avec les modules LPCAMM2, Apple pourrait proposer de la RAM amovible sur les Mac

Pierre Dandumont |

Depuis quelques années, Apple emploie de la mémoire vive de type LPDDR, qui permet une consommation plus faible et des fréquences plus élevées, mais avec un défaut : elle n'est pas amovible et n'existe pas en barrettes. Mais ce point a été réglé : les premiers PC équipés d'un module LPCAMM2 arrivent enfin.

Un module LPCAMM2 Crucial.

Le LPCAMM2 (pour Low-Power Compression-Attached Memory Module) permet enfin l'intégration de la mémoire LPDDR sur un support amovible. Avec cette technologie, il est donc possible de garder les avantages de la LPDDR — fréquence, bande passante, consommation — tout en réglant son principal défaut.

Le LPCAMM2 — le 2 signifie qu'il s'agit de la version standardisée — débarque donc dans des PC portables. Les premiers modules sont disponibles à la vente et offrent 32 Go ou 64 Go de mémoire pour un prix intéressant : 195 et 368 €. Pour rappel, Apple facture 230 € pour le passage de 8 à 16 Go sur un MacBook Air. MacBook Air qui — par ailleurs — pourrait parfaitement intégrer le module. En effet, le LPCAMM2 travaille sur un bus 128 bits comme la mémoire intégrée dans les Mac équipés d'une puce M3 classique, et la fréquence de la mémoire est même plus élevée (7 500 MT/s, contre 6 400 MT/s chez Apple).

Le module est plus compact que les anciens emplacements SO-DIMM.

Bien évidemment, cette technologie n'est pas parfaite, pour deux raisons. Premièrement, elle se limite à un bus 128 bits, quand Apple est passé à 192, 256, 384 ou même 512 bits avec certaines des variantes de ses puces M3. Deuxièmement, même si le module est fin (4,5 mm), il est tout de même plus épais qu'une mémoire placée directement sur le système sur puce. De même, il mesure 34 x 78 mm, ce qui est certes plus compact que deux emplacements SO-DIMM classiques, mais demande tout de même des aménagements dans certains châssis.

Dans la pratique, même dans le monde PC, le LPCAMM2 est pour le moment présent uniquement dans un PC portable Lenovo, le ThinkPad P1 Gen 7. C'est un modèle de grande taille, équipée d'un écran de 16 pouces, et la mémoire soudée — qui nécessite moins de place — devrait donc rester la norme dans les PC portables de 13 pouces.

Lire les commentaires →

Partenariat entre Stack Overflow et OpenAI : des opposants sabotent leurs publications

Stéphane Moussie |

Stack Overflow et OpenAI ont annoncé la semaine dernière un partenariat qui prévoit que la mine d’informations du premier nourrisse les technologies d’IA génératives du second. Cet accord suscite la controverse au sein de la communauté de la plateforme et une fronde est en train de s’organiser.

Stack Overflow est une plateforme d’entraide incontournable pour les développeurs : ils peuvent y poser leurs questions techniques dans l’espoir que des confrères leur apportent des solutions ou des explications. Depuis son lancement en 2008, ce grand forum a accumulé une énorme base de connaissances, une base qui s’apprête donc à alimenter ChatGPT.

« Je déteste ça. Je vais juste supprimer/défigurer mes réponses une par une, a écrit un utilisateur sur Stack Exchange, un site appartenant au même groupe. Je me fiche que cela soit contraire à vos politiques ridicules, car comme le montre cette annonce, vos politiques peuvent changer à tout moment sans consultation préalable de vos parties prenantes. Vous ne vous souciez pas de vos utilisateurs, je ne me soucie pas de vous. »

Alors que certains utilisateurs ont tenté de saboter leurs publications, le personnel de Stack Overflow aurait banni une partie des frondeurs. Un utilisateur raconte qu’après avoir remplacé plusieurs de ses réponses bien notées sur la plateforme par un message de protestation, son compte a été suspendu pendant sept jours.

Stack Overflow est pris entre le marteau et l’enclume. Depuis l’émergence de ChatGPT et Copilot, deux nouvelles technologies capables d’épauler efficacement les développeurs, la plateforme a vu son trafic diminuer. Le contrat passé avec OpenAI doit sûrement lui rapporter de l’argent frais, mais dans le même temps il donne du carburant à sa principale menace.

L’accord stipule que ChatGPT attribuera à Stack Overflow les réponses issues de sa communauté, mais cette visibilité sera-t-elle suffisante pour compenser la baisse des visites ? Le partenariat prévoit également l’utilisation par Stack Overflow des modèles d’OpenAI pour développer de nouveaux produits.

Les IA crient famine dans leur recherche de nouvelles données à moissonner

Les IA crient famine dans leur recherche de nouvelles données à moissonner

Lire les commentaires →

Une grève historique en préparation dans un Apple Store américain

Stéphane Moussie |

Après avoir été les premiers à former un syndicat aux États-Unis, les employés de l’Apple Store de Towson Town Center sont les premiers à avoir voté l’organisation d’une grève. Les employés de cette boutique de Baltimore, sur la côte Est du pays, négocient depuis l’année dernière avec la direction des hausses de salaire ainsi que des améliorations dans l’organisation des plannings.

Apple Store de Towson Town Center. Image Apple.

« Le vote de ce jour est le premier pas pour démontrer notre solidarité et envoie un message clair à Apple », ont déclaré les membres du comité de négociation du syndicat samedi. « [Apple] collaborera avec le syndicat représentant notre équipe à Towson de manière respectueuse et de bonne foi », a réagi l’entreprise auprès de CNN.

La date de la grève n’a pas encore été communiquée. Apple fait tout pour tuer dans l’œuf les projets de syndicat dans ses autres boutiques américaines.

Lire les commentaires →

La rumeur d'une gomme dans Safari 18 inquiète des journaux britanniques

Florian Innocente |

Une association représentative de journaux britanniques a prévenu Apple qu'une fonction de suppression de la publicité dans le prochain Safari contribuerait à fragiliser leur situation économique.

La News Media Association (NMA) qui représente les intérêts de titres de presse nationaux et régionaux a transmis au responsable des affaires publiques d'Apple au Royaume-Uni une lettre dans laquelle elle s'inquiète de voir arriver une fonction de blocage de la publicité dans Safari 18.

Le nouveau menu d'actions tel qu'il pourrait être dans Safari 18, avec la fonction Gomme (Erase Web Content). Source : AppleInsider.

Cette possibilité n'est encore qu'une rumeur. Elle fait référence à une « gomme » avec laquelle on désignerait des éléments récurrents dans une page web que l'on ne veut plus voir s’afficher. Les zones bloquées d'une page seraient mémorisées pour les visites ultérieures (lire aussi Safari 18 saurait résumer, gommer et mieux chercher).

La missive, indique le Financial Times, souligne que l'activité de journalisme nécessite des revenus et « la publicité est une source de revenus clefs pour de nombreux éditeurs ». La NMA exprime également ses inquiétudes quant à la responsabilité éditoriale si des outils d’intelligence artificielle d'Apple étaient utilisés pour supprimer ou modifier de manière sélective le contenu d'articles.

L'association souhaite rencontrer Apple pour discuter de cette fonction et de ses implications potentielles.

Lire les commentaires →

Faites supprimer vos données personnelles d'Internet en trois clics ! 📍

Article sponsorisé |

Avouez qu’il est déplaisant de tomber sur une somme d’informations lorsque l’on cherche son nom sur Google, ou sur un moteur de recherche d’un réseau social. La promesse d’Internet initialement, c’était de pouvoir surfer anonymement et en toute sécurité. Mais ce sentiment a vite disparu à force de s’inscrire sur des sites ou de remplir des formulaires pour obtenir des informations. Ne soyez pas défaitiste toutefois, des solutions existent pour retourner dans l’anonymat.

« Si c’est gratuit, c’est toi le produit ». On connait tous ce célèbre adage qui ne fait confirmer qu’une réalité. Nos données sont collectées, archivées et vendues par des brokers de données qui les exploitent pour des objectifs commerciaux, marketing ou même frauduleux.

Et les conséquences ne se font généralement pas attendre, elles sont nombreuses et déplaisantes : appels automatisés, SMS non sollicités, courriers marketing, tentative d’arnaques, vols d’informations bancaires ou encore fraudes d’identité. Ces phénomènes ont pris une telle ampleur qu’il n’est plus étonnant de voir cette thématique aborder au journal de 20 heures.

Voici la marche à suivre pour reprendre le contrôle de ses données privées

Alors, comment faire face à ce fléau ? Tout d’abord, pensez à laisser le moins de traces possible en utilisant des emails jetables, en recourant à un VPN et en utilisant un navigateur web respectueux de la vie privée. Mais comment faire pour faire disparaitre les informations déjà stockées dans les bases de données des brokers ?

C’est un travail titanesque. Il convient de contacter chaque broker individuellement, de demander la suppression de ses données, de s’assurer que cela a bien été fait, de relancer la même procédure trois mois plus tard… C’est long et fastidieux. Quelque part, c’est un combat perdu d’avance. Heureusement, une solution existe. Elle s’appelle Incogni. Cette plate-forme en ligne va faire « le sale travail » pour vous. Pour vous, elle s’occupera d’effacer vos données personnelles des bases de données des différents courtiers de données.

Le processus est simple : il suffit de s’inscrire et de donner quelques détails pour qu’Incogni puisse agir et envoyer des demandes de suppression à des centaines et des centaines de brokers en données. Vous êtes tenu informé de chaque étape du processus. Vous pouvez ainsi reprendre le contrôle de vos informations personnelles et protéger votre vie privée.

Incogni fonctionne sur abonnement, mais c’est bien normal, car il s’agit d’un combat perpétuel contre les courtiers de données. Cela vous garantit un nettoyage régulier de vos données en ligne. Vous pouvez choisir une formule au mois ou à l’année. Cette dernière est beaucoup plus avantageuse financièrement et vous assure un meilleur suivi.

Lorsque vous êtes inscrit, vous avez à votre disposition un tableau de bord qui vous permet de suivre l'avancement des démarches faites pour vous en temps réel.

Incogni garantit un service conforme au RGPD, respectant rigoureusement vos droits et vous permettant de naviguer en toute tranquillité sur Internet, à l’abri des spams et des risques de cyberattaques.

👉 Reprenez le contrôle de votre vie privée en testant Incogni

Lire les commentaires →

Pages