De plus en plus d’apps exploitent le moteur d’OCR fourni par Apple avec macOS

Nicolas Furno |

Depuis macOS Catalina, Apple propose à tous les développeurs son propre moteur de reconnaissance optique des caractères, ou OCR. Et depuis macOS Big Sur, ce moteur est capable de transcrire de multiples langues, dont le français et l'anglais. Cette possibilité simplifie grandement la création d’apps d’OCR, comme en témoigne l’arrivée de plusieurs utilitaires sur ce segment. Nous avions évoqué TextSniper en début d’année, mais c’est loin d’être le seul.

TRex est une app très similaire, qui repose elle aussi sur le moteur d’OCR d’Apple. Nichée dans la barre des menus de macOS, elle reprend l’interface des captures d’écran et ajoute au presse-papiers tout texte identifié dans la zone sélectionnée. Après quelques essais, le logiciel fonctionne tout aussi bien et il a l’avantage d’être gratuit et open-source, même si on peut aussi aider le développeur en l’achetant 5,49 € sur le Mac App Store.

TRex en action, avec la même interface pour sélectionner la zone de texte à identifier que pour les captures d’écran (gauche). À droite, les réglages de l’app en haut et le texte extrait par l’OCR d’Apple en bas.

Les résultats sont bons pour copier rapidement quelques lignes de texte et TRex a de bonnes idées, notamment en permettant d’ouvrir directement dans le navigateur les URL identifiées. L’app peut même le faire pour les codes QR, si vous le souhaitez. Cet ajout de fonctions annexes est obligatoire pour sortir du lot, le moteur d’OCR étant désormais commun à de plus en plus d’apps.

D’ailleurs, même les poids-lourds du secteur l’adoptent. La preuve avec Prizmo, acteur historique sur ce marché, qui propose à son tour le moteur d’OCR d’Apple dans sa dernière mise à jour. Avec le risque de perdre sa particularité et ses points forts ? Pas vraiment, nous ont répondu les développeurs qui mettent en avant toutes les fonctions annexes qui améliorent le travail de reconnaissance de caractères et sont essentielles pour les photos. Il faut cadrer correctement les pages, les orienter dans le bon sens et encore les nettoyer pour obtenir de meilleurs résultats.

En outre, le moteur d’OCR d’Apple est excellent, mais pas parfait. En particulier, il n’est pas bien adapté pour identifier la structure d’un document. C’est une faiblesse quand on veut extraire un texte sur plusieurs colonnes, par exemple : le moteur d’Apple aura tendance à confondre les deux colonnes, ce qui donne un texte incompréhensible. Pour compenser, les développeurs de Prizmo ont mis au point un mécanisme qui améliore les résultats générés par Apple, notamment en détectant en amont les colonnes.

Grâce à ce travail réalisé en plus de celui d’Apple, les résultats obtenus avec Prizmo devraient être meilleurs que les apps qui n’utilisent que l’OCR fourni par le système. Cela étant, la dernière version de l’app conserve l’OCR basé sur Tesseract, solution open-source qui fait référence dans le domaine. Ses créateurs ont jugé que les résultats obtenus par l’OCR d’Apple étaient suffisamment bons pour en faire le choix par défaut, mais vous pouvez privilégier l’autre moteur si un document pose problème.

Exemple fourni par les développeurs de Prizmo d’un document mal géré par le moteur d’OCR d’Apple par défaut : à gauche, la reconnaissance des lignes effectuée par Apple pose problème, on note plusieurs colonnes ignorées notamment sous la plaque de rue. À droite, le même document passé par le moteur d’ajustement de Prizmo, puis l’OCR d’Apple : il n’y a plus de problème de colonne mal gérée.

Apple met continuellement à jour son moteur d’OCR, qui sert aussi dans iOS et iPadOS. C’est lui, notamment, qui identifie le texte manuscrit dans l’app Notes et pour la fonction griffonner d’iPadOS 14. L’entreprise a tout intérêt à l’améliorer et toutes les apps qui reposent sur lui profiteront automatiquement de ces progrès.


Tags
avatar mat16963 | 

Mais c’est dommage qu’Apple ne l’utilise pas dans ses propres apps…

Ça serait génial pour extraire le texte d’un pdf scanné ou d’une photo dans Aperçu… c’est bizarre qu’Apple ne l’implémente pas quand même.

avatar romainB84 | 

@mat16963

"Apple met continuellement à jour son moteur d’OCR, qui sert aussi dans iOS et iPadOS. C’est lui, notamment, qui identifie le texte manuscrit dans l’app Notes et pour la fonction griffonner d’iPadOS 14. L’entreprise a tout intérêt à l’améliorer et toutes les apps qui reposent sur lui profiteront automatiquement de ses progrès."

c'est toujours plus interessant quand on lit l'article en entier 😋.

avatar mat16963 | 

@romainB84

J’ai bien lu l’article, mais si tu avais lu mon commentaire tu verrais que je parle d’Aperçu et non de Notes. Et ça vient d’iOS (quand on annote depuis l’iPad ou l’iPhone), ce n’est pas spécifique à macOS alors qu’il y aurait des utilisations tellement pratiques: dans Aperçu, dans Transfert d’Images, dans l’Utilitaire de scan en Airprint, dans Pages,…

avatar romainB84 | 

@mat16963

Désolé ^^
Déformation professionnelle ^^
« Dans SES propres apps » c’est l’utilisation du « pluriel » qui m’a mis dedans !
Effectivement aperçu ne l’utilise pas ! Ça pourrait être cool en effet !

avatar Le Gognol | 

Je dois être idiot mais je n’ai toujours pas compris comment exploiter cet OCR intégré notamment avec l’iPhone avec du texte imprimé (et non pas manuscrit)…

avatar Derw | 

@Le Gognol

Si j’ai bien compris, ce n’est pas une application, mais une API. Il faut donc avoir une application qui utilise cette API pour pouvoir s’en servir…

A priori, dans les app Apple, il n’y a que Notes qui s’en sert… et encore, pas pour récupérer le texte directement…

avatar romainB84 | 

@Derw

Dans Notes, c’est utilisé dans le moteur de recherche.
si tu utilises le « scanner » de l’application Note, quand tu feras une recherche d’un mot (présent dans ton doc scanné) l’appli te retrouvera le document.

avatar Le Gognol | 

@romainB84

Oui j’ai vu ça. Mais je ne comprends pas qu’on ne puisse pas récupérer le texte complet…

avatar Derw | 

@Le Gognol

Sans doute pour ne pas attaquer les app OCR de front tant que le leur n’est pas parfait…

avatar vomi | 

J'ai créé Textify - Image vers texte PDF, une app OCR avec beaucoup de fonctionnalités (mise en page, intégration du texte dans le PDF, ...), jamais je n'ai eu de réponse de macg pour un test ou une mention dans un article. Je trouve ça dommage, les développeurs indépendants francophones étant si rares ...

avatar David Finder | 

@vomi

Change peut-être de pseudo 😉

😂

Édit : tu as raison quand même 😉
Édit 2 : je ne sais pas si ton app est dispo sur l’app Store (pas le Mac App Store), mais j’ai déjà 4 résultats avec la recherche « Textify »… ça ne doit pas aider non plus. Tu devrais peut-être changer le nom de ton app et jouer sur les mots clés (si c’est faisable).

avatar vomi | 

Je n'avais pas pensé au pseudo 😂. Ca joue peut être !
Il faut soit chercher "Textify OCR" ou "Textify - Image vers texte PDF".
En effet, taper juste Textify n'aide pas =(

avatar David Finder | 

@vomi

😅

Ok je vais essayer comme ça. Merci 😉
Mais du coup c’est vraiment pas pratique la recherche sur le store, ça ne doit pas t’aider non plus…

avatar Le Gognol | 

@vomi

Intéressant en effet, merci ! Y’a t il un équivalent pour iOS ? Gratuit ou peu cher, c’est vraiment pour un usage très ponctuel… iOS 15 va bien changer les choses d’ailleurs…

avatar Frédéric Blondiau | 

Le moyen le plus simple pour utiliser ce moteur offert par Apple est, sans aucun doute, « Clipboard Image to Text » (disponible dans le Mac App Store). Il suffit de faire un « copier » d’une image (soit directement sur l’écran, avec le raccourci d’Apple ⌃⇧⌘4 ; soit d’un fichier du Finder, sans même l’ouvrir ; soit d’une application quelconque) puis de faire un « coller » de son texte — aucune application n’est nécessaire… ça fonctionne partout. Je me suis toujours demandé pourquoi Apple n’offrait pas ça, de base… alors je l’ai développé !

avatar vincentn | 

@Frédéric Blondiau

Ingénieux, pratique et complémentaire d’autres solutions. Bravo.
Manquerait peut-être des options de formatage (genre en markdown, en texte brut…) de citation/référence (outre le texte reconnu rajouter un lien vers la source) et de reconnaissance automatique de certaines données (numéro de tel, adresse, url, date, etc.).

avatar leorose | 

Est ce que quelqu’un sait comment utiliser la recherche de texte dans Spotlight sur iOS ?
Je l’utilise quotidiennement dans macOS par exemple en tapant un mot inclus dans le pdf mais pas dans son titre ( exemple: un doc pdf «  relevé bancaire juin2021 » contenant une ligne de texte « EDF »). Je n’ai jamais réussi à faire de recherche en tapant « EDF »dans Spotlight iOS
C’est d’ailleurs une des principales raison pour que je reste sur MacBook et que je ne passe pas sur iPad.
Merci

avatar Benckes | 

Yes, ça lit le Diplo à la rédac, je ne l'avais pas vue venir !
Ah hé non, c'est juste l'exemple du développeur de Prizmo, dommage

CONNEXION UTILISATEUR