Reconnaissance d’image par IA dans une application : photo et scan
Votre utilisateur photographie une plante, une étiquette ou une pièce, et aujourd’hui quelqu’un regarde la photo pour décider. Je développe, seule et à distance, des applications où une IA lit cette photo, propose un résultat et montre ce dont elle n’est pas sûre. Equio et VetSafe sont les deux produits publiés où je l’ai fait.
- Délai
- 2 à 6 semaines
- Budget
- Sur devis
- Suivi
- À distance, en visio
Une photo arrive, quelqu’un la regarde, puis décide
Une photo arrive : celle d’une plante dans un pré, d’une étiquette au dos d’un paquet, d’une pièce abîmée, d’une plaque d’équipement. Quelqu’un la regarde, reconnaît ce qu’il faut reconnaître, puis note le résultat dans un tableur ou répond à la personne qui l’a envoyée. Parfois c’est un expert que tout le monde sollicite, parfois un salarié qui compare avec un catalogue. Le geste est rapide quand on sait, long quand on hésite, et il dépend de la disponibilité d’une seule personne. Le problème n’est pas de voir la photo : c’est de ne pas toujours avoir la bonne personne sous la main au moment où l’utilisateur en a besoin.
Il faut d’abord distinguer ce que l’on demande à l’image. Lire un code-barres n’oblige pas à appeler un modèle distant : ML Kit, de Google, indique que cette lecture se fait entièrement sur l’appareil, sans connexion réseau. Pour identifier une plante sans enjeu particulier, une application existe : Pl@ntNet se présente comme un projet de science participative, disponible en application, qui aide à identifier des plantes grâce à des photos. Au-delà, pour lire une étiquette et juger une composition, ou reconnaître une plante dangereuse pour une espèce précise, on passe par un modèle généraliste, dont les fournisseurs signalent eux-mêmes les limites : Anthropic comme OpenAI écrivent que le modèle peut se tromper, et Google que l’évaluation humaine reste essentielle.
Une application sur mesure place la reconnaissance dans un parcours : prise de photo, résultat, doute affiché, correction ou nouvelle photo, enregistrement dans votre base, avec vos droits d’accès. Elle ne rend pas le modèle infaillible, et ne supprime ni le coût de chaque photo analysée, facturé à l’usage, ni le besoin d’un humain quand l’enjeu est réel. Le gros du travail n’est pas l’appel au modèle, qui tient en quelques lignes : c’est le cas où sa réponse est fausse. Une démonstration ne le montre jamais ; c’est ce que je prépare avec vos propres photos, difficiles comprises. La première décision n’est pas technique : que fait l’application quand l’IA n’est pas sûre ? Elle se prend avec vous avant le premier écran.
Cinq éléments entre la photo et le résultat confirmé
L’application est mobile, en React Native, ou web, en Angular. Les appels au modèle passent par un serveur, comme sur Equio et VetSafe, et chaque élément se décide avec vous, d’après vos exemples plutôt qu’une démonstration.
- 01
Une prise de photo qui guide l’utilisateur
L’écran de capture dit ce qu’il faut montrer : l’étiquette entière, la feuille de près, la plaque bien droite. Si la photo est inutilisable, l’écran dit ce qui manque et invite à en reprendre une, au lieu de renvoyer un résultat approximatif. Les prises de vue attendues sont fixées avec vous au cadrage, sur des photos réelles.
- 02
Une réponse structurée, contrôlée côté serveur
Le serveur demande au modèle une réponse de forme fixe et la vérifie avant de la retenir. Sur Equio, il contrôle notamment le nom scientifique ; sur VetSafe, le serveur compare l’analyse à la liste d’ingrédients lue. Ce qu’une règle peut vérifier, un total, une référence du catalogue, un mot entier, n’est jamais laissé au modèle.
- 03
Le doute affiché plutôt qu’un verdict
Quand l’indice de confiance est faible, une seconde lecture peut être tentée, puis l’écran le dit au lieu de trancher : avertissement dans la fiche, nouvelle photo ou saisie manuelle. Ce que l’écran affiche reste une proposition : l’utilisateur confirme ou corrige avant l’enregistrement. Sur Equio, l’indice vient du modèle, ce n’est pas un taux de précision.
- 04
Un résultat conservé, même si l’écran change
Le résultat rejoint votre base : fiche, historique, statut. Une analyse en cours passe par un état d’attente, puis par un résultat ou un échec consultable. Sur VetSafe, des résultats se perdaient quand l’utilisateur quittait l’écran en pleine analyse ; le traitement est désormais porté par un service commun, et l’écran se contente de l’observer.
- 05
Un coût par photo suivi et plafonné
Chaque photo analysée appelle un modèle facturé à l’usage. Le coût des appels est suivi, un plafond est posé, et le serveur contrôle les droits du compte avant de lancer l’analyse, comme sur Equio. Quand le plafond tombe, l’écran le dit et la saisie manuelle reste possible.
Quatre usages où la photo remplace une saisie
Quatre situations types, jamais des clients : une photo prise au téléphone, une proposition de l’IA, et une personne qui confirme ou corrige avant que le résultat entre dans l’outil.
La plaque signalétique d’un équipement
Le technicien photographie la plaque d’une chaudière ou d’une pompe. L’IA lit la marque, le modèle et le numéro de série, et préremplit la fiche équipement ; il valide ou corrige. Une plaque illisible déclenche une nouvelle photo, pas une valeur devinée.
Énergie et rénovation énergétique →La fiche produit depuis une étiquette
À la réception d’une livraison, une photo de l’emballage propose la désignation, la référence et la composition dans la fiche ; ce qui est douteux est signalé. Un code-barres, lui, se lit sur le téléphone, sans réseau ni appel à un modèle distant.
Commerce et retail →Une plante photographiée en parcelle
Une photo prise dans une parcelle ou une prairie donne un nom probable et la fiche associée. Si l’indice est faible, l’application demande une nouvelle photo ou signale le doute. Quand aucun danger n’est connu, la fiche prévient que ce n’est pas une garantie d’innocuité.
Agriculture et agroalimentaire →Le type de défaut d’une pièce
Un opérateur photographie une pièce abîmée au téléphone. L’IA propose une catégorie parmi les vôtres, par exemple rayure, fissure ou corrosion, et le technicien confirme. Ce n’est pas de la vision industrielle sur une ligne : ni caméra fixe ni cadence de production, que je ne traite pas.
Industrie et PME industrielles →
Equio
Equio identifie une plante à partir d’une photo, pour des propriétaires de chevaux. L’indice de confiance vient du modèle : ce n’est pas un taux de précision mesuré. S’il est faible, un autre modèle est essayé ; si le doute demeure, la fiche le signale dans un encart au lieu de le taire.
Lire l’étude de cas →VetSafe
VetSafe lit l’étiquette d’un aliment pour chiens et chats et évalue sa composition. Le modèle pouvait mentionner un ingrédient qui n’était pas sur l’étiquette ; le serveur compare son analyse à la liste lue. Dans la version décrite, la note vient de règles du code. Le filtre réduit des erreurs sans garantir la lecture initiale.
Lire l’étude de cas →
Ce que cette technologie ne fait pas, et quand s’en passer
La reconnaissance d’image rend service quand quelqu’un peut vérifier le résultat. Trois limites à connaître avant de demander un devis.
- 01
Ce que les modèles ne savent pas faire
Les fournisseurs le disent eux-mêmes. Anthropic signale des erreurs possibles sur les images de mauvaise qualité, pivotées ou très petites, des comptages et des localisations approximatifs, et précise que son modèle n’est pas conçu pour interpréter des scanners médicaux complexes. OpenAI ajoute le petit texte et les graphiques aux styles de lignes variables. Pour un diagnostic, un comptage exact ou une certitude absolue, ce n’est pas la bonne technologie.
- 02
Une application toute faite suffit
Un code-barres ou un QR code se lit sur le téléphone, sans réseau ni modèle distant, avec des bibliothèques comme ML Kit. Pour identifier une plante sans enjeu particulier, Pl@ntNet existe en application ; sa marque appartient au CIRAD, à l’INRAE, à l’INRIA et à l’IRD. Je ne fais pas développer ce que le téléphone ou un outil existant fait déjà : je vous le dirai dès la première visio.
- 03
Vos photos montrent des personnes
Le sujet change alors de nature. Le RGPD, à l’article 9, interdit en principe de traiter des données biométriques pour identifier une personne de manière unique, sauf conditions comme le consentement explicite. Le règlement européen sur l’IA interdit, à l’article 5, d’inférer les émotions au travail ou de constituer des bases de visages par moissonnage d’images. Aucun de mes projets ne traite des visages, et je n’en propose pas.
Comment se déroule le projet
- 01
Cadrage
Échange de 30 minutes, définition du besoin, du périmètre et des priorités.
- 02
Devis
Proposition détaillée : livrables, budget, délai, jalons de validation.
- 03
Conception
Parcours et maquettes des écrans validés avant toute ligne de code.
- 04
Développement
Livraisons régulières que vous testez au fur et à mesure sur votre téléphone.
- 05
Mise en ligne
Publication sur les stores ou en production, puis suivi et évolutions.
Ce qu’on me demande le plus souvent
Sur devis. Le plus gros poste n’est pas l’appel au modèle : c’est ce qui est construit autour du cas où la lecture est fausse, auquel s’ajoute un coût par photo facturé à l’usage par le fournisseur du modèle. Le devis détaille la construction et le calcul du coût par tâche, sans promesse de gain ; les repères de délai et de budget de l’offre d’intégration d’IA, publiés sur sa page, valent pour une première fonctionnalité.
Une fonctionnalité d’IA dans une application existante demande de deux à six semaines d’après les repères de mon offre IA. Une application mobile complète autour de la reconnaissance relève plutôt des deux à quatre mois de l’offre mobile. Vous essayez chaque version sur des téléphones de test, avec vos propres photos, avant la publication. Le délai dépend surtout du nombre de cas difficiles à traiter et de la qualité des API de votre outil, que j’examine avant de m’engager.
Je ne promets aucun taux : il se mesure sur vos photos, pas sur une démonstration, et l’indice de confiance donné par un modèle n’est pas un taux de précision mesuré, comme je l’écris à propos d’Equio. L’étude de faisabilité commence par un essai sur vos exemples, y compris les photos floues, mal cadrées ou ambiguës, et la qualité des résultats est mesurée avant la mise en service.
Pas dans les projets que j’ai menés : Equio et VetSafe appellent un modèle existant, Gemini, depuis une fonction serveur, avec des consignes précises et des contrôles autour, et ce choix se confirme sur vos exemples avant tout développement. Entraîner son propre modèle est un autre métier : il faut des photos annotées en grand nombre et une infrastructure, ce que le budget d’une application couvre rarement. Si votre cas l’exige, je vous orienterai vers un spécialiste.
Un traitement qui appelle un modèle distant demande une connexion. Sur VetSafe, le catalogue des fiches reste consultable hors connexion, mais une nouvelle analyse passe par le serveur. Certaines lectures se font sur l’appareil : celle d’un code-barres avec ML Kit n’a pas besoin du réseau. Une consultation de fiches déjà enregistrées ou une saisie manuelle peuvent rester disponibles hors connexion si cela fait partie du périmètre. Ce besoin se décide avant le choix de l’architecture, pas après.
Oui : le téléphone passe par une fonction serveur, qui appelle le modèle, comme sur Equio et VetSafe. La liste de ce qui part est dressée au cadrage, l’hébergement et la durée de conservation sont précisés au devis, et les essais commencent avec des photos fictives ou anonymisées. Le devis précise aussi à qui appartiennent les comptes chez le fournisseur du modèle. Si vos photos montrent des personnes, relisez la dernière limite de cette page.
Quelle photo voulez-vous que l’application comprenne ?
Envoyez-moi quelques photos réelles, dont une difficile, et dites-moi ce que l’application doit en tirer et qui vérifie le résultat. Réponse sous 48 heures ouvrées, avec un avis franc : faisable, faisable avec une vérification humaine, ou à confier à une application existante.
