Scanner son frigo avec son téléphone dans Sugo
Passez le téléphone devant une étagère : Sugo liste ce qu'il voit. Montrez un paquet, il lit le code-barres. Les images ne quittent pas le téléphone.
Sugo sait maintenant lire votre frigo à travers la caméra, pendant que vous la déplacez. Ouvrez le garde-manger, touchez le bouton caméra, choisissez Scan en direct et passez lentement le téléphone le long d'une étagère. Chaque aliment reconnu reçoit un cadre et un nom à l'écran, une petite vibration, puis une pastille dans la liste en bas. À la fin, vous relisez cette liste, corrigez ce qui est faux et ajoutez le tout d'un coup. Rien n'entre dans votre garde-manger sans être passé sous vos yeux.
Tout se passe sur le téléphone. Les images de la caméra sont lues par un modèle installé sur l'appareil et ne sont jamais envoyées ailleurs. Le scan en direct est disponible dans l'application iPhone et iPad à partir d'iOS 17, et dans l'application Android.
Depuis le 30 septembre, il lit aussi les codes-barres. Montrez un paquet à la caméra et son code-barres le nomme ; tout est expliqué plus bas.
La suite parle de ce qui a pris le plus de temps à régler, compter, puis des codes-barres, et de ce que le scan en direct rate encore.
Pourquoi scanner son frigo
Le garde-manger de Sugo classe vos recettes enregistrées selon la part de chacune que vous pouvez déjà cuisiner. Ce classement vaut ce que vaut la liste, et la tenir à jour a toujours été le point faible. Personne ne tape trente aliments sur son téléphone un dimanche soir, et une liste juste il y a trois semaines est fausse d'une manière qu'on ne voit pas.
Le scan par photo aidait déjà : on photographie une étagère et les aliments reviennent sous forme de liste. Le scan en direct ramène le travail à un seul passage de la caméra, assez court pour qu'on le fasse vraiment après avoir rangé les courses.
Comment le scan compte ce qu'il y a dans le frigo
Nommer ce qu'il y a dans une image, c'est la partie qu'on imagine difficile. Compter s'est révélé plus dur.
Pendant que vous balayez, le téléphone lit une dizaine d'images par seconde. Les œufs restent dans le champ trois ou quatre secondes à l'aller, donc ils apparaissent sur trente ou quarante images, et encore une fois quand vous revenez en arrière pour vérifier quelque chose. Un scanner qui additionnerait tout ce qu'il voit vous rendrait une liste de quatre cents lignes. La question sur laquelle le scan en direct passe le plus d'efforts est donc celle-ci : la chose sur cette image est-elle la même que celle de l'image précédente ?
Voici un passage le long d'une étagère, puis un bout du retour. Le compteur de gauche, ce sont les images lues. Celui de droite, les lignes de la liste.
Un passage le long de l'étagère, et un bout du retour
- Lait
- Œufs×2
- Fromage
- Champignons
- Carottes
- Citron vert
85
Images lues
6
Dans la liste
Trois règles font l'essentiel du travail.
Un aliment doit tenir. Ce qui apparaît sur une image et disparaît sur la suivante est souvent un reflet, une ombre ou le modèle qui hésite, donc un objet n'entre dans la liste qu'après avoir été retenu sur trois des cinq dernières images. En attendant, l'application trace autour de lui un contour fin, sans nom, et c'est pour cela que les noms ne clignotent jamais à l'écran.
Chaque objet est suivi d'une image à l'autre. Le scanner retient sa position et son allure, si bien qu'un pot à moitié caché derrière le lait garde son identité, et le nom qu'il finit par porter est un vote sur toutes les images où il a été vu. C'est ce vote qui empêche une pastille de passer d'échalote à oignon au moindre changement de lumière.
La liste compte des sortes d'aliments. Deux tomates sur deux étagères font une seule ligne, tomates, et le chiffre à côté est le plus grand nombre vu ensemble sur une même image. Ce chiffre ne peut pas compter deux fois un même passage, c'est tout l'intérêt, mais il peut compter trop peu : trois poivrons jamais visibles en même temps reviennent comme un seul. L'écran de vérification a un sélecteur de quantité sur chaque ligne dénombrable, précisément pour ça.
Comment il reconnaît les produits emballés
Une bonne partie d'un frigo, ce sont des emballages, et un emballage est ce qu'il y a de plus dur à reconnaître par sa forme. Une brique de lait d'avoine ressemble beaucoup à une brique de bouillon. Le scan en direct lit donc les gros caractères de tout ce qui ressemble à un emballage, en français, en anglais et en espagnol, et fait confiance aux mots plutôt qu'à la silhouette.
Les mots l'emportent sur la forme
Une brique marquée « leche » est du lait, quelle que soit sa forme. Une quarantaine de produits, du tahini à la sriracha, ne sont jamais nommés que par leur étiquette.
Les expressions avant les mots
« Lait d'avoine » est cherché avant « lait », si bien qu'une brique de l'un n'atterrit pas dans la liste sous le nom de l'autre.
L'image sur le pot
Une salade imprimée sur un pot de feta est une photo d'aliment. Elle est ignorée.
Une marque seule ne prouve rien
Un nom de marque ou un prix, seuls, ne décident de rien : une plaquette de beurre qui ne montre que sa marque est nommée d'après son allure.
Montrez-lui le paquet, il lit le code-barres
Lire l'impression n'aide que si le devant dit quelque chose d'utile. Souvent, ce n'est qu'une marque, qui ne décide de rien, et un pot de crème et un pot de yaourt sont le même pot blanc sous presque tous les angles. Dans la dernière version de l'application, le code-barres tranche. Approchez le paquet du téléphone et tournez-le jusqu'à ce que le code-barres fasse face à l'objectif. Le scan en direct lit le numéro, le cherche et renomme la pastille.
Un pot, montré à la caméra puis tourné
- Code-barresNomme la pastille
Crème
- Étiquette
Une marque, rien d'autre
- Forme
Yaourt
C'est le fait de le montrer qui fait marcher la lecture. Avant de construire cette partie, nous avons essayé de lire les codes-barres pendant un passage ordinaire, en recadrant en pleine résolution chaque objet suivi par le scanner : 2 709 recadrages d'un même frigo, et pas un seul code-barres lisible. À distance de passage, les barres sont trop petites et trop floues. Un paquet tenu devant le téléphone occupe un tiers de l'image ou plus, et après un court instant à cette taille, le scan en direct le lit en pleine résolution. Si vous le tenez depuis une seconde sans qu'il trouve de code-barres, une ligne au-dessus de la liste indique « Montrez le code-barres pour le nommer », ce qui veut en général dire qu'il faut retourner le paquet.
Le code-barres donne le type d'aliment, crème ou beurre, jamais la marque ni le format, parce que le garde-manger range des types d'aliments. Il passe avant l'impression de l'étiquette, qui passe elle-même avant la forme. La recherche se fait en arrière-plan, donc le scan ne s'arrête jamais pour l'attendre, et un paquet qu'il ne peut pas chercher (sans réseau, par exemple) garde le nom qu'il avait déjà.
La table où le numéro est cherché est construite à partir d'Open Food Facts, la base ouverte de produits alimentaires, et elle est hébergée sur notre propre serveur. Le téléphone envoie le numéro, et rien qui vienne de la caméra.
Scan en direct ou photos
Le scan par photo n'a pas disparu, et pour certaines choses il reste le meilleur outil. Les deux sont sur le même écran : le scan en direct en haut, les photos en dessous.
Photos
Jusqu'à six photos, lues par un modèle de vision dans le cloud. Mieux pour un ticket de caisse, une liste de courses (imprimée ou manuscrite) ou des courses étalées sur la table. Il peut ajouter des choses que la liste d'ingrédients de Sugo ne connaît pas, et il puise dans un quota mensuel qui dépend de votre formule.
Scan en direct
La caméra, lue sur le téléphone, pour un frigo ou un plan de travail. Rien de ce que voit la caméra n'est envoyé, et il n'y a pas de limite mensuelle. Il ajoute uniquement des aliments de la liste d'ingrédients de Sugo, avec un nombre et non un poids.
Pendant un scan en direct, ce qui quitte votre téléphone, c'est la liste que vous validez, le numéro de chaque code-barres lu, pour le chercher, et des totaux quotidiens anonymes sur les sortes d'aliments gardées ou décochées. Ces totaux ne portent ni compte, ni foyer, ni appareil, et nous montrent sur quels noms le modèle se trompe le plus souvent.
Du scan du frigo aux recettes que vous pouvez faire
Une fois que vous touchez Ajouter, les aliments sont dans votre garde-manger, et c'est à partir de lui que le reste de Sugo cuisine. Vos recettes enregistrées sont classées selon ce que vous pouvez faire ce soir, avec les ingrédients manquants affichés sur celles qui passent presque.
Your pantry
Le même garde-manger est retiré de votre liste de courses, donc un scan après les courses de la semaine vous évite aussi d'acheter un deuxième pot de ce qui traîne déjà au fond du placard. Pour le côté cuisine, que cuisiner avec ce que vous avez déjà donne la méthode, et les 12 basiques du placard qui rendent tout cuisinable décrit l'étagère qui mérite d'être scannée.
Ce qu'il rate
Il reconnaît à vue quelques dizaines d'ingrédients frais courants : œufs, citrons, citrons verts, tomates, poivrons, oignons, pommes de terre, carottes, champignons, saumon, bacon, épinards, laitue, fruits rouges, entre autres, plus les produits emballés dont il lit l'étiquette. Il en manque beaucoup. Le gingembre, l'échalote, le chou kale et le panais ne sont pas reconnus à vue du tout. Il confond encore de temps en temps oignons et pommes de terre, prend un citron bien rond pour une orange, et peine sur la laitue une fois qu'elle est dans une salade.
Il voit la présence et un nombre, jamais une quantité. Un demi-sachet d'épinards et un sachet plein, ce sont des épinards. Les œufs n'ont pas de chiffre tant qu'il n'en a pas vu deux séparés, parce qu'une boîte d'œufs est en général une boîte entière et qu'en annoncer un seul serait faux la plupart du temps. Il n'attrape que ce qui est dans le champ de la caméra : le yaourt derrière le lait reste derrière le lait.
La table des codes-barres est encore petite. Elle couvre environ un produit sur dix vendu aux États-Unis, au Royaume-Uni, en France, en Espagne et en Italie, parce que nous n'associons un produit que lorsque sa catégorie ou son nom ne laisse aucun doute. Pour la plupart des paquets que vous montrerez aujourd'hui, le code-barres est lu, il n'est pas dans la table, et la pastille garde le nom venu de l'étiquette ou de la forme.
Le premier scan demande un peu de patience. Le modèle se télécharge une seule fois, et l'application s'en charge seule en Wi-Fi quand elle le peut. La première préparation a pris environ une demi-minute sur un iPhone 12 Pro dans nos essais, puis le scanner s'ouvre en deux secondes. Il faut iOS 17, alors que le reste de Sugo tourne dès iOS 16.4, et il n'existe pas dans la version navigateur sur app.sugo.kitchen, où aucun modèle n'est installé sur l'appareil.
Rien de tout cela ne vous est caché : chaque ligne du résultat arrive sur un écran de vérification avec une case à cocher, et rien n'est ajouté avant que vous l'ayez parcouru.
Les questions qu'on nous pose
Existe-t-il une appli qui scanne le frigo et trouve des recettes ?
Sugo le fait. Ouvrez le garde-manger, touchez le bouton de l'appareil photo, choisissez Scan en direct et passez lentement le téléphone le long d'une étagère. Vous vérifiez la liste obtenue et l'ajoutez au garde-manger, puis vos recettes enregistrées sont classées selon ce que vous pouvez cuisiner ce soir, avec les ingrédients manquants affichés sur celles qui y sont presque.
Le scan du frigo envoie-t-il les images de la caméra ?
Non. Les images sont lues par un modèle installé sur le téléphone et ne sont jamais envoyées. Ce qui quitte le téléphone, c'est la liste que vous confirmez, le numéro des codes-barres que vous montrez pour qu'on puisse le chercher, et des totaux quotidiens anonymes des types d'aliments gardés ou décochés, sans compte, foyer ni appareil.
Lit-il les codes-barres ?
Oui. Approchez le paquet du téléphone et tournez-le jusqu'à ce que le code-barres soit face à l'objectif : il renomme alors l'aliment. Il donne le type de produit, crème ou beurre, jamais la marque ni le format. La table des codes-barres reste petite, environ un produit sur dix, donc beaucoup de paquets gardent le nom donné par leur étiquette ou leur forme.
Sur quels téléphones marche le scan en direct ?
L'application iPhone et iPad à partir d'iOS 17, et l'application Android. Il n'est pas dans la version navigateur sur app.sugo.kitchen, où aucun modèle n'est installé sur l'appareil. Le modèle se télécharge une seule fois, et l'application s'en charge seule en Wi-Fi quand elle le peut.
Conseils pour votre premier scan du frigo
Laissez le téléchargement se faire en Wi-Fi
Une fois connecté à votre compte, l'application récupère en général le modèle en arrière-plan, en Wi-Fi, et le premier scan ne commence pas par une attente.
Tournez les étiquettes vers vous
Les produits emballés sont nommés d'après ce qui est imprimé dessus. Une étiquette face au fond du frigo ne donne rien à lire.
Montrez ce qui pourrait être deux choses
Un pot blanc ou une brique unie : approchez-le et tournez-le jusqu'à ce que le code-barres fasse face au téléphone, et le code-barres le nomme.
Allez plus lentement que nécessaire
Chaque aliment doit tenir quelques images avant de compter. Un geste rapide devant la porte attrape les gros objets et laisse passer le reste.
Mettez les doublons dans la même image
Le chiffre est le plus grand nombre vu en même temps : quatre yaourts alignés en font quatre, quatre yaourts sur quatre étagères en font un.
Relisez la liste avant de l'ajouter
Décochez ce qui est faux, corrigez les nombres, et ajoutez à la main ce qu'il n'a pas pu voir.
Sugo est gratuit sur iPhone, iPad et Mac, sur Android, et dans n'importe quel navigateur sur app.sugo.kitchen. Si votre liste de garde-manger ne ressemble plus à votre frigo depuis la semaine où vous l'avez faite, téléchargez Sugo.