Scanner son frigo avec son téléphone : le scan en direct arrive dans Sugo
Passez le téléphone devant une étagère : Sugo nomme ce qu'il voit, compte chaque aliment une fois et vous laisse vérifier. Les images restent sur place.
Sugo sait maintenant lire votre frigo à travers la caméra, pendant que vous la déplacez. Ouvrez le garde-manger, touchez le bouton caméra, choisissez Scan en direct et passez lentement le téléphone le long d'une étagère. Chaque aliment reconnu reçoit un cadre et un nom à l'écran, une petite vibration, puis une pastille dans la liste en bas. À la fin, vous relisez cette liste, corrigez ce qui est faux et ajoutez le tout d'un coup. Rien n'entre dans votre garde-manger sans être passé sous vos yeux.
Tout se passe sur le téléphone. Les images de la caméra sont lues par un modèle installé sur l'appareil et ne sont jamais envoyées ailleurs. Le scan en direct est disponible dans l'application iPhone et iPad à partir d'iOS 17, et dans l'application Android.
La suite parle de ce qui a pris le plus de temps à régler, compter, et de ce que le scan en direct rate encore.
Une liste de garde-manger ne sert que si elle est à peu près juste
Le garde-manger de Sugo classe vos recettes enregistrées selon la part de chacune que vous pouvez déjà cuisiner. Ce classement vaut ce que vaut la liste, et la tenir à jour a toujours été le point faible. Personne ne tape trente aliments sur son téléphone un dimanche soir, et une liste juste il y a trois semaines est fausse d'une manière qu'on ne voit pas.
Le scan par photo aidait déjà : on photographie une étagère et les aliments reviennent sous forme de liste. Le scan en direct ramène le travail à un seul passage de la caméra, assez court pour qu'on le fasse vraiment après avoir rangé les courses.
Reconnaître les œufs, c'est la partie facile
Nommer ce qu'il y a dans une image, c'est la partie qu'on imagine difficile. Compter s'est révélé plus dur.
Pendant que vous balayez, le téléphone lit une dizaine d'images par seconde. Les œufs restent dans le champ trois ou quatre secondes à l'aller, donc ils apparaissent sur trente ou quarante images, et encore une fois quand vous revenez en arrière pour vérifier quelque chose. Un scanner qui additionnerait tout ce qu'il voit vous rendrait une liste de quatre cents lignes. La question sur laquelle le scan en direct passe le plus d'efforts est donc celle-ci : la chose sur cette image est-elle la même que celle de l'image précédente ?
Voici un passage le long d'une étagère, puis un bout du retour. Le compteur de gauche, ce sont les images lues. Celui de droite, les lignes de la liste.
Un passage le long de l'étagère, et un bout du retour
- Lait
- Œufs×2
- Fromage
- Champignons
- Carottes
- Citron vert
85
Images lues
6
Dans la liste
Trois règles font l'essentiel du travail.
Un aliment doit tenir. Ce qui apparaît sur une image et disparaît sur la suivante est souvent un reflet, une ombre ou le modèle qui hésite, donc un objet n'entre dans la liste qu'après avoir été retenu sur trois des cinq dernières images. En attendant, l'application trace autour de lui un contour fin, sans nom, et c'est pour cela que les noms ne clignotent jamais à l'écran.
Chaque objet est suivi d'une image à l'autre. Le scanner retient sa position et son allure, si bien qu'un pot à moitié caché derrière le lait garde son identité, et le nom qu'il finit par porter est un vote sur toutes les images où il a été vu. C'est ce vote qui empêche une pastille de passer d'échalote à oignon au moindre changement de lumière.
La liste compte des sortes d'aliments. Deux tomates sur deux étagères font une seule ligne, tomates, et le chiffre à côté est le plus grand nombre vu ensemble sur une même image. Ce chiffre ne peut pas compter deux fois un même passage, c'est tout l'intérêt, mais il peut compter trop peu : trois poivrons jamais visibles en même temps reviennent comme un seul. L'écran de vérification a un sélecteur de quantité sur chaque ligne dénombrable, précisément pour ça.
Il lit l'emballage autant que la forme
Une bonne partie d'un frigo, ce sont des emballages, et un emballage est ce qu'il y a de plus dur à reconnaître par sa forme. Une brique de lait d'avoine ressemble beaucoup à une brique de bouillon. Le scan en direct lit donc les gros caractères de tout ce qui ressemble à un emballage, en français, en anglais et en espagnol, et fait confiance aux mots plutôt qu'à la silhouette.
Les mots l'emportent sur la forme
Une brique marquée « leche » est du lait, quelle que soit sa forme. Une quarantaine de produits, du tahini à la sriracha, ne sont jamais nommés que par leur étiquette.
Les expressions avant les mots
« Lait d'avoine » est cherché avant « lait », si bien qu'une brique de l'un n'atterrit pas dans la liste sous le nom de l'autre.
L'image sur le pot
Une salade imprimée sur un pot de feta est une photo d'aliment. Elle est ignorée.
Une marque seule ne prouve rien
Un nom de marque ou un prix, seuls, ne décident de rien : une plaquette de beurre qui ne montre que sa marque est nommée d'après son allure.
Scan en direct ou photos
Le scan par photo n'a pas disparu, et pour certaines choses il reste le meilleur outil. Les deux sont sur le même écran : le scan en direct en haut, les photos en dessous.
Photos
Jusqu'à six photos, lues par un modèle de vision dans le cloud. Mieux pour un ticket de caisse, une liste de courses (imprimée ou manuscrite) ou des courses étalées sur la table. Il peut ajouter des choses que la liste d'ingrédients de Sugo ne connaît pas, et il puise dans un quota mensuel qui dépend de votre formule.
Scan en direct
La caméra, lue sur le téléphone, pour un frigo ou un plan de travail. Rien n'est envoyé et il n'y a pas de limite mensuelle. Il ajoute uniquement des aliments de la liste d'ingrédients de Sugo, avec un nombre et non un poids.
Pendant un scan en direct, ce qui quitte votre téléphone, c'est la liste que vous validez, plus des totaux quotidiens anonymes sur les sortes d'aliments gardées ou décochées, sans compte, foyer ni appareil associé. Ces totaux nous montrent quels noms le modèle se trompe le plus souvent.
À quoi sert la liste
Une fois que vous touchez Ajouter, les aliments sont dans votre garde-manger, et c'est à partir de lui que le reste de Sugo cuisine. Vos recettes enregistrées sont classées selon ce que vous pouvez faire ce soir, avec les ingrédients manquants affichés sur celles qui passent presque.
Your pantry
Le même garde-manger est retiré de votre liste de courses, donc un scan après les courses de la semaine vous évite aussi d'acheter un deuxième pot de ce qui traîne déjà au fond du placard. Pour le côté cuisine, que cuisiner avec ce que vous avez déjà donne la méthode, et les 12 basiques du placard qui rendent tout cuisinable décrit l'étagère qui mérite d'être scannée.
Ce qu'il rate
Il reconnaît à vue quelques dizaines d'ingrédients frais courants : œufs, citrons, citrons verts, tomates, poivrons, oignons, pommes de terre, carottes, champignons, saumon, bacon, épinards, laitue, fruits rouges, entre autres, plus les produits emballés dont il lit l'étiquette. Il en manque beaucoup. Le gingembre, l'échalote, le chou kale et le panais ne sont pas reconnus à vue du tout. Il confond encore de temps en temps oignons et pommes de terre, prend un citron bien rond pour une orange, et peine sur la laitue une fois qu'elle est dans une salade.
Il voit la présence et un nombre, jamais une quantité. Un demi-sachet d'épinards et un sachet plein, ce sont des épinards. Les œufs n'ont pas de chiffre tant qu'il n'en a pas vu deux séparés, parce qu'une boîte d'œufs est en général une boîte entière et qu'en annoncer un seul serait faux la plupart du temps. Il n'attrape que ce qui est dans le champ de la caméra : le yaourt derrière le lait reste derrière le lait.
Le premier scan demande un peu de patience. Le modèle se télécharge une seule fois, et l'application s'en charge seule en Wi-Fi quand elle le peut. La première préparation a pris environ une demi-minute sur un iPhone 12 Pro dans nos essais, puis le scanner s'ouvre en deux secondes. Il faut iOS 17, alors que le reste de Sugo tourne dès iOS 16.4, et il n'existe pas dans la version navigateur sur app.sugo.kitchen, où aucun modèle n'est installé sur l'appareil.
Rien de tout cela ne vous est caché : chaque ligne du résultat arrive sur un écran de vérification avec une case à cocher, et rien n'est ajouté avant que vous l'ayez parcouru.
Avant votre premier passage
Laissez le téléchargement se faire en Wi-Fi
Une fois connecté à votre compte, l'application récupère en général le modèle en arrière-plan, en Wi-Fi, et le premier scan ne commence pas par une attente.
Tournez les étiquettes vers vous
Les produits emballés sont nommés d'après ce qui est imprimé dessus. Une étiquette face au fond du frigo ne donne rien à lire.
Allez plus lentement que nécessaire
Chaque aliment doit tenir quelques images avant de compter. Un geste rapide devant la porte attrape les gros objets et laisse passer le reste.
Mettez les doublons dans la même image
Le chiffre est le plus grand nombre vu en même temps : quatre yaourts alignés en font quatre, quatre yaourts sur quatre étagères en font un.
Relisez la liste avant de l'ajouter
Décochez ce qui est faux, corrigez les nombres, et ajoutez à la main ce qu'il n'a pas pu voir.
Sugo est gratuit sur iPhone, iPad et Mac, sur Android, et dans n'importe quel navigateur sur app.sugo.kitchen. Si votre liste de garde-manger ne ressemble plus à votre frigo depuis la semaine où vous l'avez faite, téléchargez Sugo.