Un passage devant l'étagère. Rien à taper.

Le garde-manger de Sugo classe vos recettes enregistrées selon ce que vous pouvez déjà cuisiner. Il ne vaut que ce que vaut la liste, et garder cette liste juste a toujours été le point faible. Personne ne tape trente articles sur un téléphone après avoir rangé les courses.

Le scan en direct ramène ce travail à un seul passage. Ouvrez le garde-manger, touchez le bouton appareil photo, choisissez Scan en direct et passez lentement le téléphone le long d'une étagère. Tout ce qu'il reconnaît arrive dans une liste que vous vérifiez avant que quoi que ce soit soit ajouté.

Le téléphone lit environ dix images par seconde, donc les œufs restent visibles sur trente ou quarante images en un passage, puis encore au retour. Additionner tout ce qu'il a vu donnerait une liste de plusieurs centaines de lignes. L'essentiel du travail consiste à savoir si la chose sur cette image est la même que sur la précédente.

Un article entre dans la liste après avoir tenu sur trois des cinq dernières images. Chaque objet est suivi d'une image à l'autre, et son nom résulte d'un vote sur toutes les images où il apparaît : c'est pour cela qu'une pastille ne passe pas d'échalote à oignon quand la lumière change.

La liste compte des sortes de choses. Deux tomates sur deux étagères font une seule ligne, et le nombre affiché est le maximum vu ensemble sur une même image. Un passage ne peut donc pas compter en double, mais il peut sous-compter, et c'est pour cela que chaque ligne comptable de l'écran de vérification a un compteur.

Un frigo, c'est beaucoup d'emballages, et une brique de lait d'avoine ressemble beaucoup à une brique de bouillon. Le scan en direct lit donc les gros caractères de tout ce qui ressemble à un emballage, en anglais, en français et en espagnol, et fait confiance aux mots plutôt qu'à la forme. Les expressions passent avant les mots seuls, pour qu'un pot de beurre de cacahuète ne finisse pas en beurre.

Il reconnaît environ 70 aliments à la vue, plus de 40 autres uniquement par leur étiquette, et retrouve les produits courants du garde-manger à partir de ce qui est imprimé sur le paquet.

Les images de la caméra sont lues par un modèle installé sur l'appareil et ne sont jamais envoyées. Ce qui quitte le téléphone, c'est la liste que vous confirmez, plus des totaux quotidiens anonymes des sortes d'articles gardées ou décochées, sans compte, foyer ni appareil associé. Ces totaux montrent quels noms le modèle se trompe le plus souvent.

Le gingembre, les échalotes, le chou kale et les panais ne sont pas reconnus à la vue. Il peut confondre oignons et pommes de terre, et la laitue devient difficile une fois en salade plutôt qu'entière.

Il voit la présence et un nombre, jamais une quantité. Un demi-sachet d'épinards et un sachet plein restent des épinards. Les œufs n'ont pas de nombre tant qu'il n'en voit pas deux séparés, car une boîte d'œufs est en général pleine. Il ne voit que ce qui est dans le champ, donc le yaourt derrière le lait reste derrière le lait.

Le premier scan prend plus de temps. Le modèle se télécharge une seule fois, l'app le récupère d'elle-même en Wi-Fi quand elle peut, et la première préparation peut prendre une trentaine de secondes sur un iPhone ancien. Ensuite, le scanner s'ouvre en quelques secondes. Il faut iOS 17 ou plus récent, et il n'existe pas dans l'app web, où aucun modèle ne tourne sur l'appareil.