Escanear la nevera con el móvil: el escaneo en vivo de Sugo
Pasa el móvil por una balda y Sugo apunta lo que ve. Enséñale un paquete y lee el código de barras. Las imágenes no salen del teléfono.
Sugo ya puede leer tu nevera a través de la cámara mientras la mueves. Abre la despensa, toca el botón de la cámara, elige Escaneo en vivo y pasa el móvil despacio a lo largo de una balda. Cada cosa que reconoce recibe un recuadro y un nombre en pantalla, una vibración corta y una etiqueta en la lista de abajo. Cuando terminas, repasas esa lista, corriges lo que esté mal y lo añades todo de una vez. Nada entra en tu despensa sin que lo hayas visto antes.
Todo ocurre en el teléfono. Las imágenes de la cámara las lee un modelo instalado en el propio dispositivo y nunca se suben a ningún sitio. El escaneo en vivo está en la app de iPhone y iPad con iOS 17 o posterior, y en la app de Android.
Desde el 30 de septiembre también lee códigos de barras. Enséñale un paquete a la cámara y su código de barras lo nombra; lo contamos más abajo.
El resto de este artículo va de lo que más costó dejar bien, que es contar, luego de los códigos de barras, y de lo que el escaneo en vivo todavía hace mal.
Para qué escanear la nevera
La despensa de Sugo ordena tus recetas guardadas según cuánto de cada una puedes cocinar ya. Esa ordenación vale lo que valga la lista, y mantenerla al día siempre ha sido el punto débil. Nadie teclea treinta alimentos en el móvil un domingo por la noche, y una lista que estaba bien hace tres semanas está mal de maneras que no se ven.
El escaneo por fotos ya ayudaba: fotografías una balda y los alimentos vuelven como lista. El escaneo en vivo deja el trabajo en una sola pasada de la cámara, lo bastante corta como para hacerla de verdad después de colocar la compra.
Cómo cuenta el escaneo lo que hay en la nevera
Poner nombre a lo que sale en una imagen es la parte que uno imagina difícil. Contar resultó ser más difícil.
Mientras barres, el teléfono lee unas diez imágenes por segundo. Los huevos están a la vista tres o cuatro segundos a la ida, así que aparecen en treinta o cuarenta imágenes, y otra vez cuando vuelves atrás a comprobar algo que se te pasó. Un escáner que sumara todo lo que ve te devolvería una lista de cuatrocientas líneas. Por eso la pregunta en la que el escaneo en vivo pone más esfuerzo es si lo que hay en esta imagen es lo mismo que había en la anterior.
Aquí tienes una pasada a lo largo de una balda y parte de la vuelta. El contador de la izquierda son las imágenes leídas. El de la derecha, las líneas de la lista.
Una pasada por la balda, y parte de la vuelta
- Leche
- Huevos×2
- Queso
- Champiñones
- Zanahorias
- Lima
85
Imágenes leídas
6
En la lista
Tres reglas hacen casi todo el trabajo.
Un alimento tiene que aguantar. Lo que aparece en una imagen y desaparece en la siguiente suele ser un reflejo, una sombra o el modelo dudando, así que un objeto solo entra en la lista después de haberse confirmado en tres de las últimas cinco imágenes. Mientras tanto, la app le dibuja alrededor un contorno fino y sin nombre, y por eso los nombres nunca parpadean en pantalla.
Cada objeto se sigue de una imagen a otra. El escáner se fija en su posición y su aspecto, de modo que un tarro medio escondido detrás de la leche conserva su identidad, y el nombre con el que acaba es una votación entre todas las imágenes en las que se vio. Esa votación es lo que impide que una etiqueta salte de chalota a cebolla cada vez que cambia la luz.
La lista cuenta tipos de alimento. Dos tomates en dos baldas distintas son una sola línea, tomates, y el número de al lado es el máximo que vio juntos en una misma imagen. Ese número no puede contar dos veces una pasada, que es justo lo que se busca, pero puede quedarse corto: tres pimientos que nunca estuvieron a la vista a la vez vuelven como uno. La pantalla de revisión tiene un selector de cantidad en cada línea que se pueda contar, precisamente para eso.
Cómo reconoce los productos envasados
Buena parte de una nevera son envases, y un envase es lo más difícil de reconocer por su forma. Un brik de bebida de avena se parece mucho a un brik de caldo. Así que el escaneo en vivo lee la letra grande de todo lo que parece un envase, en español, inglés y francés, y se fía más de las palabras que de la silueta.
Las palabras mandan sobre la forma
Un brik que dice «lait» es leche, tenga la forma que tenga. Una cuarentena de productos, del tahini a la sriracha, solo se nombran por su etiqueta.
Las frases antes que las palabras
«Leche de avena» se busca antes que «leche», para que un brik de una no acabe en la lista con el nombre de la otra.
El dibujo de la tarrina
Una ensalada impresa en una tarrina de feta es una foto de comida. Se ignora.
Una marca sola no demuestra nada
Un nombre de marca o un precio, por sí solos, no deciden nada: un paquete de mantequilla que solo enseña la marca se nombra por su aspecto.
Enséñale el paquete y lee el código de barras
Leer lo impreso solo ayuda si el frente dice algo útil. Muchas veces es solo una marca, que no decide nada, y un bote de nata y uno de yogur son el mismo bote blanco desde casi cualquier ángulo. En la última versión de la app, el código de barras lo resuelve. Acerca el paquete al teléfono y gíralo hasta que el código de barras mire al objetivo. El escaneo en vivo lee el número, lo busca y cambia el nombre de la etiqueta.
Un bote, acercado a la cámara y girado
- Código de barrasNombra la etiqueta
Nata
- Impreso
Solo una marca
- Forma
Yogur
Lo que hace que funcione es acercarlo. Antes de construir esto probamos a leer códigos de barras durante una pasada normal, recortando a resolución completa cada objeto que seguía el escáner: 2709 recortes de una misma nevera, y ni un solo código de barras legible. A la distancia de una pasada, las barras son demasiado pequeñas y salen movidas. Un paquete sostenido delante del teléfono ocupa un tercio de la imagen o más, y tras un momento a ese tamaño el escaneo en vivo lo lee a resolución completa. Si llevas un segundo sosteniéndolo y no encuentra ningún código de barras, una línea encima de la lista dice «Muestra el código de barras para nombrarlo», y casi siempre significa que hay que darle la vuelta al paquete.
El código de barras da el tipo de alimento, como nata o mantequilla, nunca la marca ni el tamaño, porque la despensa guarda tipos de alimento. Manda sobre lo impreso en la etiqueta, y lo impreso manda sobre la forma. La búsqueda va en segundo plano, así que el escaneo nunca se para a esperarla, y un paquete que no puede buscar (sin cobertura, por ejemplo) conserva el nombre que ya tenía.
La tabla donde se busca el número está hecha a partir de Open Food Facts, la base de datos abierta de productos alimentarios, y vive en nuestro propio servidor. El teléfono envía el número y nada de la cámara.
Escaneo en vivo o fotos
El escaneo por fotos sigue ahí, y para algunas cosas todavía es la mejor herramienta. Los dos están en la misma pantalla: el escaneo en vivo arriba y las fotos debajo.
Fotos
Hasta seis fotos, leídas por un modelo de visión en la nube. Mejor para un tique de la compra, una lista (impresa o escrita a mano) o la compra extendida sobre la mesa. Puede añadir cosas que la lista de ingredientes de Sugo no conoce, y consume un cupo mensual que depende de tu plan.
Escaneo en vivo
La cámara, leída en el teléfono, para una nevera o una encimera. No se sube nada de la cámara y no hay límite mensual. Solo añade alimentos de la lista de ingredientes de Sugo, con un número en lugar de un peso.
Durante un escaneo en vivo, lo que sale de tu teléfono es la lista que confirmas, el número de cada código de barras que lee, para buscarlo, y unos recuentos diarios anónimos de qué tipos de alimento se mantuvieron o se desmarcaron. Los recuentos no llevan cuenta, hogar ni dispositivo, y nos dicen qué nombres falla más el modelo.
Del escaneo de la nevera a las recetas que puedes hacer
En cuanto tocas Añadir, los alimentos están en tu despensa, y de la despensa tira todo lo demás de Sugo. Tus recetas guardadas se ordenan según lo que puedes hacer esta noche, con los ingredientes que faltan a la vista en las que casi salen.
Your pantry
La misma despensa se descuenta de tu lista de la compra, así que un escaneo después de la compra semanal también te ahorra comprar un segundo bote de lo que ya está al fondo del armario. Para la parte de cocinar, qué cocinar con lo que ya tienes es el método, y los 12 básicos de despensa que lo hacen todo cocinable describe la balda que vale la pena escanear.
Lo que hace mal
Reconoce a simple vista unas cuantas decenas de ingredientes frescos habituales: huevos, limones, limas, tomates, pimientos, cebollas, patatas, zanahorias, champiñones, salmón, beicon, espinacas, lechuga, frutos rojos y otros, además de los envasados cuya etiqueta lee. Faltan muchos. El jengibre, la chalota, el kale y la chirivía no los reconoce a la vista en absoluto. Todavía confunde de vez en cuando cebollas y patatas, toma un limón muy redondo por una naranja y se atasca con la lechuga cuando ya está en una ensalada.
Ve si algo está y cuántos hay, nunca una cantidad. Media bolsa de espinacas y una bolsa entera son espinacas. Los huevos no llevan número hasta que ve dos separados, porque una caja de huevos suele ser una caja entera y decir uno sería un error casi siempre. Solo pilla lo que está en el encuadre: el yogur de detrás de la leche sigue detrás de la leche.
La tabla de códigos de barras todavía es pequeña. Cubre más o menos uno de cada diez productos que se venden en Estados Unidos, Reino Unido, Francia, España e Italia, porque solo asociamos un producto cuando su categoría o su nombre no dejan dudas. Con la mayoría de los paquetes que le enseñes hoy, lee el código, no lo encuentra en la tabla y la etiqueta conserva el nombre que le dio lo impreso o la forma.
El primer escaneo pide algo de paciencia. El modelo se descarga una sola vez, y la app lo hace sola por Wi-Fi cuando puede. La primera preparación tardó más o menos medio minuto en un iPhone 12 Pro en nuestras pruebas, y después el escáner se abre en un par de segundos. Hace falta iOS 17, aunque el resto de Sugo funciona desde iOS 16.4, y no está en la versión de navegador de app.sugo.kitchen, donde no hay ningún modelo instalado en el dispositivo.
Nada de eso se te oculta: cada línea del resultado llega a una pantalla de revisión con su casilla, y no se añade nada hasta que la has repasado.
Lo que suele preguntarse
¿Hay alguna app que escanee la nevera y busque recetas?
Sugo lo hace. Abre la despensa, toca el botón de la cámara, elige Escaneo en vivo y pasa el móvil despacio por una balda. Revisas la lista que arma y la añades a la despensa, y tus recetas guardadas se ordenan según lo que puedes cocinar esta noche, con los ingredientes que faltan en las que casi salen.
¿El escaneo de la nevera sube las imágenes de la cámara?
No. Las imágenes las lee un modelo instalado en el teléfono y nunca se suben. Lo que sale del móvil es la lista que confirmas, el número de los códigos de barras que enseñas para poder buscarlo, y recuentos diarios anónimos de qué tipos de alimento se quedaron o se desmarcaron, sin cuenta, hogar ni dispositivo.
¿Lee códigos de barras?
Sí. Acerca el paquete al móvil y gíralo hasta que el código de barras mire al objetivo, y el código le cambia el nombre. Dice el tipo de producto, nata o mantequilla, nunca la marca ni el tamaño. La tabla de códigos todavía es pequeña, más o menos un producto de cada diez, así que muchos paquetes se quedan con el nombre que les dio la etiqueta o la forma.
¿En qué móviles funciona el escaneo en vivo?
En la app de iPhone y iPad con iOS 17 o posterior, y en la app de Android. No está en la versión de navegador de app.sugo.kitchen, donde no hay ningún modelo en el dispositivo. El modelo se descarga una sola vez, y la app lo hace sola por Wi-Fi cuando puede.
Consejos para tu primer escaneo de la nevera
Deja que la descarga se haga por Wi-Fi
Con la sesión iniciada, la app suele bajarse el modelo en segundo plano por Wi-Fi, así que el primer escaneo no empieza con una espera.
Gira las etiquetas hacia ti
Los envasados se nombran por lo que llevan impreso. Una etiqueta mirando al fondo de la nevera no le da nada que leer.
Enseña lo que podría ser dos cosas
Un bote blanco o un cartón liso: acércalo y gíralo hasta que el código de barras mire al teléfono, y el código lo nombra.
Ve más despacio de lo que parece necesario
Cada alimento tiene que aguantar unas cuantas imágenes antes de contar. Un gesto rápido delante de la puerta pilla lo grande y se salta el resto.
Junta los repetidos en la misma imagen
El número es el máximo que ve a la vez: cuatro yogures en fila son cuatro, y cuatro yogures en cuatro baldas son uno.
Lee la lista antes de añadirla
Desmarca lo que esté mal, corrige los números y añade a mano lo que no pudo ver.
Sugo es gratis en iPhone, iPad y Mac, en Android, y en cualquier navegador en app.sugo.kitchen. Si tu lista de despensa no se parece a tu nevera desde la semana en que la hiciste, descarga Sugo.