Get Image Descriptions: Google utiliza IA para describir qué hay en las imágenes

Get Image Descriptions: Google utiliza IA para describir qué hay en las imágenes 1

Get Image Descriptions: Google utiliza IA para describir qué hay en las imágenes

Google ha dado un paso más allá a la hora de ver e interpretar las imágenes que incorporamos en nuestros artículos y que él utiliza en el buscador de imágenes. Si bien es cierto que el atributo ALT ayudaba a los algoritmos a saber qué se escondía en la imagen. Sin embargo la inteligencia artificial continúa mejorando y ahora es capaz de interpretar qué se ve en la imagen sin ningún tipo de atributo ALT, siendo el propio Google quien lo incorpore de forma automática en sus resultados de búsqueda.

Get Image Descriptions from Google

En un proceso de facilitar llegar a todo tipo de personas, Google se dio cuenta de que los lectores de pantalla para invidentes, o problemas severos de visión, no eran capaces de interpretar las imágenes sin un atributo Alt o «Texto alternativo» ya que en internet existen cientos de millones de imágenes sin este atributo privando así de esta información a los usuarios.

Para mejorar esa experiencia Google ha creado una función automática de descripción de imágenes llamada Get Image Descriptions from Google (Obtener descripciones de imágenes de Google) para que el lector de pantalla creé uno de forma automática. Hoy por hoy esta funcionalidad estará activa solamente en el navegador Chrome.

Aún lejos de ser un sistema perfecto, el propio Google en su blog indica que las descripciones generadas automáticamente no son tan buenas como las escritas por un humano llegando a incluir contexto adicional, pero que si se entiende el contexto en la que están, pueden ser precisas y útiles. Sin duda, la descripción de una imagen puede ayudar a una persona ciega a leer el menú de un restaurante o a comprender mejor lo que sus amigos están publicando en los medios sociales.

El funcionamiento del sistema IA se ejecuta en los servidores de Google. Esto quiere decir que no será el ordenador, o aparato utilizado para la lectura de la imagen, quien realizará la operación de entender que hay en la imagen. Lo que ayuda a que no se sobrecarguen nuestro propio hardware. Google lanza la imagen a su servidor y la devuelve agregando datos. El proceso de trabajo será de aprendizaje, y se espera que con el tiempo vaya mejorando su «intuición» a la hora de mostrar el resultado de la imagen.

El algoritmo de la IA en primer lugar buscará texto en la propia imagen, incluyendo signos, etiquetas y palabras escritas a mano. Si no lo localiza, actuará el siguiente sistema que buscará objetos reconocibles para los que han sido programados, como un lápiz, un árbol, una persona con un traje de negocios o un helicóptero. Si estos sistemas no funcionan, actuará el sistema más sofisticado leyendo e intentando entender la idea principal de una imagen.

La descripción se evalúa en cuanto a precisión e información valiosa: ¿La anotación describe bien la imagen? ¿Es útil la descripción? Basándose en si la anotación cumple con esos criterios, el modelo de aprendizaje automático determina lo que se debe mostrar a la persona. El algoritmo solo proporcionará una descripción si creé que es razonablemente correcta. Si el algoritmo entra en conflicto y no sabe qué describir, no hará nada y no actuará de momento.

Ejemplos de IA en imágenes de Google

He aquí un par de ejemplos de las descripciones reales generadas por Chrome cuando se utiliza con un lector de pantalla.

Pineapples, bananas and coconuts

Piñas, plátanos y cocos
Descripción generada por la máquina para esta imagen: «Parecen Frutas y verduras en el mercado«.

Man playing guitar on gray sofa

Hombre tocando la guitarra en un sofá gris
Descripción generada por la máquina para esta imagen: «Parece una persona tocando la guitarra en el sofá

Durante las últimas pruebas, se han creado más de 10 millones de descripciones con cientos de miles que se añaden cada día.

Por ahora la función está únicamente disponible en inglés, pero según confirma el propio Google, está previsto añadir más idiomas en breve.

También confirma el buscado que las descripciones de imágenes en Chrome no están pensadas para reemplazar la creación de la propia web responsable de dicha imagen; ya que recordemos que Google siempre anima a los desarrolladores y autores a seguir con las mejores prácticas de SEO y proporcionar descripciones de imágenes en sus sitios.