Ahora es posible mostrarle al celular lo que se tiene delante —una planta, un cartel en otro idioma o una aplicación en uso— para que la inteligencia artificial de Google lo analice y de una explicación en tiempo real.
La función, llamada Gemini Live, permite que el asistente observe mediante la cámara o a través de la pantalla compartida y proporcione una descripción verbal o realice un análisis de lo que ve.
Hasta hace poco, esta posibilidad solo estaba habilitada para algunos modelos recientes de teléfonos Google Pixel y Samsung Galaxy, o para usuarios con suscripción paga a Gemini. Sin embargo, Google ha liberado esta función sin costo para cualquier persona que tenga Android.
Según confirmó la empresa en su cuenta oficial de X, esta función ya comenzó a habilitarse en varios países y se espera que llegue a todos los dispositivos Android de manera progresiva en las próximas semanas.
Para utilizarla, solo se necesita descargar la aplicación de Gemini desde Google Play Store. Una vez instalada y actualizada, el usuario podrá activar el modo de voz y verá dos nuevos iconos: uno para abrir la cámara y otro para compartir la pantalla.
La herramienta forma parte del Project Astra, una iniciativa de Google para crear modelos de inteligencia artificial multimodal, es decir, que pueden procesar texto, imágenes, video y otros formatos al mismo tiempo. En este caso, Gemini es capaz de recibir información visual y generar respuestas inmediatas, ya sea explicando lo que se ve o ayudando a interactuar con lo que se muestra en pantalla,, señala Infobae.
Por ejemplo, si un usuario activa la cámara y apunta hacia una planta, Gemini puede indicar de qué especie se trata. También puede traducir en tiempo real un menú de restaurante en otro idioma, o identificar un objeto desconocido.
En el caso del modo de pantalla compartida, la función permite mostrar lo que ocurre en el dispositivo —como una conversación, una página web o una aplicación abierta— y obtener explicaciones o ayuda en función de lo que esté viendo.
Cuando se comparte la pantalla con la IA de Google, aparece una barra de estado con un contador visible y una notificación que avisa que está activa la función. Para detenerla, basta con colgar desde el panel de notificaciones.
La interacción con Gemini se realiza por voz, sin comandos técnicos. El usuario puede hablarle con frases cotidianas y recibir respuestas detalladas en diferentes formatos. Hasta el momento, la herramienta está disponible en 45 idiomas.
En el sitio oficial de Android, Google explica que esta función se implementa como una extensión del asistente de voz tradicional, reemplazando progresivamente a Google Assistant en muchos dispositivos.
Al tratarse de una herramienta de visión por computadora con procesamiento en la nube, requiere conexión a internet y permisos específicos para el uso de la cámara y la pantalla.
Funciones gratuitas en Gemini
Google ya había adelantado que expandiría las funciones avanzadas de Gemini más allá de los teléfonos de gama alta y de los usuarios con suscripción. De acuerdo con la publicación oficial, la decisión de ofrecer esta característica de forma gratuita se tomó luego de “escuchar el gran feedback” por parte de los usuarios que la probaron en su versión de pago.
Además de esta función, la aplicación de Gemini incluye otras herramientas gratuitas que utilizan inteligencia artificial, como generación de texto, resúmenes automáticos, respuestas a preguntas complejas y ayuda para redactar correos o documentos.
Sin embargo, la posibilidad de interactuar con lo que se ve en tiempo real convierte a Gemini Live en una de las propuestas más destacadas para el uso cotidiano en dispositivos móviles.
La liberación de esta función se suma a una tendencia más amplia entre las grandes empresas tecnológicas: hacer que los avances en inteligencia artificial estén disponibles para un público amplio, sin necesidad de conocimientos técnicos ni inversión económica.