Google превращает курсор мыши в инструмент для ИИ-агента

Курсор перестал быть просто индикатором координат на экране: инженеры Google DeepMind представили технологию, превращающую наведение мыши в полноценное взаимодействие с искусственным интеллектом. Вместо копирования данных в чат-боты пользователи смогут указывать на объекты в интерфейсе и отдавать короткие команды, опираясь на визуальный контекст, который система считывает в реальном времени.

Концепция AI-enabled pointer устраняет барьер между пользователем и алгоритмом. Сейчас для анализа информации приходится переключаться между окнами, копировать фрагменты текста или загружать изображения в нейросеть. Новая разработка позволяет Gemini «видеть» контент непосредственно под курсором: будь то рецепт в PDF, таблица с данными или фотография архитектурного объекта. ИИ распознает элементы интерфейса не как набор пикселей, а как осмысленные сущности, готовые к обработке.

В основе подхода лежат четыре принципа, включая полный отказ от переключения между приложениями и использование естественного языка вместо сложных промптов. Разработчики стремятся имитировать человеческое общение, где речь дополняется жестами. Система понимает намерение пользователя, связывая указание мышью с конкретной задачей, например, изменением масштаба ингредиентов или построением маршрута до точки на карте.

Первые шаги к внедрению уже сделаны: в браузере Chrome появилась функция вызова Gemini для анализа содержимого веб-страниц, а для будущих ноутбуков Googlebook готовится технология Magic Pointer. Эти инструменты превращают компьютер из пассивного устройства в среду, где ИИ-агент выступает активным помощником, способным интерпретировать действия человека на лету.