В Windows 11 тестируют опцию шеринга экраном приложений и файлами с Copilot

Microsoft тестирует ^[1] в Windows 11 интеграцию на уровне ОС, которая позволит пользователям делиться экраном приложений и файлами через ИИ-помощника Copilot.

Эта функция стала доступна участникам программы предварительной оценки Windows в США.

Microsoft утверждает, что интеграция поможет ориентироваться в приложении, если возникают проблемы с его использованием. Также Copilot сможет проанализировать содержимое экрана, предложить идеи, ответить на вопросы и пообщаться с пользователем в режиме реального времени. Например, в приложении «Настройки» Copilot Vision укажет, где найти конкретный переключатель.

Неясно, как именно ИИ-помощник обрабатывает данные экрана, однако нужно учитывать, что это облачная технология. 

Участники программы предварительной оценки Windows могут опробовать эту функцию, щёлкнув значок очков в приложении Copilot, выбрав браузер или приложение, экраном которого нужно поделиться, а затем попросив Copilot о помощи.

Чтобы остановить совместное использование экрана, нужно нажать кнопку «Стоп» или «X» в приложении Copilot.

Вторая функция под названием «Поиск файлов» позволяет найти определённый файл на устройстве и задать вопросы о его содержимом. Например, Copilot можно спросить: «Можешь ли ты найти моё резюме?», и ИИ-помощник отыщет файл resume.docx, просканировав хранилище ПК.

Microsoft отметила, что Copilot в Windows 11 уже может читать файлы .docx, .xlsx, .pptx, .txt, .pdf и .json. 

Ранее в сервисе Copilot появились ^[2] функции, которые нацелены на то, чтобы превратить языковую модель в помощника для выполнения рутинных задач. Обновление выпустили в честь юбилея Microsoft. Так, опция Copilot Vision позволяет показать экран чат-боту, а Memory — запоминать предпочтения пользователя и учитывать их во время генерации ответа.