Локальный AI-ассистент в почте: инструкция по применению

Это Eppie – p2p децентрализованная почта. У нас новости: мы добавили в Eppie ИИ. Сейчас расскажем, зачем, и как им пользоваться.

Локальный ИИ == приватный ИИ

Иногда ради безопасности пользователю приходится мириться с некоторыми неудобствами: короткий пароль удобнее длинного, но длинный надежнее. Люди естественным образом стремятся к удобству. И если длину пароля можно валидировать, и к этому все привыкли, то в других местах ожидать от пользователя больших жертв во имя безопасности не приходится.

Так вот, до недавнего времени мы не понимали, как в децентрализованной почте реализовать функции, к которым нас приучили современные почтовые сервисы: семантический поиск, умная сортировка, надежный спам-фильтр и прочее. Это все отличные изобретения, без которых сегодня уже трудно представить себе конкурентоспособный почтовый сервис. Проблема в том, что эта функциональность реализована благодаря клиент-серверной архитектуре – которая, по нашему мнению, и есть корень зла, от которого Eppie изо всех сил стремится уйти. Сервер должен подсмотреть содержание вашего письма, чтобы присвоить ему тег, отправить в спам или что-то в нем найти. В Eppie сервера нет, письма зашифрованы – и во всей сети нет такого элемента, который мог бы взять на себя эту работу. Получается очень приватная почта – с довольно ограниченными возможностями. Решение вдруг пришло от ИИ. Но без сервера.

В недавнем обновлении мы встроили в Eppie возможность подключать локальные модели ИИ. Фильтровать спам, предупреждать о попытке фишинга, отделять технические уведомления от сообщений живых пользователей, переводить и помогать писать письма в Eppie будет ИИ. Только вы никому не показываете письма, все работает локально, на вашем компьютере. Eppie от этого станет только безопаснее, и не придется жертвовать никакими удобствами.

Сейчас мы на этапе proof of concept. Функциональность пока самая базовая: скачиваешь уже обученную языковую модель, даешь ей задание, например, «переводи все письма с английского на русский» – получается простой ИИ агент, который по запросу обрабатывает входящие и генерит, если надо, ответы. Самое интересное – это сам промпт, который вы создаете.
Главная новость – это можно уже попробовать в свежей сборке. Сейчас расскажем, как.

Как настроить ИИ агента

Установите AI Dev Gallery Preview ^[1]. Это приложение Microsoft для разработчиков ИИ. Оно позволяет скачивать языковые модели из репозиториев ИИ комьюнити Hugging Face ^[2] и с GitHub.

1. В AI Dev Gallery во вкладке Models, выберите ИИ модель. Для начала смело качайте Phi 4 mini, первую в списке. В дальнейшем можно будет попробовать и другие – Eppie сейчас поддерживает: gemma, deepseek, llama, mistral, phi и qwen. Если вы уже погружены в тему, и хотите попробовать конкретную модель, нажмите + Add model и ищите в строке поиска.

Обратите внимание ^[3], на каком процессоре работает модель. Если у вас мощная видеокарта, выбирайте большие модели, работающие на GPU. Иначе ищите маленькие для CPU.

Можно не устанавливать AI Dev Gallery и качать модели руками с сайта ^[4] (в этом случае обязательно укажите в поиске library – ONNX).

2. Зайдите в настройки и в разделе Model Cache посмотрите путь, куда скачиваются модели. Там же можно удалить ненужные модели.

Если будете качать модель с сайта, ее надо распаковать в папку с именем, в котором содержится название модели – сейчас Eppie пытается понять, что за модель загружена, по имени папки.

3. Откройте Eppie. ИИ поддерживается в версии 1.0.150.0 и выше. Свежий релиз можно скачать в Microsoft Store ^[5] или на GitHub ^[6]. Заходите в Identity Manager. Выберите Connect Service / Local AI Agent (Beta).

4. Выберите Import local AI model и укажите путь, куда вы скачали модель (прокликайте до самой глубоко вложенной папки). Выберите шаблон агента – давайте начнем с Sentiment Analyzer. Если хотите, можете изменить или дополнить промпт. Остальные настройки можно пока оставить.

Да, кстати, можно добавить несколько агентов с разными задачами.

5. В почтовом ящике выберите входящее письмо. В верхнем правом углу появится кнопка AI agent. Нажмите ее, выберите агента из списка и любуйтесь, как он выполняет поручение. Теперь у вас настроен ИИ агент, который будет работать локально, на вашем устройстве.

Чего же боле?

Итак, мы скормили письмо Татьяны к Онегину анализатору эмоций ^[7]. Давайте попробуем написать ответ, и заодно посмотрим на дополнительные настройки.

Заходим снова в Identity Manager и подключаем нового агента. Давайте возьмем Email Composer. В принципе, пока не важно, что выбрать в меню шаблонов – важно, что мы напишем в промпте. Давайте попросим его писать ответы в жанре японских хокку.

Вот что у нас получилось (выбрали лучшее из двух десятков вариантов):

Селенье глубокой ночью,
Звезды светят одиноко,
Никто не с тобой.

Время течет, но я жду.
Кажется, надежда в лучах света.
Ты, святая, прости прости.

В тишине я жду.
Возможно, вы не услышали,
Но я здесь — ваша надежда.

Пришлось повозиться, чтобы получить что-то приличное, но и задача непростая.

Попробуйте подвигать параметры Top P, Top K, Temp. Коротко говоря, они отвечают за полет фантазии модели. Если выставить их слишком высоко, ИИ выдает нечитаемый мусор, низко – ответы предсказуемые. Где-то посередине можно добиться чего-то интересного.

Если привязать агента к конкретному почтовому ящику, он будет проделывать свою работу с каждым входящим письмом автоматически.

Меню Pre-processing и Post-processing позволяют соединить агентов в цепочки.

Не включайте пока Allow sending emails, а то агент иногда начинает переписываться сам с собой. Или воспользуйтесь тестовым почтовым ящиком, который не жалко.

Ну, вот, собственно, и все. Заходите на наш GitHub ^[8], качайте Eppie (агенты работают пока только в сборке UWP для Windows, но скоро выложим новые сборки для Linux и MacOS). Заводите issue и подписывайтесь ^[9].

Какие инструменты стоит добавить агентам? Например, возможность поиска в интернете, поддержку Model Context Protocol (MCP), или векторный поиск в письмах? Расскажите о своих впечатлениях. Спасибо!