Как я делал голосового ассистента на NLP и не сошел с ума

Голосовые ассистенты давно перестали быть просто игрушкой — теперь это полноценные цифровые помощники, которые умеют общаться, искать информацию и даже шутить (иногда лучше некоторых людей). В этой статье разберём, как собрать своего кастомного ассистента с нуля на Python, используя современные NLP-инструменты. Без Siri, без Alexa, всё своё, родное.

Зачем всё это?

Когда голосовой ассистент отвечает тебе по делу — это магия. Но чтобы эта магия случилась, под капотом крутится куча хитрых технологий: автоматическое распознавание речи (ASR), обработка естественного языка (NLP), диалоговые модели, синтез речи (TTS)… и если хоть одна часть запнётся — привет, хаос. А ещё желательно, чтобы он не сливал все данные на сервера третьих лиц, да?

В этой статье покажу, как собрать своего ассистента, который будет работать локально, понимать речь, говорить в ответ и помнить, о чём вы с ним говорили. Всё на Python, по-взрослому.

Архитектура голосового ассистента

Вот базовые блоки системы:

• ASR (Automatic Speech Recognition) — распознавание речи из микрофона.

• NLP Engine — обработка текста, понимание намерений.

• Dialogue Manager — управление диалогом, логикой взаимодействия.

• TTS (Text-to-Speech) — озвучивание ответа.

• API Layer — если ассистенту нужно что-то искать или выполнять действия.

Мы будем использовать:

• Whisper от OpenAI для распознавания речи.

• Rasa в качестве движка для диалогов и NLP.

• pyttsx3 для синтеза речи.

• SpeechRecognition для захвата голоса.

Часть 1: Распознавание речи с Whisper

Whisper — это модель от OpenAI, которая умеет распознавать аудио. Можно использовать её локально через whisper или faster-whisper.

Пример кода на Python:

import whisper
import sounddevice as sd
import numpy as np
import scipy.io.wavfile

model = whisper.load_model("base")

def record_audio(duration=5, fs=16000):
    print("Говори...")
    audio = sd.rec(int(duration * fs), samplerate=fs, channels=1, dtype='int16')
    sd.wait()
    return np.squeeze(audio)

def save_wav(filename, audio, fs=16000):
    scipy.io.wavfile.write(filename, fs, audio)

audio = record_audio()
save_wav("temp.wav", audio)

result = model.transcribe("temp.wav")
print("Ты сказал:", result["text"])

Часть 2: NLP с Rasa

Rasa позволяет строить полноценные диалоговые системы с определением намерений, слотов, контекста.

# nlu.yml
version: "3.1"

nlu:
- intent: greet
  examples: |
    - Привет
    - Здравствуй
    - Доброе утро

- intent: ask_weather
  examples: |
    - Какая погода?
    - Что там с погодой?
    - Будет дождь?

# domain.yml
intents:
  - greet
  - ask_weather

responses:
  utter_greet:
    - text: "Привет! Чем могу помочь?"
  utter_weather:
    - text: "Погода отличная, солнышко светит!"

Дальше пишем stories, запускаем rasa train, и всё — диалоговая логика работает.

Часть 3: Синтез речи

Для TTS можно использовать pyttsx3, он работает оффлайн и довольно шустрый.

import pyttsx3

engine = pyttsx3.init()
engine.say("Привет! Я твой голосовой ассистент.")
engine.runAndWait()

Можно выбрать голос, скорость, тональность. На винде и маке разные голоса, но общее API — одинаковое.

Часть 4: Склеиваем всё вместе

Теперь мы можем построить полный цикл:

1. Голос → текст (Whisper)

2. Текст → интент (Rasa)

3. Ответ → текст (Rasa)

4. Текст → речь (pyttsx3)

# main.py
from rasa.core.agent import Agent
from whisper import load_model
import pyttsx3

agent = Agent.load('models')  # путь к модели rasa
asr_model = load_model("base")
tts = pyttsx3.init()

while True:
    audio = record_audio()
    save_wav("temp.wav", audio)
    result = asr_model.transcribe("temp.wav")
    user_text = result["text"]

    response = agent.handle_text(user_text)
    if response:
        reply = response[0]['text']
        print(f"Ассистент: {reply}")
        tts.say(reply)
        tts.runAndWait()

Что можно улучшить?

• Заменить pyttsx3 на Coqui TTS или VITS для более человеческого голоса.

• Добавить память и историю диалога с базой данных.

• Подключить внешние API — погоду, календари, заметки.

Заключение

Сделать своего голосового ассистента — это не так сложно, как может показаться. Главное — не пытаться сделать сразу как у Google или Amazon. Маленькими шагами можно дойти до вполне приличного помощника. И самое главное — он будет именно таким, как тебе нужно.

А потом можно уже и добавить ему характер. Пусть бурчит по утрам или говорит «Мастер, вы сегодня великолепны».

Если статья оказалась полезной — попробуйте реализовать хотя бы базовую версию ассистента. Поверьте, это очень затягивает. Особенно, когда ассистент впервые называет вас по имени.