Виртуальный ассистент AISHA
В настоящий момент идет активная разработка нашего IT-проекта, который мы назвали AISHA – AI Smart Helper Assistant. Это голосовой ассистент, использующий ставшие популярными нейросети – искусственный интеллект. Голосовой помощник преследует основную цель – добиться комфортного взаимодействия пользователя и компьютера. Больше всего в таких вспомогательных технологиях для облегченного взаимодействия с электронной вычислительной машиной нуждаются наши студенты с особыми образовательными потребностями.
В процессе создания проекта были использованы следующие средства разработки:
- Редактор кода Visual Studio Code – на ней были выполнены написание и отладка исходного кода программы.
- Расширение Python для VScode.
- Графическая подсистема Qt Framework – использовалась для реализации удобного пользовательского интерфейса.
- Библиотека gpt4free – использовалась для обеспечения взаимодействия программы с серверами искусственного интеллекта.
- Библиотека pyttsx3 – использовалась для реализации синтезатора речи.
- Библиотека SpeechRecognition – использовалась для реализации распознавателя голоса пользователя.
- Библиотека PySide6 – использовалась вместе с Qt Framework для создания графического интерфейса пользователя.
- Средство компиляции программы на языке Python PyInstaller – использовался для создания готового исполняемого файла программы.
AISHA уже умеет общаться с пользователем, слушая его вопрос и сразу же отвечая на него. Таким образом базовая функциональность нашего голосового ассистента заключена в облегчении использования компьютера учащимися с особыми образовательными потребностями.
Например, он без труда сможет подсказать студенту определённую возможность программы, которую он изучал ранее, но забыл в последствии. Ассистент опишет последовательность действий по эксплуатации приложений и редакторов, в которых студент пока что не разбирается.
Любой вопрос от студента или педагога будет обработан должным образом при условии корректного произношения вопроса. В связи с этим есть большая вероятность того, что ассистент не сможет понять отдельные фразы или даже целые предложения студента с речевыми нарушениями.
Исходя из этого планируется доработка голосового ассистента, подразумевающая вводить текст непосредственно с клавиатуры для таких студентов. Предполагается дальнейшее развитие проекта.
