Стек: языки программирования, фрэймворки, системы управления базами данных, и т.д.
Профиль специалиста: ML-инженер с экспертизой в LLM
Общие требования
• Опыт работы в Machine Learning (ML) от 3 лет
• Глубокое понимание Large Language Models (LLM), опыт интеграции в бизнес-процессы
• Опыт работы с нейросетевыми моделями для обработки естественного языка (NLP), такими как GPT, BERT, T5 и их аналогами
• Умение анализировать и обрабатывать данные: очистка, аннотирование, балансировка
• Знание инструментов для автоматического аннотирования данных
• Опыт построения ML-пайплайнов (MLOps) и их интеграции с продуктами
Технические навыки
• ML-фреймворки: PyTorch, TensorFlow
• NLP-библиотеки: Hugging Face Transformers, SpaCy, NLTK
• MLOps: MLflow, Kubeflow, Docker, Airflow
• Обработка данных: pandas, NumPy, scikit-learn
• Развертывание и интеграция: FastAPI, Flask, gRPC
• Работа с БД: PostgreSQL, MongoDB, ElasticSearch
1. Обучение моделей для автоматизации обработки обращений
a. Анализ существующих LLM и выбор оптимальной модели
b. Создание и тестирование промтов для существующих и новых классов
c. Обработка и очистка данных, если потребуется
2. Классификация отзывов и прогнозирование
a. Разработка пайплайна на основе LLM для классификации отзывов с различных платформ
b. Построение ML-моделей для прогнозов в отчетности на основе исторических данных
3. Разработка инструментов аннотирования данных
a. Автоматизация аннотации данных
b. Улучшение моделей с учетом контекста (не обучение с нуля, а доработка пайплайнов)
4. Интеграция моделей в бизнес-процессы
a. Настройка классификации обращений и ответов
b. Разворачивание и интеграция с сервисами
5. Оценка качества генерации текста
a. Разработка и настройка метрик качества (BLEU, ROUGE, перплексия)
b. Оценка качества промтов
6. Работа с voice-ботами
a. Автоматизация обучения voice-бота с использованием LLM
b. Возможный переход на ru-BERT