В России впервые обучили нейросеть управлять роботом-манипулятором — без помощи программиста или кода. Специалисты из НИТУ МИСиС и Центра робототехники Сбера впервые в России успешно интегрировали искусственный интеллект в систему управления роботом. Для работы системы, отмечают исследователи, необходима языковая нейросеть, система компьютерного зрения и робот-манипулятор, обладающий лишь двумя встроенными навыками — «взять объект» и «положить объект». Для начала в эксперименте робототехники решили использовать LLaMA-7B — локальную языковую модель с открытым исходным кодом. Проведенные учеными опыты показали, что нейросеть способна превращать словесные описания практических задач и данные компьютерного зрения в набор команд, которым может следовать робот. По мнению исследователей, им удалось показать, что языковые модели способны решать задачи и отдавать команды для роботам-манипуляторам без участия программиста и написания кода. Разработка в будущем позволит снизить стоимость эксплуатации роботов в таких производствах, где требуется частая смена задач или их корректировка. Интеграция больших языковых моделей и роботов пригодится там, где человеку не хватает знаний или скорости реакции, либо существуют опасные условия.