Производство по чертежам Подбор аналогов Цены производителя Оригинальная продукция в короткие сроки
Наши
каналы
MAX Telegram
INNER — производство и поставка промышленных комплектующих и оборудования
INNER
Контакты
Наши каналы:

ИИ из KAIST читает по губам без звука: сначала чёткие слова, ошибка — 19,4% слов

  • 18.11.2026
  • Лента новостей
ИИ из KAIST читает по губам без звука: сначала чёткие слова, ошибка — 19,4% слов
ИИ и цифра Разработка

KAIST сообщил 14 ноября 2026 года, что его команда научила языковую модель читать по губам по видео без звука и добилась доли ошибок 19,4% слов.

Корейский институт науки и технологий KAIST показал модель, которая распознаёт речь по движению губ на видео без звука. Главная идея — менять порядок: сначала угадывать слова, которые на губах видны отчётливо, а потом по ним достраивать спорные места. На стандартном наборе видео LRS3 доля ошибочных слов составила 19,4%. По данным KAIST, это лучший результат среди методов, которые обучались только на этом наборе. Работа получила награду за выдающуюся статью на конференции EMNLP 2026.

19,4%слов с ошибкой на наборе LRS3
433 чвидео с расшифровкой в обучающем наборе
3 звукаp, b и m на губах выглядят почти одинаково
2 этапаобучения: связь губ с текстом и длина фразы

Что произошло

Работу выполнила группа профессора Ён Ман Ро (Yong Man Ro) из Школы электротехники KAIST, первый автор — постдок Чон Хун Ё (Jeong Hun Yeo). Статья называется «Diffusion Large Language Models for Visual Speech Recognition» — «Диффузионные языковые модели для распознавания речи по видео». На конференции по обработке естественного языка EMNLP 2026 она получила награду Outstanding Paper Award.

Модель обучали на наборе LRS3: 433 часа видео, где люди говорят на камеру, а к каждому ролику есть точная расшифровка. На этом наборе доля ошибочных слов — замен, пропусков и лишних слов — составила 19,4%. Издание Korea Biomedical Review уточняет: это не значит, что модель правильно понимает 80,6% разговоров. Ошибка в одном слове может изменить смысл всей фразы.

Стадия
  1. Обучение: 433 часа видео из набора LRS3
  2. Тест: 19,4% слов с ошибкой
  3. Признание: награда на EMNLP 2026
  4. Дальше: уменьшить модель для носимых устройств

Стадия: научная работа и препринт, до устройств в быту ещё следующий этап

Как это устроено

Главная трудность чтения по губам — неоднозначность. В английском звуки p, b и m на губах выглядят почти одинаково: губы сомкнулись и разомкнулись. Поэтому слова pack («упаковать») и back («назад») по видео не различить. Человек, читающий по губам, выручает себя смыслом: угадывает спорное слово по соседним.

Обычные модели распознавания идут по фразе слева направо и вынуждены решать про каждое слово, ещё не видя следующих. Модель KAIST устроена иначе. Это диффузионная языковая модель: она получает фразу с «пустыми» местами и заполняет их в несколько проходов, как кроссворд. Сначала она ставит слова с самой отчётливой артикуляцией, а потом, опираясь на них с обеих сторон, решает спорные места. В примере из релиза модель сначала уверенно узнаёт слова BAGS («сумки») и TRIP («поездка») и уже по ним понимает, что спорное слово — PACK, а не BACK.

Обучение шло в два этапа: сначала модель учили связывать движения губ с текстом, потом — предсказывать длину фразы. При расшифровке модель по длительности видео прикидывает несколько возможных длин предложения, для каждой строит вариант и выбирает самый надёжный.

«Гибкое управление порядком, в котором ИИ генерирует слова, само по себе помогает преодолеть фундаментальное ограничение распознавания речи, вызванное визуальной неоднозначностью».

Ён Ман Ро (Yong Man Ro), профессор KAIST; пресс-релиз KAIST, 14.11.2026, перевод inner.su

Контекст

Распознавать речь по губам трудно и людям, особенно в шуме. Авторы видят два главных применения: общение в шумных местах, например в цехах с громкими машинами, и помощь людям с нарушениями слуха. Следующий шаг, по словам KAIST, — уменьшить модель и её вычислительные затраты, чтобы она работала в реальном времени на носимых устройствах и роботах без подключения к интернету.

Что это значит для нас

  • Принцип «сначала уверенное, потом спорное» знаком каждому, кто разбирал неразборчивый почерк: сначала читаешь понятные слова, а остальные угадываешь по смыслу. Теперь так работает и модель.
  • Для цехов и шумных площадок чтение по губам может стать дополнением к связи, когда голос не слышен.
  • Цифра «19,4% ошибок» — это доля слов, а не фраз. В живом разговоре одна ошибка может поменять смысл, так что до надёжного «переводчика с губ» ещё работа.

Источники

  1. KAIST (EurekAlert!). KAIST develops lip-reading AI that decodes clear words first to resolve ambiguous mouth movements. 14.11.2026. https://www.eurekalert.org/news-releases/1151777
  2. Korea Biomedical Review. KAIST's AI reads lips without sound, raising hopes for hearing assistance. 15.11.2026. https://www.koreabiomed.com/news/articleView.html?idxno=33847
  3. arXiv. Diffusion Large Language Models for Visual Speech Recognition. 2026. DOI 10.48550/arXiv.2605.28456

Материал носит информационный характер и подготовлен по открытым источникам, ссылки на них приведены в тексте. Он не является публичной офертой (ст. 437 ГК РФ) и профессиональной рекомендацией.

Сведения о продукции, проектах и показателях приведены по данным компаний и организаций, указанных в источниках. ООО «Иннер Инжиниринг» их не проверяло и не гарантирует их применимость к конкретным задачам.

Упомянутые товарные знаки принадлежат их правообладателям и приведены только для информирования. Упоминание не означает партнёрства, одобрения или сертификации.