Multimodality
Концепция
Основные технические характеристики
One model, many senses: text, image, audio, video in a single network.
Перед вами запись-пояснение к понятию: что этот термин означает простыми словами и какие записи он объединяет.
Modern frontier models are natively multimodal — trained on interleaved text, images and audio so the same weights can watch, listen, read and respond. GPT-4o's real-time voice and Gemini's video understanding mark the shift; robotics VLAs extend it to action. Each added modality multiplies training-data and compute appetite.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.