Ученые Массачусетского Института Технологий представили новый датасет ChartNet, предназначенный для обучения ИИ пониманию графиков и таблиц, передает сайт ozgeris.info. По словам создателей, современные ИИ системы испытывают трудности в работе с графиками. Для подобной работы требуется одновременно понимать визуальную информацию, текст и числа. Из-за этого возникают ошибки. ChartNet состоит из миллиона синтетических сгенерированных графиков и, помимо изображения, включает в себя такие элементы, как исходный код графика, текстовое описание, а также вопросы и правильные ответы по этому графику. Таким образом, модель изучает связь между визуалом и содержанием графиков.
Для того чтобы создать данные, была создана двухэтапная система генерации. Сначала графики были переведены в код, а затем внутри кода множество раз менялись разные факторы, такие как цвет, значения данных, тема и так далее. На основе этого было создано множество новых вариантов графиков. Исследователи уже обучили на базе ChartNet модель Granite Vision от IBM. Результаты показали улучшение в работе с данными, такими как извлечение, пересказ и реконструкция.
Исследователи считают, что качество обучаемых ИИ данных в дальнейшем может стать даже важнее размера модели. После обучения ChartNet маленькие модели значительно улучшили результаты и в определенных задачах даже обошли более крупные модели.
