Facebook научился описывать картинки для незрячих пользователей

Изображения (фото, графика) преобладают в интернете. И, если системы, распознающие текст для невидящих людей, существуют, то с изображениями серьезные трудности. BBC сообщает о том, что Facebook запускает систему, которая прочитывает фотографии и рассказывает людям с ограничениями по зрению о том, что изображено на фото.

Ненастоящий интеллект, внедренный на серверы Facebook, описывает загруженные в соцсеть картинки в форме, понятной лишь компьютерным системам для незрячих. На этот момент искусственный интеллект распознает возле 80 объектов и видов деятельности. Что важно, система самостоятельно обучается — чем больше изображений она сканирует, тем лучше описание.

Итак, система распознает машины, лодки, мотоциклы, поезда, дорогу, велосипед, автобус, улицу, горы, деревья, снег, небосвод, океан, воду, пляж, волну, солнце, траву. Из видов спорта это теннис, плавание, соревнования на спортивной арене, баскетбол, бейсбол, гольф. Еда — мороженое, суши, пицца, десерты, кофе. Также система знает, что такое ребята, очки, борода, улыбка, украшения, обувь и селфи. Изображения описываются простыми предложениями.

Образец: «На изображении два человека, и они улыбаются». Уместно, предусмотрена возможность самостоятельного добавления описания. Разработал систему бывший инженер Facebook Мэтт Кинг, какой сам потерял зрение из-за пигментного ретинита.