Искусство, доступное каждому — без звука и без барьеров

Специализированный учебно-научный центр ФГАОУ ВО «Уральский федеральный университет имени первого Президента России Б.Н. Ельцина», Екатеринбург.

Научный руководитель: Хайрутдинова Алина Абзаловна.

Интерес к искусству растёт, но условий для людей с нарушением слуха по-прежнему мало. Музеи и галереи чаще всего ориентированы на аудиогиды и экскурсии, а для глухих и слабослышащих посетителей этот формат недоступен.

Наш проект объединяет доступ к информации с возможностью самостоятельно изучать живопись. Сайт делает знакомство с искусством доступнее не только для глухих и слабослышащих пользователей, но и для широкой аудитории.

Разработать веб-сайт с ИИ-распознаванием картин и теоретическим материалом по истории искусства для глухих и слабослышащих, а также для людей, интересующихся культурой.

1. Изучить особенности восприятия информации глухими и слабослышащими.
2. Провести анкетирование.
3. Разработать структуру и дизайн веб-сайта.
4. Обучить ИИ-модель на подходящих данных.
5. Загрузить теоретический материал на сайт.
6. Провести тестирование сайта с целевой аудиторией.
7. Проанализировать полученные результаты и определить точки роста.

• Анализ литературы — для изучения истории искусства.
• Анализ аналогов — для сравнения приложений, сайтов и сервисов распознавания изображений.
• Проектирование и прототипирование — для разработки структуры, интерфейса и основных функций сайта.
• Сравнительный анализ — для оценки преимуществ и ограничений решения по сравнению с существующими ресурсами.

Мы создали веб-сайт для распознавания произведений искусства и изучения истории живописи и определили целевую аудиторию.

Сформировали структуру сайта с разделами о картинах, художниках и художественных направлениях. Подготовили функцию ИИ-распознавания: пользователь загружает фотографию картины, система помогает определить произведение и предлагает справочную информацию о нём.

По итогам работы сформулировали направления дальнейшего развития проекта.

Cleveland Museum of Art (Кливлендский музей искусств). Поиск и подробные записи через Open Access API (откроется в новой вкладке). Изображения и тексты работ из открытого доступа публикуются под CC0.

Распознавание по фото. Нейросеть DINOv2 сравнивает снимок с изображениями 3 936 картин из коллекции Кливлендского музея искусств и возвращает самые похожие. Фото обрабатывается на нашем сервере только для поиска и не сохраняется.

Wikipedia. Краткие справки о стилях, периодах, жанрах, техниках, авторах и самих картинах через Wikipedia REST API (откроется в новой вкладке). Приоритет — русская Wikipedia, при отсутствии статьи — английская. Статью о картине мы ищем по ссылке на Wikidata из музейной записи, а если её нет — по названию и автору.

Яндекс Переводчик. Переводит на русский названия, техники, музейные описания и справки из английской Wikipedia. Машинный перевод всегда помечен, оригинал доступен по ссылке.

Музеи — главный источник фактов о произведении: автор, дата, техника, размеры, стиль, права. Wikipedia используется только как справочный источник для объяснения контекста и никогда не заменяет музейную атрибуцию.

Стиль картины не определяется по изображению и не «угадывается». Если музей не указал стиль или период, мы честно сообщаем об этом и показываем контекст об авторе, технике или культуре с пометкой, на каких музейных полях он основан.

Музейные записи могут обновляться: уточняются атрибуции, даты, описания. Доступность изображений, тексты и лицензии определяют сами музеи — мы показываем только то, что указано в их открытых данных.

Тексты Wikipedia доступны по лицензии Creative Commons Attribution-ShareAlike 4.0 (откроется в новой вкладке). Рядом с каждой справкой указаны название статьи, язык и ссылка на неё. Подробнее — условия использования Wikimedia (откроется в новой вкладке).

Мы показываем только краткое резюме статьи и не копируем её полностью. Если русской статьи нет, текст английской переводится автоматически — с пометкой об этом.

Вся информация на сайте — текстовая. Для изучения картин не нужны аудиогиды, видео со звуком или голосовые подсказки, поэтому сайтом полноценно могут пользоваться глухие и слабослышащие люди.

Интерфейс поддерживает управление с клавиатуры, экранные дикторы (ARIA-разметка поиска и диалогов), светлую и тёмную темы, достаточную контрастность и настройку «уменьшить движение» в системе.

Регистрация не нужна. Избранное хранится локально в вашем браузере (localStorage) и никуда не отправляется. Запросы к музеям и Wikipedia выполняет наш сервер — ваш браузер не обращается к Wikipedia напрямую. Изображения загружаются с серверов музеев.