Эта модель была опубликована в HF papers 14.04.2022 и добавлена в Hugging Face Transformers 22.09.2022.

ViTMSN

Обзор

Модель ViTMSN была предложена в статье Masked Siamese Networks for Label-Efficient Learning авторами Mahmoud Assran, Mathilde Caron, Ishan Misra, Piotr Bojanowski, Florian Bordes, Pascal Vincent, Armand Joulin, Michael Rabbat, Nicolas Ballas. В статье представлена архитектура совместного встраивания, сопоставляющая прототипы замаскированных патчей с прототипами незамаскированных. Благодаря такому подходу их метод обеспечивает превосходные результаты в режимах low-shot и extreme low-shot.

Аннотация из статьи следующая:

Мы предлагаем Masked Siamese Networks (MSN) — фреймворк самообучения для получения представлений изображений. Наш подход сопоставляет представление вида изображения, содержащего случайно замаскированные патчи, с представлением исходного изображения без маски. Эта стратегия самообучения особенно масштабируема при применении к Vision Transformers, поскольку сетью обрабатываются только незамаскированные патчи. В результате MSN повышают масштабируемость архитектур совместного встраивания, одновременно формируя представления высокого семантического уровня, которые демонстрируют конкурентоспособные результаты в задаче классификации изображений с малым количеством примеров. Например, на ImageNet-1K, используя всего 5 000 размеченных изображений, наша базовая модель MSN достигает точности top-1 72,4%, а при использовании 1% меток ImageNet-1K мы получаем точность top-1 75,7%, что устанавливает новый рекорд для самообучения на этом бенчмарке.

Эта модель была предоставлена пользователем sayakpaul. Исходный код можно найти здесь.

Советы по использованию

• MSN (masked siamese networks) — это метод самообучаемой предварительной настройки Vision Transformers (ViTs). Целью предварительной настройки является сопоставление прототипов, назначенных для немаскированных представлений изображений, с прототипами маскированных представлений тех же изображений.
• Авторы опубликовали только предобученные веса базовой модели (предобучение на ImageNet-1k). Поэтому, чтобы использовать её на собственном наборе данных для классификации изображений, используйте класс ViTMSNForImageClassification, который инициализируется из ViTMSNModel. Подробное руководство по дообучению приведено в этом ноутбуке.
• MSN особенно полезен в режимах low-shot и extreme low-shot. Примечательно, что при дообучении он достигает точности top-1 75,7% с использованием лишь 1% меток ImageNet-1K.

Использование масштабированного внимания на основе скалярного произведения (SDPA)

PyTorch включает в себя нативный оператор масштабированного внимания по скалярному произведению (SDPA) в составе torch.nn.functional. Эта функция объединяет несколько реализаций, выбор которых зависит от входных данных и используемого оборудования. Подробнее см. в официальной документации или на странице GPU Inference.

SDPA используется по умолчанию для torch>=2.1.1, когда доступна соответствующая реализация, но вы также можете установить attn_implementation="sdpa" в from_pretrained(), чтобы явно запросить использование SDPA.

from transformers import ViTMSNForImageClassification


model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-base", attn_implementation="sdpa", device_map="auto")
...

Для достижения максимального ускорения мы рекомендуем загружать модель в половинной точности (например, torch.float16 или torch.bfloat16).

На локальном бенчмарке (A100-40GB, PyTorch 2.3.0, ОС Ubuntu 22.04) с float32 и моделью facebook/vit-msn-base мы наблюдали следующие ускорения при инференсе.

Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены значком 🌎), которые помогут вам начать работу с ViT MSN.

• ViTMSNForImageClassification поддерживается в этом ноутбуке.
• См. также: Руководство по задаче классификации изображений

Если вы хотите предложить ресурс для включения в этот раздел, пожалуйста, создайте Pull Request, и мы его рассмотрим! В идеале ресурс должен демонстрировать что-то новое, а не дублировать уже имеющийся.

ViTMSNConfig

>>> from transformers import ViTMSNModel, ViTMSNConfig

>>> # Initializing a ViT MSN vit-msn-base style configuration
>>> configuration = ViTConfig()

>>> # Initializing a model from the vit-msn-base style configuration
>>> model = ViTMSNModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ViTMSNModel

>>> from transformers import AutoImageProcessor, ViTMSNModel
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNModel.from_pretrained("facebook/vit-msn-small")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

ViTMSNForImageClassification

>>> from transformers import AutoImageProcessor, ViTMSNForImageClassification
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> torch.manual_seed(2)
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read())).convert("RGB")

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-small")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tusker