Este modelo foi publicado no HF papers em 2022-04-14 e contribuído para o Hugging Face Transformers em 2022-09-22.

ViTMSN

Visão geral

O modelo ViTMSN foi proposto em Masked Siamese Networks for Label-Efficient Learning por Mahmoud Assran, Mathilde Caron, Ishan Misra, Piotr Bojanowski, Florian Bordes, Pascal Vincent, Armand Joulin, Michael Rabbat, Nicolas Ballas. O artigo apresenta uma arquitetura de incorporação conjunta para corresponder aos protótipos dos patches mascarados aos dos patches não mascarados. Com essa configuração, seu método apresenta excelente desempenho nos regimes de baixo número de exemplos e de número extremamente baixo de exemplos.

O resumo do artigo é o seguinte:

Propomos as Redes Siamesas Mascaradas (MSN), um framework de aprendizado auto-supervisionado para aprender representações de imagens. Nossa abordagem alinha a representação de uma visão de imagem contendo patches mascarados aleatoriamente com a representação da imagem original sem máscara. Essa estratégia de pré-treinamento auto-supervisionado é particularmente escalável quando aplicada a Vision Transformers, pois apenas os patches sem máscara são processados pela rede. Como resultado, as MSNs melhoram a escalabilidade das arquiteturas de incorporação conjunta, ao mesmo tempo em que produzem representações de alto nível semântico que apresentam desempenho competitivo na classificação de imagens com poucos exemplos. Por exemplo, no ImageNet-1K, com apenas 5.000 imagens anotadas, nosso modelo MSN base atinge 72,4% de precisão top-1, e com 1% dos rótulos do ImageNet-1K, alcançamos 75,7% de precisão top-1, estabelecendo um novo estado da arte para o aprendizado auto-supervisionado neste benchmark.

Este modelo foi contribuído por sayakpaul. O código original pode ser encontrado aqui.

Dicas de uso

• MSN (masked siamese networks) é um método para pré-treinamento auto-supervisionado de Vision Transformers (ViTs). O objetivo do pré-treinamento é fazer corresponder os protótipos atribuídos às vistas não mascaradas das imagens aos protótipos das vistas mascaradas das mesmas imagens.
• Os autores disponibilizaram apenas os pesos pré-treinados do backbone (pré-treinamento no ImageNet-1k). Portanto, para usá-lo em seu próprio conjunto de dados de classificação de imagens, utilize a classe ViTMSNForImageClassification, que é inicializada a partir de ViTMSNModel. Siga este notebook para um tutorial detalhado sobre fine-tuning.
• O MSN é particularmente útil nos regimes de baixo número de exemplos (low-shot) e de número extremamente baixo de exemplos (extreme low-shot). Notavelmente, ele atinge 75,7% de precisão top-1 com apenas 1% dos rótulos do ImageNet-1K quando ajustado finamente (fine-tuned).

Usando Scaled Dot Product Attention (SDPA)

O PyTorch inclui um operador nativo de atenção de produto escalar com escala (SDPA) como parte de torch.nn.functional. Essa função abrange várias implementações que podem ser aplicadas dependendo das entradas e do hardware em uso. Consulte a documentação oficial ou a página GPU Inference para mais informações.

O SDPA é usado por padrão para torch>=2.1.1 quando uma implementação está disponível, mas você também pode definir attn_implementation="sdpa" em from_pretrained() para solicitar explicitamente o uso do SDPA.

from transformers import ViTMSNForImageClassification


model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-base", attn_implementation="sdpa", device_map="auto")
...

Para obter as melhores acelerações, recomendamos carregar o modelo em meia precisão (por exemplo, torch.float16 ou torch.bfloat16).

Em um benchmark local (A100-40GB, PyTorch 2.3.0, sistema operacional Ubuntu 22.04) com float32 e o modelo facebook/vit-msn-base, observamos as seguintes acelerações durante a inferência.

Recursos

Uma lista de recursos oficiais da Hugging Face e da comunidade (indicados por 🌎) para ajudar você a começar com ViT MSN.

• O ViTMSNForImageClassification é suportado por este notebook.
• Veja também: Guia da tarefa de classificação de imagens

Se você tiver interesse em enviar um recurso para ser incluído aqui, sinta-se à vontade para abrir um Pull Request e faremos a revisão! O recurso deve, idealmente, demonstrar algo novo, em vez de duplicar um recurso existente.

ViTMSNConfig

>>> from transformers import ViTMSNModel, ViTMSNConfig

>>> # Initializing a ViT MSN vit-msn-base style configuration
>>> configuration = ViTConfig()

>>> # Initializing a model from the vit-msn-base style configuration
>>> model = ViTMSNModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ViTMSNModel

>>> from transformers import AutoImageProcessor, ViTMSNModel
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNModel.from_pretrained("facebook/vit-msn-small")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

ViTMSNForImageClassification

>>> from transformers import AutoImageProcessor, ViTMSNForImageClassification
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> torch.manual_seed(2)
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read())).convert("RGB")

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-small")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tusker