Ce modèle a été publié dans HF papers le 2020-03-30 et ajouté à Hugging Face Transformers le 2022-04-07.

RegNet

Aperçu

Le modèle RegNet a été proposé dans Designing Network Design Spaces par Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaiming He, Piotr Dollár.

Les auteurs conçoivent des espaces de recherche pour effectuer la recherche d'architecture neuronale (NAS). Ils commencent d'abord par un espace de recherche de haute dimension et réduisent itérativement cet espace en appliquant empiriquement des contraintes basées sur les modèles les plus performants échantillonnés par l'espace de recherche actuel.

L'abstract de l'article est le suivant :

Dans ce travail, nous présentons un nouveau paradigme de conception de réseaux. Notre objectif est de contribuer à faire progresser la compréhension de la conception de réseaux et de découvrir des principes de conception qui se généralisent à travers différents contextes. Plutôt que de nous concentrer sur la conception d’instances individuelles de réseaux, nous concevons des espaces de conception de réseaux qui paramètrent des populations de réseaux. Le processus global est analogue à la conception manuelle classique de réseaux, mais élevé au niveau de l’espace de conception. En utilisant notre méthodologie, nous explorons l’aspect structurel de la conception de réseaux et aboutissons à un espace de conception de faible dimension composé de réseaux simples et régulaires que nous appelons RegNet. L’idée centrale de la paramétrisation RegNet est étonnamment simple : les largeurs et les profondeurs des bons réseaux peuvent être expliquées par une fonction linéaire quantifiée. Nous analysons l’espace de conception RegNet et aboutissons à des résultats intéressants qui ne correspondent pas à la pratique actuelle de la conception de réseaux. L’espace de conception RegNet fournit des réseaux simples et rapides qui fonctionnent bien dans une large gamme de régimes de flops. Dans des conditions d’entraînement et des flops comparables, les modèles RegNet surpassent les modèles EfficientNet populaires tout en étant jusqu’à 5 fois plus rapides sur GPU.

Ce modèle a été contribué par Francesco. Le code d’origine est disponible ici.

Le modèle de 10 milliards de paramètres issu de Self-supervised Pretraining of Visual Features in the Wild, entraîné sur un milliard d’images Instagram, est disponible sur le hub

Ressources

Une liste de ressources officielles Hugging Face et de la communauté (indiquées par 🌎) pour vous aider à démarrer avec RegNet.

• RegNetForImageClassification est pris en charge par ce notebook.
• Voir aussi : Guide de la tâche de classification d'images

Si vous souhaitez soumettre une ressource pour qu'elle soit incluse ici, n'hésitez pas à ouvrir une Pull Request et nous la examinerons ! La ressource devrait idéalement démontrer quelque chose de nouveau plutôt que de dupliquer une ressource existante.

RegNetConfig

>>> from transformers import RegNetConfig, RegNetModel

>>> # Initializing a RegNet regnet-y-40 style configuration
>>> configuration = RegNetConfig()
>>> # Initializing a model from the regnet-y-40 style configuration
>>> model = RegNetModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

RegNetModel

RegNetForImageClassification

>>> from transformers import AutoImageProcessor, RegNetForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/regnet-y-040")
>>> model = RegNetForImageClassification.from_pretrained("facebook/regnet-y-040")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...