Tout d'abord, le modèle, qui traite le texte et renvoie des prédictions brutes. Puis le tokenizer donne un sens à ces prédictions et les reconvertit en texte si nécessaire. Tout d'abord, le tokenizer, qui traite le texte et renvoie des identifiants. Puis le modèle traite ces identifiants et produit une prédiction, qui peut être du texte. Le tokenizer traite le texte et renvoie des identifiants. Le modèle traite ces identifiants et produit une prédiction. Le tokenizer peut alors être utilisé à nouveau pour reconvertir ces prédictions en texte.

2. Combien de dimensions le tenseur produit par le <i> transformer </i> de base possède-t-il et quelles sont-elles ?

2: la longueur de la séquence et la taille du batch 2: la longueur de la séquence et la taille cachée 3: la longueur de la séquence, la taille du batch et la taille cachée.

3. Lequel des éléments suivants est un exemple de tokenisation en sous-mots ?

WordPiece La tokenization basée sur les caractères Découpage sur les espaces et la ponctuation BPE Unigram Aucune des propositions ci-dessus

4. Qu’est-ce qu’une tête de modèle ?

Un composant du transformer de base qui redirige les tenseurs vers leurs couches correctes. Également connu sous le nom de mécanisme d'auto-attention, il adapte la représentation d'un token en fonction des autres tokens de la séquence. Un composant supplémentaire, généralement constitué d'une ou plusieurs couches, pour convertir les prédictions du transformer en une sortie spécifique à la tâche.

5. Qu’est-ce qu’un AutoModel?

Un modèle qui s'entraîne automatiquement sur vos données Un objet qui renvoie la bonne architecture basée sur le checkpoint . Un modèle qui détecte automatiquement la langue utilisée pour ses entrées afin de charger les bonnes pondérations.

6. Quelles sont les techniques à connaître lors de la mise en batch de séquences de longueurs différentes ?

La troncature Retourner les tenseurs Le padding Les masques d'attention

7. Quel est l’intérêt d’appliquer une fonction SoftMax aux logits produits par un modèle de classification de séquences ?

Elle adoucit les logits pour qu'ils soient plus fiables. Elle applique une limite inférieure et supérieure pour qu'ils soient compréhensibles. La somme totale des sorties est alors égale à 1, ce qui permet une interprétation probabiliste.

8. Autour de quelle méthode s’articule la majeure partie de l’API <i> tokenizer </i> ?

encode, car elle peut encoder du texte en identifiants et des identifiants en prédictions. Appeler directement l'objet tokenizer pad tokenize

9. Que contient la variable result dans cet exemple de code ?

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
result = tokenizer.tokenize("Hello!")

Une liste de chaînes de caractères, chaque chaîne étant un token. Une liste d'identifiants Une chaîne contenant tous les tokens

10. Y a-t-il un problème avec le code suivant ?

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = AutoModel.from_pretrained("gpt2")

encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)

Non, ça semble correct. Le tokenizer et le modèle doivent toujours provenir du même checkpoint. C'est une bonne pratique de faire du padding et de troncage avec le tokenizer car chaque entrée est un batch.

Update on GitHub

←Utilisation de base terminée ! Introduction→

Quiz de fin de chapitre 1. Quel est l’ordre du pipeline de modélisation du langage ?2. Combien de dimensions le tenseur produit par le transformer de base possède-t-il et quelles sont-elles ?3. Lequel des éléments suivants est un exemple de tokenisation en sous-mots ?4. Qu’est-ce qu’une tête de modèle ?5. Qu’est-ce qu’un AutoModel?5. What is an AutoModel?6. Quelles sont les techniques à connaître lors de la mise en batch de séquences de longueurs différentes ?7. Quel est l’intérêt d’appliquer une fonction SoftMax aux logits produits par un modèle de classification de séquences ?8. Autour de quelle méthode s’articule la majeure partie de l’API tokenizer ?9. Que contient la variable result dans cet exemple de code ?10. Y a-t-il un problème avec le code suivant ?10. Y a-t-il un problème avec le code suivant ?