course

0. Setup

1. Modelos de Transformadores

Introducción Procesamiento de Lenguaje Natural Transformadores, ¿qué pueden hacer?¿Cómo funcionan los Transformadores?Modelos de codificadores Modelos de decodificadores Modelos secuencia a secuencia Sesgos y limitaciones Resumen Quiz de final de capítulo

2. Usando Transformers 🤗

Tokenizadores Manejando Secuencias Múltiples Poniendo todo junto ¡Haz completado el uso básico!Quiz de final de capítulo

3. Ajuste (fine-tuning) de un modelo preentrenado

Introducción Procesamiento de los datos Ajuste de un modelo con la API Trainer Ajuste de un modelo con Keras Entrenamiento completo Ajuste de modelos, ¡hecho!Quiz de final de capítulo

5. La librería 🤗 Datasets

Introducción ¿Y si mi dataset no está en el Hub?Es momento de subdividir ¿Big data? 🤗 ¡Datasets al rescate!Crea tu propio dataset Búsqueda semántica con FAISS 🤗 Datasets, ¡listo!Quiz de final de capítulo

6. La librería 🤗 Tokenizers

Introducción Entrenar un nuevo tokenizador a partir de uno existente Los poderes especiales de los Tokenizadores Rápidos (Fast tokenizers)Tokenizadores Rápidos en un Pipeline de Question-Answering Normalización y pre-tokenización Tokenización por Codificación Byte-Pair Tokenización WordPiece Tokenización Unigram Construir un tokenizador, bloque por bloque Tokenizadores, listo!Quiz de final de capítulo

8. ¿Cómo solicitar ayuda?

Introducción ¿Qué hacer cuando se produce un error?

Glosario

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Quiz de Final de Capítulo

Probemos lo que aprendimos en este capítulo!

1. Cuando debería entrenar un nuevo tokenizador?

Cuando tu conjunto de datos es similar al usado por un modelo pre-entrenado existente, y tú quieres pre-entrenar un nuevo modelo. Cuando tu conjunto de datos es similar al usado por un modelo pre-entrenado existente, y quieres hacerle fine-tuning a un nuevo modelo usando este modelo pre-entrenado. Cuando tu dataset es diferente del que se utilizó en el modelo pre-entrenado existente, y quieres pre-entrenar un nuevo modelo. Cuando tu dataset es diferente del que se utilizó en el modelo pre-entrenado existente, pero quieres hacer fine-tuning a un nuevo modelo usando el modelo pre-entrenado.

2. Cuál es la ventaja de usar un generador de listas de textos comparado con una lista de listas de textos al usar train_new_from_iterator() ?

Ese es el único tipo que el método train_new_from_iterator() acepta. Evitarás cargar todo el conjunto de datos en memoria de una sóla vez. Esto permite que la librería 🤗 Tokenizers library use multiprocesamiento. El tokenizador que entrenarás generará mejores textos.

3. Cuáles son las ventajas de utilizar un tokenizador “rápido”?

Puede procesar las entradas/inputs más rápido que un tokenizador lento cuando empaquetas muchas entradas/inputs en lotes. Los tokenizadores rápidos siempre tokenizan más rápidos que sus contrapartes lentas. Puede aplicar relleno (padding) y truncamiento. Tiene algunas características adicionales que permiten mapear tokens a la porción de texto que los creó.

4. Como hace el pipeline token-classification para manejar entidades que se extienden a varios tokens?

Las entidades con las mismas etiquetas son fusionadas en una sólo entidad. Hay una etiqueta para el inicio de una entidad y una etiqueta para la continuación de una entidad. En una palabra dada, mientas el primer token tenga una etiquera de entidad, la palabra completa es considerada etiquetada con dicha entidad. Cuando un token tiene la etiqueta de una entidad dada, cualquier otro token consecutivo con la misma etiqueta será considerada parte de la misma entidad, a menos que sea etiquetada como el inicio de una nueva entidad.

5. Cómo hace el pipeline de question-answering para manejar contextos largos?

En realidad no lo hace, ya que trunca los contextos largos al largo máximo aceptado por el modelo. Separa el contexto en varias partes y promedia los resultados obtenidos. Separa el contexto en varias partes (con traslape) y encuentra el puntaje máximo para una respuesta en cada parte. Separa el contexto en varias partes (sin traslape, por eficiencia) y encuentra el puntaje máximo para una respuesta en cada parte.

6. Qué es la normalización?

Es cualquier limpieza que el tokenizador realiza en los extos en las etapas iniciales. Es una técnica de aumento de datos que involucra hacer el texto más normal removiendo palabras raras. Es el paso final de post-procesamiento donde el tokenizador agrega los tokens especiales. Es cuando los embeddings se llevan a media 0 y desviación estándar 1, restando la media y dividiendo la desviación estándar.

7. Qué es la pre-tokenización para un tokenizador de subpalabra?

Es un paso antes de la tokenización, donde se aplica aumento de datos (como enmascaramiento aleatorio (random masking)). Es el paso antes de la tokenización, donde las operaciones de limpieza deseada son aplicados al texto. Es el paso antes que el modelo de tokenización sea aplicado para separar la entrada/input en palabras. Es el paso antes de que el tokenizador se aplique para separar el input en tokens.

8. Selecciona las afirmaciones que aplican para el modelo de tokenización BPE.

BPE es un algoritmo de tokenización por subpalabras que comienza con un vocabulario pequeño y aprende reglas de fusión. BPE es un algoritmo de tokenización que comienza con un vocabulario grande y de manera progresiva remueve tokens de él. El tokenizador BPE aprende reglas de fusión fusionando el parte de tokens que es el más frecuente. Un tokenizador BPE aprende una regla de fusión fusionando el par de tokens que maximiza un puntaje que privilegia pares frecuentes con partes individuales menos frecuentes. BPE tokeniza palabras en subpalabras separándolas en caracteres y luego aplicando reglas de fusión. BPE tokeniza palabras en subpalabras encontrando la subpalabra más larga partiendo desde el inicio que está en el vocabulario, luego repite el proceso para el resto del texto.

9. Selecciona las afirmaciones que aplican para el modelo de tokenizacion WordPiece.

WordPiece es un algoritmo de tokenización de subpalabras que comienza con un vocabulario pequeño y aprende reglas de fusión. WordPiece un algoritmo de tokenización de subpalabras que comienza con un vocabulario grande y de manera progresiva remueve tokens de él. Los tokenizadores WordPiece aprenden reglas de fusión fusionando el par de tokens más frecuentes. Un tokenizador WordPiece aprende una regla de fusión fusionando el par de tokens que maximiza un puntaje que privilegia pares frecuentes con partes individuales menos frecuentes. WordPiece tokeniza palabras en subpalabras encontrando la segmentación en tokens más probable, de acuerdo al modelo. WordPiece tokeniza palabras en subpalabras encontrando la subpalabra máas larga partiendo desde el inicio que está en el vocabularoi, luego repite el proceso para el resto del texto.

10. Selecciona las afirmaciones que aplican para el modelo de tokenización Unigram.

Unigram es un algoritmo de tokenización que comienza con un vocabulario pequeño y aprende reglas de fusión. Unigram es un algoritmo de tokenización que comienza con un vocabulario grande y progresivamente remueve tokens de él. Unigram adapta su vocabulario minimizando una pérdia calculada sobre el corpus completo. Unigram adapta su vocabularo manteneiendo las subpalabras más frecuentes. Unigram tokeniza palabras en subpalabras encontrando la segmentación en tokens más probable, de acuerdo al modelo. Unigram tokeniza palabras en subpalabras separandolas en caracteres, luego aplicando caracteres, luego aplicando reglas de fusión.

Update on GitHub

←Tokenizadores, listo! Introducción→

Quiz de Final de Capítulo 1. Cuando debería entrenar un nuevo tokenizador?2. Cuál es la ventaja de usar un generador de listas de textos comparado con una lista de listas de textos al usar train_new_from_iterator() ?3. Cuáles son las ventajas de utilizar un tokenizador “rápido”?4. Como hace el pipeline token-classification para manejar entidades que se extienden a varios tokens?5. Cómo hace el pipeline de question-answering para manejar contextos largos?6. Qué es la normalización?7. Qué es la pre-tokenización para un tokenizador de subpalabra?8. Selecciona las afirmaciones que aplican para el modelo de tokenización BPE.9. Selecciona las afirmaciones que aplican para el modelo de tokenizacion WordPiece.10. Selecciona las afirmaciones que aplican para el modelo de tokenización Unigram.