Transformers documentation
NLLB-MOE
Este modelo se publicó en HF papers el 2022-07-11 y se contribuyó a Hugging Face Transformers el 2023-03-27.
NLLB-MOE
Resumen
El modelo NLLB se presentó en No Language Left Behind: Scaling Human-Centered Machine Translation de Marta R. Costa-jussà, James Cross, Onur Çelebi, Maha Elbayad, Kenneth Heafield, Kevin Heffernan, Elahe Kalbassi, Janice Lam, Daniel Licht, Jean Maillard, Anna Sun, Skyler Wang, Guillaume Wenzek, Al Youngblood, Bapi Akula, Loic Barrault, Gabriel Mejia Gonzalez, Prangthip Hansanti, John Hoffman, Semarley Jarrett, Kaushik Ram Sadagopan, Dirk Rowe, Shannon Spruit, Chau Tran, Pierre Andrews, Necip Fazil Ayan, Shruti Bhosale, Sergey Edunov, Angela Fan, Cynthia Gao, Vedanuj Goswami, Francisco Guzmán, Philipp Koehn, Alexandre Mourachko, Christophe Ropers, Safiyyah Saleem, Holger Schwenk y Jeff Wang.
El resumen del artículo es el siguiente:
Impulsado por el objetivo de erradicar las barreras lingüísticas a escala global, la traducción automática se ha consolidado como un foco clave de la investigación en inteligencia artificial hoy en día. Sin embargo, estos esfuerzos se han centrado en un pequeño subconjunto de idiomas, dejando atrás a la gran mayoría de los idiomas de bajos recursos. ¿Qué se necesita para romper la barrera de los 200 idiomas garantizando resultados seguros y de alta calidad, todo ello teniendo en cuenta las consideraciones éticas? En No Language Left Behind, asumimos este desafío primero contextualizando la necesidad de soporte para la traducción de idiomas de bajos recursos mediante entrevistas exploratorias con hablantes nativos. Luego, creamos conjuntos de datos y modelos dirigidos a reducir la brecha de rendimiento entre los idiomas de bajos y altos recursos. Más específicamente, desarrollamos un modelo de cómputo condicional basado en Sparsely Gated Mixture of Experts que se entrena con datos obtenidos mediante técnicas novedosas y efectivas de minería de datos adaptadas para idiomas de bajos recursos. Proponemos múltiples mejoras arquitectónicas y de entrenamiento para contrarrestar el sobreajuste durante el entrenamiento en miles de tareas. De manera crítica, evaluamos el rendimiento de más de 40.000 direcciones de traducción diferentes utilizando un benchmark traducido por humanos, Flores-200, y combinamos la evaluación humana con un benchmark de toxicidad novedoso que cubre todos los idiomas de Flores-200 para evaluar la seguridad de la traducción. Nuestro modelo logra una mejora del 44% en BLEU en relación con el estado del arte anterior, sentando una base importante hacia la realización de un sistema de traducción universal.
Este modelo fue aportado por Arthur Zucker. El código original se puede encontrar aquí.
Consejos de uso
- M2M100ForConditionalGeneration es el modelo base tanto para NLLB como para NLLB MoE
- NLLB-MoE es muy similar al modelo NLLB, pero su capa de avance hacia adelante se basa en la implementación de SwitchTransformers.
- El tokenizador es el mismo que el de los modelos NLLB.
Diferencias de implementación con SwitchTransformers
La mayor diferencia es la forma en que se enrutan los tokens. NLLB-MoE utiliza una top-2-gate, lo que significa que para cada entrada solo se seleccionan los dos expertos con las probabilidades predichas más altas por la red de enrutamiento, y se ignoran los expertos restantes. En SwitchTransformers, solo se calculan las probabilidades top-1, lo que significa que los tokens tienen menos probabilidad de ser reenviados. Además, si un token no se enruta a ningún experto, SwitchTransformers sigue añadiendo sus estados ocultos sin modificar (algo así como una conexión residual), mientras que en el mecanismo de enrutamiento top-2 de NLLB se enmascaran.
Generación con NLLB-MoE
Los puntos de control disponibles requieren aproximadamente 350 GB de almacenamiento. Asegúrate de usar accelerate si no tienes suficiente RAM en tu máquina.
Al generar el texto objetivo, establece forced_bos_token_id en el id del idioma objetivo. El siguiente ejemplo muestra cómo traducir del inglés al francés usando el modelo facebook/nllb-200-distilled-600M.
Tenga en cuenta que estamos usando el código BCP-47 para el francés fra_Latn. Consulte aquí la lista de todos los BCP-47 del conjunto de datos Flores 200.
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-moe-54b")
model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-moe-54b", device_map="auto")
article = "Previously, Ring's CEO, Jamie Siminoff, remarked the company started when his doorbell wasn't audible from his shop in his garage."
inputs = tokenizer(article, return_tensors="pt").to(model.device)
translated_tokens = model.generate(
**inputs, forced_bos_token_id=tokenizer.lang_code_to_id["fra_Latn"], max_length=50
)
tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0]
"Auparavant, le PDG de Ring, Jamie Siminoff, a fait remarquer que la société avait commencé lorsque sa sonnette n'était pas audible depuis son magasin dans son garage."Generación desde cualquier otro idioma que no sea el inglés
El inglés (eng_Latn) se establece como el idioma predeterminado de origen para la traducción. Para especificar que desea traducir desde un idioma diferente,
debe indicar el código BCP-47 en el argumento de palabra clave src_lang de la inicialización del tokenizador.
Vea el siguiente ejemplo de una traducción del rumano al alemán:
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-moe-54b", src_lang="ron_Latn")
model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-moe-54b", device_map="auto")
article = "Şeful ONU spune că nu există o soluţie militară în Siria"
inputs = tokenizer(article, return_tensors="pt").to(model.device)
translated_tokens = model.generate(
**inputs, forced_bos_token_id=tokenizer.lang_code_to_id["deu_Latn"], max_length=30
)
tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0]Recursos
NllbMoeConfig
clase transformers.NllbMoeConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Truevocab_size: int = 128112max_position_embeddings: int = 1024encoder_layers: int = 12encoder_ffn_dim: int = 4096encoder_attention_heads: int = 16decoder_layers: int = 12decoder_ffn_dim: int = 4096decoder_attention_heads: int = 16encoder_layerdrop: float | int = 0.05decoder_layerdrop: float | int = 0.05use_cache: bool = Trueactivation_function: str = 'relu'd_model: int = 1024dropout: float | int = 0.1attention_dropout: float | int = 0.1activation_dropout: float | int = 0.0init_std: float = 0.02decoder_start_token_id: int | None = 2scale_embedding: bool = Truerouter_bias: bool = Falserouter_dtype: typing.Literal['float32', 'float16', 'bfloat16'] = 'float32'router_ignore_padding_tokens: bool = Falsenum_experts: int = 128expert_capacity: int = 64encoder_sparse_step: int = 4decoder_sparse_step: int = 4router_z_loss_coef: float = 0.001router_aux_loss_coef: float = 0.001second_expert_policy: str = 'all'normalize_router_prob_before_dropping: bool = Falsebatch_prioritized_routing: bool = Falsemoe_eval_capacity_token_fraction: float = 1.0moe_token_dropout: float | int = 0.2pad_token_id: int | None = 1bos_token_id: int | None = 0eos_token_id: int | list[int] | None = 2tie_word_embeddings: bool = Trueoutput_router_logits: bool = False )
Parámetros
- is_encoder_decoder (
bool, opcional, valor predeterminadoTrue) — Indica si el modelo se utiliza como codificador/decodificador o no. - vocab_size (
int, opcional, valor predeterminado128112) — Tamaño del vocabulario del modelo. Define el número de tokens diferentes que pueden representarse medianteinput_ids. - max_position_embeddings (
int, opcional, valor predeterminado1024) — La longitud máxima de secuencia con la que se podría utilizar este modelo. - encoder_layers (
int, opcional, valor predeterminado12) — Número de capas ocultas en el codificador del Transformer. Usará el mismo valor quenum_layerssi no se establece. - encoder_ffn_dim (
int, opcional, valor predeterminado4096) — Dimensionalidad de la capa “intermedia” (a menudo denominada feed-forward) en el codificador. - encoder_attention_heads (
int, opcional, valor predeterminado16) — Número de cabezas de atención para cada capa de atención en el codificador Transformer. - decoder_layers (
int, opcional, valor predeterminado12) — Número de capas ocultas en el decodificador del Transformer. Si no se establece, se usará el mismo valor quenum_layers. - decoder_ffn_dim (
int, opcional, valor predeterminado4096) — Dimensionalidad de la capa “intermedia” (a menudo denominada feed-forward) en el decodificador. - decoder_attention_heads (
int, opcional, valor predeterminado16) — Número de cabezas de atención para cada capa de atención en el decodificador del Transformer. - encoder_layerdrop (
Union[float, int], opcional, valor predeterminado0.05) — La probabilidad de LayerDrop para el codificador. Consulte el [artículo de LayerDrop](ver https://huggingface.co/papers/1909.11556) para más detalles. - decoder_layerdrop (
Union[float, int], opcional, valor predeterminado0.05) — La probabilidad de LayerDrop para el decodificador. Consulte el [artículo de LayerDrop](ver https://huggingface.co/papers/1909.11556) para más detalles. - use_cache (
bool, opcional, valor predeterminadoTrue) — Indica si el modelo debe devolver las últimas claves/valores de atención (no utilizado por todos los modelos). Solo es relevante siconfig.is_decoder=Trueo cuando el modelo es un modelo generativo solo de decodificador. - activation_function (
str, opcional, valor predeterminadorelu) — La función de activación no lineal (función o cadena) en el decodificador. Por ejemplo,"gelu","relu","silu", etc. - d_model (
int, opcional, valor predeterminado1024) — Tamaño de las capas del codificador y de la capa pooler. - dropout (
Union[float, int], opcional, valor predeterminado0.1) — La proporción para todas las capas de dropout. - attention_dropout (
Union[float, int], opcional, valor predeterminado0.1) — La proporción de dropout para las probabilidades de atención. - activation_dropout (
Union[float, int], opcional, valor predeterminado0.0) — La proporción de dropout para las activaciones dentro de la capa totalmente conectada. - init_std (
float, opcional, valor predeterminado0.02) — La desviación estándar del truncated_normal_initializer para inicializar todas las matrices de pesos. - decoder_start_token_id (
int, opcional, valor predeterminado2) — Si un modelo encoder-decoder inicia la decodificación con un token diferente debos, el id de ese token. - scale_embedding (
bool, opcional, valor predeterminadoTrue) — Si se deben escalar los embeddings dividiendo por sqrt(d_model). - router_bias (
bool, opcional, valor predeterminadoFalse) — Indica si el clasificador del router debe tener un sesgo. - router_dtype (
str, opcional, por defecto"float32") — Eldtypeutilizado para los routers. Es preferible mantener eldtypeen"float32", tal como se especifica en la discusión sobre precisión selectiva en el artículo. - router_ignore_padding_tokens (
bool, opcional, valor predeterminadoFalse) — Si se deben ignorar los tokens de relleno al enrutar. Si esFalse, los tokens de relleno no se enrutan a ningún experto. - num_experts (
int, opcional, valor predeterminado128) — Número de expertos enrutados en las capas MoE. - expert_capacity (
int, opcional, valor predeterminado 64) — Número de tokens que se pueden almacenar en cada experto. - encoder_sparse_step (
int, opcional, valor predeterminado 4) — Frecuencia de las capas dispersas en el codificador. 4 significa que una de cada 4 capas será dispersa. - decoder_sparse_step (
int, opcional, valor predeterminado 4) — Frecuencia de las capas dispersas en el decodificador. 4 significa que una de cada 4 capas será dispersa. - router_z_loss_coef (
float, opcional, valor predeterminado0.001) — Coeficiente para la pérdida z del router, que penaliza los logits grandes del router para mejorar la estabilidad del entrenamiento. - router_aux_loss_coef (
float, opcional, valor predeterminado0.001) — Coeficiente de la pérdida auxiliar de equilibrado de carga. Se utiliza para penalizar el enrutamiento desigual de expertos en modelos MoE. - second_expert_policy (
str, opcional, valor predeterminado"all") — La política utilizada para muestrear la probabilidad de que cada token sea asignado a un segundo experto. - normalize_router_prob_before_dropping (
bool, opcional, valor predeterminadoTrue) — Indica si se deben normalizar las probabilidades del router antes de aplicar una máscara basada en la capacidad de los expertos (capacity dropping). - batch_prioritized_routing (
bool, opcional, valor predeterminadoTrue) — Indica si se ordenan los tokens según sus probabilidades de enrutamiento antes de descartar capacidad. Esto significa que los tokens con las probabilidades más altas se enrutarán antes que otros tokens que podrían estar más adelante en la secuencia. - moe_eval_capacity_token_fraction (
float, opcional, valor predeterminado 1.0) — Fracción de tokens como capacidad durante la validación; si se establece en un valor negativo, se utiliza el mismo que en el entrenamiento. Debe estar en el rango: (0.0, 1.0]. - moe_token_dropout (
float, opcional, valor predeterminado 0.2) — Tasa de enmascaramiento para el enmascaramiento de la salida de expertos de MoE (EOM), que se implementa mediante un Dropout2d en las salidas de los expertos. - pad_token_id (
int, opcional, valor predeterminado1) — Id del token utilizado para el relleno en el vocabulario. - bos_token_id (
int, opcional, valor predeterminado0) — Id del token utilizado para el inicio de la secuencia en el vocabulario. - eos_token_id (
Union[int, list[int]], opcional, valor predeterminado2) — Identificador de token utilizado para el fin de secuencia en el vocabulario. - tie_word_embeddings (
bool, opcional, valor predeterminadoTrue) — Si se deben vincular las matrices de pesos de embeddings según el mapeotied_weights_keysdel modelo. - output_router_logits (
bool, opcional, valor predeterminadoFalse) — Indica si el modelo debe devolver los logits del router. Habilitar esta opción también permite que el modelo devuelva la pérdida auxiliar, que incluye la pérdida de equilibrio de carga y la pérdida z del router.
Esta es la clase de configuración para almacenar la configuración de un modelo Nllb Moe. Se utiliza para instanciar un modelo Nllb Moe según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de facebook/nllb-moe-54b
Los objetos de configuración heredan de PreTrainedConfig y se pueden usar para controlar las salidas del modelo. Lea la documentación de PreTrainedConfig para obtener más información.
Ejemplo:
>>> from transformers import NllbMoeModel, NllbMoeConfig
>>> # Initializing a NllbMoe facebook/nllb-moe-54b style configuration
>>> configuration = NllbMoeConfig()
>>> # Initializing a model from the facebook/nllb-moe-54b style configuration
>>> model = NllbMoeModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configNllbMoeTop2Router
El router que utiliza tokens elige la asignación de los dos mejores expertos.
Este router utiliza el mismo mecanismo que el de NLLB-MoE en el repositorio fairseq. Los elementos se ordenan por router_probs y luego se enrutan a su experto elegido hasta que se alcanza el expert_capacity del experto. No hay garantía de que cada token sea procesado por un experto, ni de que cada experto reciba al menos un token.
Los pesos de combinación del router también se devuelven para asegurarse de que los estados que no se actualicen se enmascaren.
route_tokens
< source >( router_logits: Tensorinput_dtype: dtype = torch.float32padding_mask: typing.Optional[torch.LongTensor] = None )
Calcula el dispatch_mask y los dispatch_weights para cada experto. Las máscaras se adaptan a la capacidad del experto.
forward
< source >( hidden_states: Tensorpadding_mask: typing.Optional[torch.LongTensor] = None ) → top_1_mask (torch.Tensor of shape (batch_size, sequence_length))
Parámetros
- hidden_states (
torch.Tensor) — (batch_size, sequence_length, hidden_dim) a partir de las cuales se calculan las probabilidades del router.
Devuelve
top_1_mask (torch.Tensor de forma (batch_size, sequence_length))
Tensor de índice de forma [batch_size, sequence_length] que corresponde al experto seleccionado para cada token
utilizando las probabilidades top1 del router.
router_probabilities (torch.Tensor de forma (batch_size, sequence_length, nump_experts)):
Tensor de forma (batch_size, sequence_length, num_experts) que corresponde a las probabilidades para cada
token y experto. Se utiliza para enrutar tokens a expertos.
router_logits (torch.Tensor de forma (batch_size, sequence_length))):
Tensor de logits de forma (batch_size, sequence_length, num_experts) que corresponde a los logits crudos del router.
Esto se utiliza más adelante para calcular la pérdida z del router.
Los estados ocultos se reconfiguran para simplificar el cálculo de las probabilidades del router (combinando los pesos de cada experto).
NllbMoeSparseMLP
Implementación del módulo MLP disperso de NLLB-MoE.
NllbMoeModel
clase transformers.NllbMoeModel
< source >( config: NllbMoeConfig )
Parámetros
- config (NllbMoeConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.
El modelo Nllb Moe básico que genera estados ocultos sin ninguna cabeza específica en la parte superior.
Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).
Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: tuple[tuple[torch.FloatTensor]] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonedecoder_inputs_embeds: typing.Optional[torch.FloatTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Seq2SeqMoEModelOutput or tuple(torch.FloatTensor)
Parámetros
- input_ids (
torch.LongTensorde forma(batch_size, sequence_length), opcional) — Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada.Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.
- attention_mask (
torch.Tensorde forma(batch_size, sequence_length), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de máscara seleccionados en[0, 1]:- 1 para los tokens que no están enmascarados,
- 0 para los tokens que están enmascarados.
- decoder_input_ids (
torch.LongTensorde forma(batch_size, target_sequence_length), opcional) — Índices de los tokens de la secuencia de entrada del decodificador en el vocabulario. Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles. ¿Qué son los IDs de entrada del decodificador?Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.
- decoder_attention_mask (
torch.LongTensorde forma(batch_size, target_sequence_length), opcional) — Máscara para evitar realizar atención en ciertos índices de tokens. De forma predeterminada, se utilizará una máscara causal para asegurarse de que el modelo solo pueda mirar las entradas anteriores para predecir el futuro. - encoder_outputs (
tuple[tuple[torch.FloatTensor]], opcional) — La tupla consiste en (last_hidden_state, opcional:hidden_states, opcional:attentions)last_hidden_statede forma(batch_size, sequence_length, hidden_size), opcional) es una secuencia de hidden-states en la salida de la última capa del codificador. Se utiliza en la atención cruzada del decodificador. - past_key_values (
~cache_utils.Cache, opcional) — Estados ocultos precalculados (claves y valores en los bloques de autoatención y en los bloques de atención cruzada) que se pueden usar para acelerar la decodificación secuencial. Esto generalmente consiste en lapast_key_valuesdevuelta por el modelo en una etapa anterior de la decodificación, cuandouse_cache=Trueoconfig.use_cache=True.Solo se permite una instancia de Cache como entrada, consulte nuestra guía de caché kv. Si no se pasan
past_key_values, DynamicCache se inicializará de forma predeterminada.El modelo generará el mismo formato de caché que se proporciona como entrada.
Si se utilizan
past_key_values, se espera que el usuario introduzca únicamente losinput_idsno procesados (aquellos que no tienen sus estados de clave y valor pasados proporcionados a este modelo) con forma(batch_size, unprocessed_length)en lugar de todos losinput_idscon forma(batch_size, sequence_length). - inputs_embeds (
torch.FloatTensorde forma(batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasarinput_ids, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices deinput_idsen los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo. - decoder_inputs_embeds (
torch.FloatTensorde forma(batch_size, target_sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasardecoder_input_idspuede optar por pasar directamente una representación incrustada. Sipast_key_valuesse usa, opcionalmente solo la últimadecoder_inputs_embedsdebe ser introducida (verpast_key_values). Esto es útil si se desea tener más control sobre cómo convertirdecoder_input_idsíndices en vectores asociados que la matriz de búsqueda de incrustaciones interna del modelo.Si
decoder_input_idsydecoder_inputs_embedsno están configurados,decoder_inputs_embedstoma el valor deinputs_embeds. - use_cache (
bool, opcional) — Si se establece enTrue, se devuelven los estados de clave-valor depast_key_valuesy pueden usarse para acelerar la decodificación (verpast_key_values).
Devuelve
Seq2SeqMoEModelOutput o tuple(torch.FloatTensor)
Un Seq2SeqMoEModelOutput o una tupla de
torch.FloatTensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios
elementos según la configuración (None) y las entradas.
El método forward de NllbMoeModel sobrescribe el método especial __call__.
Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de
Moduledespués en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.
last_hidden_state (
torch.FloatTensorde forma(batch_size, sequence_length, hidden_size)) — Secuencia de estados ocultos en la salida de la última capa del decodificador del modelo.Si se utiliza
past_key_values, solo se genera el último hidden-state de las secuencias con forma(batch_size, 1, hidden_size).past_key_values (
EncoderDecoderCache, opcional, se devuelve cuando se pasause_cache=Trueo cuandoconfig.use_cache=True) — Es una instancia de EncoderDecoderCache. Para más detalles, consulte nuestra guía de caché kv.Contiene estados ocultos precalculados (claves y valores en los bloques de autoatención y en los bloques de atención cruzada) que pueden utilizarse (véase la entrada
past_key_values) para acelerar la decodificación secuencial.decoder_hidden_states (
tuple(torch.FloatTensor), opcional, se devuelve cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.FloatTensor(una para la salida de los embeddings, si el modelo tiene una capa de embedding, + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size).Estados ocultos del decodificador en la salida de cada capa más las salidas opcionales de la incrustación inicial.
decoder_attentions (
tuple(torch.FloatTensor), opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.FloatTensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención del decodificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.
decoder_router_logits (
tuple(torch.FloatTensor), opcional, se devuelve cuando se pasaoutput_router_logits=Trueo cuandoconfig.add_router_probs=True) — Tupla detorch.FloatTensor(una por cada capa) de forma(batch_size, sequence_length, num_experts).Logits del router del modelo decodificador, útiles para calcular la pérdida auxiliar en modelos Mixture of Experts.
cross_attentions (
tuple(torch.FloatTensor), opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.FloatTensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención de la capa de atención cruzada del decodificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de atención cruzada.
encoder_last_hidden_state (
torch.FloatTensorde forma(batch_size, sequence_length, hidden_size), opcional) — Secuencia de estados ocultos en la salida de la última capa del codificador del modelo.encoder_hidden_states (
tuple(torch.FloatTensor), opcional, devuelto cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.FloatTensor(una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size).Estados ocultos del codificador en la salida de cada capa más las salidas opcionales de la incrustación inicial.
encoder_attentions (
tuple(torch.FloatTensor), opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.FloatTensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención del codificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.
encoder_router_logits (
tuple(torch.FloatTensor), opcional, se devuelve cuando se pasaoutput_router_logits=Trueo cuandoconfig.add_router_probs=True) — Tupla detorch.FloatTensor(una por cada capa) de forma(batch_size, sequence_length, num_experts).Logits del router del modelo codificador, útiles para calcular la pérdida auxiliar y la z_loss para los módulos dispersos.
NllbMoeForConditionalGeneration
clase transformers.NllbMoeForConditionalGeneration
< source >( config: NllbMoeConfig )
Parámetros
- config (NllbMoeConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.
El modelo NllbMoe con una cabeza de modelado de lenguaje. Puede usarse para resumir.
Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).
Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: tuple[tuple[torch.FloatTensor]] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonedecoder_inputs_embeds: typing.Optional[torch.FloatTensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Noneoutput_router_logits: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Seq2SeqMoEOutput or tuple(torch.FloatTensor)
Parámetros
- input_ids (
torch.LongTensorde forma(batch_size, sequence_length), opcional) — Índices de los tokens de la secuencia de entrada en el vocabulario. El relleno se ignorará de forma predeterminada.Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.
- attention_mask (
torch.Tensorde forma(batch_size, sequence_length), opcional) — Máscara para evitar realizar atención en los índices de tokens de relleno. Valores de máscara seleccionados en[0, 1]:- 1 para los tokens que no están enmascarados,
- 0 para los tokens que están enmascarados.
- decoder_input_ids (
torch.LongTensorde forma(batch_size, target_sequence_length), opcional) — Índices de los tokens de la secuencia de entrada del decodificador en el vocabulario. Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles. ¿Qué son los IDs de entrada del decodificador?Los índices se pueden obtener usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() y PreTrainedTokenizer.call() para más detalles.
- decoder_attention_mask (
torch.LongTensorde forma(batch_size, target_sequence_length), opcional) — Máscara para evitar realizar atención en ciertos índices de tokens. De forma predeterminada, se utilizará una máscara causal para asegurarse de que el modelo solo pueda mirar las entradas anteriores para predecir el futuro. - encoder_outputs (
tuple[tuple[torch.FloatTensor]], opcional) — La tupla consiste en (last_hidden_state, opcional:hidden_states, opcional:attentions)last_hidden_statede forma(batch_size, sequence_length, hidden_size), opcional) es una secuencia de hidden-states en la salida de la última capa del codificador. Se utiliza en la atención cruzada del decodificador. - past_key_values (
~cache_utils.Cache, opcional) — Estados ocultos precalculados (claves y valores en los bloques de autoatención y en los bloques de atención cruzada) que se pueden usar para acelerar la decodificación secuencial. Esto generalmente consiste en lapast_key_valuesdevuelta por el modelo en una etapa anterior de la decodificación, cuandouse_cache=Trueoconfig.use_cache=True.Solo se permite una instancia de Cache como entrada, consulte nuestra guía de caché kv. Si no se pasan
past_key_values, DynamicCache se inicializará de forma predeterminada.El modelo generará el mismo formato de caché que se proporciona como entrada.
Si se utilizan
past_key_values, se espera que el usuario introduzca únicamente losinput_idsno procesados (aquellos que no tienen sus estados de clave y valor pasados proporcionados a este modelo) con forma(batch_size, unprocessed_length)en lugar de todos losinput_idscon forma(batch_size, sequence_length). - inputs_embeds (
torch.FloatTensorde forma(batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasarinput_ids, puedes elegir pasar directamente una representación incrustada. Esto es útil si deseas tener más control sobre cómo convertir los índices deinput_idsen los vectores asociados que en la matriz de búsqueda de incrustaciones interna del modelo. - decoder_inputs_embeds (
torch.FloatTensorde forma(batch_size, target_sequence_length, hidden_size), opcional) — Opcionalmente, en lugar de pasardecoder_input_idspuede optar por pasar directamente una representación incrustada. Sipast_key_valuesse usa, opcionalmente solo la últimadecoder_inputs_embedsdebe ser introducida (verpast_key_values). Esto es útil si se desea tener más control sobre cómo convertirdecoder_input_idsíndices en vectores asociados que la matriz de búsqueda de incrustaciones interna del modelo.Si
decoder_input_idsydecoder_inputs_embedsno están configurados,decoder_inputs_embedstoma el valor deinputs_embeds. - labels (
torch.LongTensorde forma(batch_size, sequence_length), opcional) — Etiquetas para calcular la pérdida de modelado de lenguaje enmascarado. Los índices deben estar en[0, ..., config.vocab_size]o ser -100 (ver la docstring deinput_ids). Los tokens con índices establecidos en-100se ignoran (enmascarados); la pérdida solo se calcula para los tokens con etiquetas en[0, ..., config.vocab_size]. - use_cache (
bool, opcional) — Si se establece enTrue, se devuelven los estados de clave-valor depast_key_valuesy pueden usarse para acelerar la decodificación (verpast_key_values). - output_router_logits (
bool, opcional) — Indica si se deben devolver los logits de todos los routers. Son útiles para calcular la pérdida del router y no deben devolverse durante la inferencia.
Devuelve
Seq2SeqMoEOutput o tuple(torch.FloatTensor)
Un Seq2SeqMoEOutput o una tupla de
torch.FloatTensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios
elementos según la configuración (NllbMoeConfig) y las entradas.
El método forward de NllbMoeForConditionalGeneration sobrescribe el método especial __call__.
Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de
Moduledespués en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.
loss (
torch.FloatTensorde forma(1,), opcional, devuelta cuando se proporcionalabels) — Pérdida de modelado de lenguaje.logits (
torch.FloatTensorde forma(batch_size, sequence_length, config.vocab_size)) — Puntuaciones de predicción de la cabeza de modelado de lenguaje (puntuaciones para cada token del vocabulario antes de SoftMax).past_key_values (
EncoderDecoderCache, opcional, se devuelve cuando se pasause_cache=Trueo cuandoconfig.use_cache=True) — Es una instancia de EncoderDecoderCache. Para más detalles, consulte nuestra guía de caché kv.Contiene estados ocultos precalculados (claves y valores en los bloques de autoatención y en los bloques de atención cruzada) que pueden utilizarse (véase la entrada
past_key_values) para acelerar la decodificación secuencial.decoder_hidden_states (
tuple(torch.FloatTensor), opcional, se devuelve cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.FloatTensor(una para la salida de los embeddings, si el modelo tiene una capa de embedding, + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size).Estados ocultos del decodificador en la salida de cada capa más las salidas de la incrustación inicial.
decoder_attentions (
tuple(torch.FloatTensor), opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.FloatTensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención del decodificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.
decoder_router_logits (
tuple(torch.FloatTensor), opcional, se devuelve cuando se pasaoutput_router_logits=Trueo cuandoconfig.add_router_probs=True) — Tupla detorch.FloatTensor(una por cada capa) de forma(batch_size, sequence_length, num_experts).Logits del router del modelo decodificador, útiles para calcular la pérdida auxiliar en modelos Mixture of Experts.
cross_attentions (
tuple(torch.FloatTensor), opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.FloatTensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención de la capa de atención cruzada del decodificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de atención cruzada.
encoder_last_hidden_state (
torch.FloatTensorde forma(batch_size, sequence_length, hidden_size), opcional) — Secuencia de estados ocultos en la salida de la última capa del codificador del modelo.encoder_hidden_states (
tuple(torch.FloatTensor), opcional, devuelto cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.FloatTensor(una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size).Estados ocultos del codificador en la salida de cada capa más las salidas de la incrustación inicial.
encoder_attentions (
tuple(torch.FloatTensor), opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.FloatTensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención del codificador, después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.
encoder_router_logits (
tuple(torch.FloatTensor), opcional, se devuelve cuando se pasaoutput_router_logits=Trueo cuandoconfig.add_router_probs=True) — Tupla detorch.FloatTensor(una por cada capa) de forma(batch_size, sequence_length, num_experts).Logits del router del modelo codificador, útiles para calcular la pérdida auxiliar y z_loss para los modelos Mixture of Experts.