Parâmetros

• repo_id (str) — O nome do repositório para o qual você deseja enviar seu modelo. Deve conter o nome da sua organização ao enviar para uma organização específica.
• commit_message (str, opcional) — Mensagem de commit ao fazer push. O valor padrão é "Upload model".
• commit_description (str, opcional) — A descrição do commit que será criado
• private (bool, opcional) — Se deve tornar o repositório privado. Se None (padrão), o repositório será público, a menos que o padrão da organização seja privado. Este valor é ignorado se o repositório já existir.
• token (bool ou str, opcional) — O token a ser usado como autorização de bearer HTTP para arquivos remotos. Se True (padrão), usará o token gerado ao executar hf auth login (armazenado em ~/.huggingface).
• revision (str, opcional) — Branch para a qual os arquivos enviados serão enviados.
• create_pr (bool, opcional, padrão False) — Se deve ou não criar um PR com os arquivos enviados ou fazer o commit diretamente.
• max_shard_size (int ou str, opcional, padrão "50GB") — Aplicável apenas a modelos. O tamanho máximo de um checkpoint antes de ser dividido em shards. Os shards do checkpoint terão, então, cada um um tamanho menor que esse valor. Se expresso como string, deve ser composto por dígitos seguidos de uma unidade (como "5MB").
• tags (list[str], opcional) — Lista de tags para enviar no Hub.

Parâmetros

• every_n_layers (int, opcional, padrão 1) — Cria checkpoint apenas a cada every_n_layers-ésima camada do decoder, mantendo as ativações das demais. 1 cria checkpoint em todas as camadas, o que é o comportamento usual de tudo-ou-nada. Valores maiores trocam memória por velocidade, o que vale a pena sempre que a memória liberada pelo checkpoint completo ficaria ociosa.
• offload (bool, opcional, padrão False) — Mantém as ativações salvas para o recompute em memória de host fixada (pinned host memory) em vez de no acelerador. Isso libera layers x sequence x hidden bytes de memória de dispositivo, o que predomina em comprimentos de sequência longos, e custa uma cópia de dispositivo para host no forward e uma cópia de host para dispositivo no backward. Ambas as cópias são executadas no stream de computação, portanto o passo fica mais lento.
• activation_checkpointing_kwargs (dict, opcional) — Argumentos de palavra-chave adicionais passados para a função torch.utils.checkpoint.checkpoint.

Parâmetros

• tags (Union[list[str], str]) — As tags desejadas para injetar no modelo

Parâmetros

• pretrained_model_name_or_path (str ou os.PathLike, opcional) — Pode ser:
  • Uma string, o model id de um modelo pré-treinado hospedado em um repositório de modelos no huggingface.co.
  • Um caminho para um diretório contendo pesos de modelo salvos usando save_pretrained(), por exemplo, ./my_model_directory/. Diretórios salvos com save_pretrained(..., distributed_checkpoint=True) são detectados e carregados com checkpoint distribuído (DCP), preservando a malha e os posicionamentos atuais do modelo. Isso requer torch>=2.7 e carrega de forma estrita: cada chave do modelo deve estar presente no checkpoint.
  • None se você estiver fornecendo tanto a configuração quanto o dicionário de estado (respectivamente, com os argumentos de palavra-chave config e state_dict).
• model_args (sequência de argumentos posicionais, opcional) — Todos os argumentos posicionais restantes serão passados para o método __init__ do modelo subjacente.
• config (Union[PreTrainedConfig, str, os.PathLike], opcional) — Pode ser:
  • uma instância de uma classe derivada de PreTrainedConfig,
  • uma string ou caminho válido como entrada para from_pretrained().

  Configuração para o modelo a ser usado em vez de uma configuração carregada automaticamente. A configuração pode ser carregada automaticamente quando:

  • O modelo é um modelo fornecido pela biblioteca (carregado com a string model id de um modelo pré-treinado).
  • O modelo foi salvo usando save_pretrained() e é recarregado fornecendo o diretório de salvamento.
  • O modelo é carregado ao fornecer um diretório local como pretrained_model_name_or_path e um arquivo JSON de configuração chamado config.json é encontrado no diretório.
• state_dict (dict[str, torch.Tensor], opcional) — Um dicionário de estado para usar em vez de um dicionário de estado carregado de um arquivo de pesos salvos. Essa opção pode ser usada se você quiser criar um modelo a partir de uma configuração pré-treinada, mas carregar seus próprios pesos. Nesse caso, no entanto, você deve verificar se o uso de save_pretrained() e from_pretrained() não é uma opção mais simples.

  Essa opção pode ser usada se você deseja criar um modelo a partir de uma configuração pré-treinada, mas carregar seus próprios pesos. Nesse caso, no entanto, você deve verificar se o uso de save_pretrained() e from_pretrained() não é uma opção mais simples.

• cache_dir (Union[str, os.PathLike], opcional) — Caminho para um diretório em que a configuração de um modelo pré-treinado baixado deve ser armazenada em cache, caso o cache padrão não deva ser usado.
• ignore_mismatched_sizes (bool, opcional, padrão False) — Indica se deve ou não lançar um erro caso alguns dos pesos do checkpoint não tenham o mesmo tamanho que os pesos do modelo (por exemplo, se você estiver instanciando um modelo com 10 rótulos a partir de um checkpoint com 3 rótulos).
• force_download (bool, opcional, padrão False) — Indica se deve forçar o (re)download dos pesos do modelo e dos arquivos de configuração, sobrescrevendo as versões em cache, caso existam.
• proxies (dict[str, str], opcional) — Um dicionário de servidores proxy a serem usados por protocolo ou endpoint, por exemplo, {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Os proxies são usados em cada solicitação.
• output_loading_info(bool, opcional, padrão False) — Indica se deve ou não retornar também um dicionário contendo chaves ausentes, chaves inesperadas e mensagens de erro.
• local_files_only(bool, opcional, padrão False) — Indica se deve procurar apenas em arquivos locais (ou seja, não tentar baixar o modelo).
• token (str ou bool, opcional) — O token a ser usado como autorização bearer HTTP para arquivos remotos. Se True, ou não especificado, usará o token gerado ao executar hf auth login (armazenado em ~/.huggingface).
• revision (str, opcional, padrão é "main") — A versão específica do modelo a ser usada. Pode ser o nome de uma branch, o nome de uma tag ou um commit id, pois usamos um sistema baseado em git para armazenar modelos e outros artefatos no huggingface.co, portanto revision pode ser qualquer identificador permitido pelo git.

  Para testar um pull request que você fez no Hub, você pode passar revision="refs/pr/<pr_number>".

• attn_implementation (str, opcional) — A implementação de atenção a ser usada no modelo (se aplicável). Pode ser qualquer uma das seguintes:
  • "eager" (implementação manual da atenção)
  • "sdpa" (usando F.scaled_dot_product_attention)
  • "flash_attention_2" (usando Dao-AILab/flash-attention)
  • "flash_attention_3" (usando Dao-AILab/flash-attention/hopper)
  • "flash_attention_4" (usando Dao-AILab/flash-attention/flash_attn/cute). Por padrão, se disponível, o SDPA será usado. Caso contrário, o padrão é a implementação manual "eager".

  Aceite referências de kernel do HF no formato:

  /[@][:]
  • e são sequências quaisquer que não contenham "/" nem ":".
  • “@” é opcional (branch, tag ou commit-ish), por exemplo, “@main”, “@v1.2.0”, “@abc123”.
  • ”:” é opcional e seleciona uma função dentro do repositório do kernel.
  • Ambas as opções podem aparecer juntas e somente nesta ordem: @revision primeiro, depois :kernel_name.
  • Permitimos intencionalmente um prefixo inicial “|” (por exemplo, “flash|…”) porque o código o remove antes de carregar; o “|” não é excluído nas classes de caracteres aqui.

  Exemplos que correspondem: “org/model” “org/model@main” “org/model:custom_kernel” “org/model@v1.2.3:custom_kernel”

• experts_implementation (str, opcional) — A implementação dos experts a ser usada no modelo (se aplicável). Pode ser uma das seguintes:
  • "eager" (implementação sequencial das multiplicações de matrizes dos especialistas).
  • "batched_mm" (usando torch.bmm).
  • "grouped_mm" (usando torch.nn.functional.grouped_mm).

  Por padrão, se o modelo for compatível, "grouped_mm" será utilizado. Caso contrário, o padrão é a implementação manual "eager".

Parâmetros para inferência de modelos grandes

• dtype (str ou torch.dtype, opcional, padrão é "auto") — Substitua o padrão torch_dtype e carregue o modelo em um dtype. As diferentes opções são:

  1. torch.float16 ou torch.bfloat16 ou torch.float: carrega em um dtype especificado, ignorando o config.dtype do modelo, se existir. Se não for especificado

     • o modelo será carregado em torch.float (fp32).

  2. "auto" - Será tentado o uso de uma entrada dtype ou torch_dtype no arquivo config.json do modelo. Se essa entrada não for encontrada, em seguida, verifique o dtype do primeiro peso no checkpoint que seja de um tipo de ponto flutuante e use-o como dtype. Isso carregará o modelo usando o dtype em que ele foi salvo ao final do treinamento. Não pode ser usado como indicador de como o modelo foi treinado, pois ele pode ter sido treinado em um dos dtypes de meia precisão, mas salvo em fp32.

  3. Uma string que é um torch.dtype válido. Por exemplo, “float32” carrega o modelo em torch.float32, “float16” carrega em torch.float16, etc.

  Para alguns modelos, o dtype no qual foram treinados é desconhecido - você pode tentar verificar o paper do modelo ou entrar em contato com os autores e pedir que adicionem essa informação ao card do modelo e insiram a entrada dtype ou torch_dtype em config.json no hub.

• device_map (str ou dict[str, Union[int, str, torch.device]] ou int ou torch.device, opcional) — Um mapa que especifica para onde cada submódulo deve ser enviado. Não é necessário refinar para cada nome de parâmetro/buffer, pois, uma vez que um nome de módulo está incluído, todos os seus submódulos serão enviados para o mesmo dispositivo. Se passarmos apenas o dispositivo (e.g., "cpu", "cuda:1", "mps", ou uma ordem ordinal de GPU, como 1) no qual o modelo será alocado, o mapa de dispositivos mapeará o modelo inteiro para esse dispositivo. Passar device_map = 0 significa colocar o modelo inteiro na GPU 0. Para que o Accelerate calcule automaticamente o device_map mais otimizado, defina device_map="auto". Para mais informações sobre cada opção, consulte o projeto de um mapa de dispositivos.

  Para que o Accelerate calcule automaticamente o device_map mais otimizado, defina device_map="auto". Para mais informações sobre cada opção, consulte projetando um mapa de dispositivos.

• max_memory (Dict, opcional) — Um dicionário de identificador de dispositivo para a memória máxima, caso esteja usando device_map. Se não for definido, o padrão será a memória máxima disponível para cada GPU e a RAM de CPU disponível.
• distributed_config (DistributedConfig, opcional) — Configuração para carregamento distribuído nativo com paralelismo de tensor ou FSDP2. Passe DistributedConfig(tp_size=N) para usar o plano de paralelismo de tensor predefinido de um modelo, DistributedConfig(tp_plan=...) para especificar um plano de paralelismo de tensor, ou DistributedConfig(fsdp_size=N) para FSDP2. Exige torchrun e um grupo de processos inicializado quando tp_size > 1 ou fsdp_size > 1. Mutuamente exclusivo com device_map.
• device_mesh (torch.distributed.DeviceMesh, opcional) — Um device mesh do torch. Se não for fornecido, o padrão será o world size. Atualmente, é usado apenas para tensor parallel. Se fornecido, ele deve conter uma dimensão nomeada "tp" caso seja de mais de 1 dimensão; essa dimensão será usada para tensor parallelism.
• offload_folder (str ou os.PathLike, opcional) — Se o device_map contiver qualquer valor "disk", a pasta onde os pesos serão descarregados.
• offload_buffers (bool, opcional) — Se os buffers com os parâmetros do modelo devem ser descarregados ou não.
• quantization_config (Union[QuantizationConfigMixin,Dict], opcional) — Um dicionário de parâmetros de configuração ou um objeto QuantizationConfigMixin para quantização (por exemplo, bitsandbytes, gptq).
• subfolder (str, opcional, padrão "") — Caso os arquivos relevantes estejam localizados em uma subpasta do repositório do modelo no huggingface.co, você pode especificar o nome da pasta aqui.
• variant (str, opcional) — Se especificado, carrega os pesos do arquivo variant, por exemplo pytorch_model..bin.
• use_safetensors (bool, opcional, padrão None) — Indica se deve ou não usar checkpoints do safetensors. O padrão é None. Se não for especificado e o safetensors não estiver instalado, o valor será definido como False.
• weights_only (bool, opcional, padrão True) — Indica se o unpickler deve ser restrito a carregar apenas tensores, tipos primitivos, dicionários e quaisquer tipos adicionados via torch.serialization.add_safe_globals(). Quando definido como False, é possível carregar pesos de subclasses de tensores com wrapper.
• disable_mmap (bool, opcional) — Se deve desabilitar o mapeamento de memória ao carregar checkpoints em safetensors. Quando None (padrão), é detectado automaticamente como True quando o checkpoint está em um sistema de arquivos FUSE hf-mount (usado por HF Spaces/Endpoints), onde mmap + page-faults paralelos podem causar deadlock. Quando True, os arquivos são lidos totalmente para a memória e analisados com safetensors.torch.load. Quando False, o carregador com mapeamento de memória padrão é sempre utilizado.
• fusion_config (dict[str, bool | dict[str, Any]], opcional) — Configuração de fusão opcional aplicada antes da instanciação do modelo. Cada chave habilita uma família de fusão e seu valor pode ser True para habilitar aquela fusão com as opções padrão ou um dicionário de opções específicas da família. Por exemplo, {"patch_embeddings": True} habilita a fusão de patch embedding. Isso deve ser usado apenas como uma otimização de inferência, pois pode alterar ligeiramente as saídas. Se omitido, from_pretrained() recorre a config.fusion_config quando disponível. Consulte o guia de mapeamento de fusão em docs/source/en/fusion_mapping.md para mais detalhes.
• key_mapping (`dict[str, str], opcional) — Um mapeamento potencial dos nomes dos pesos, caso esteja usando um modelo no Hub que seja compatível com uma arquitetura do Transformers, mas que não foi convertido de acordo.
• kwargs (dicionário restante de argumentos por palavra-chave, opcional) — Pode ser usado para atualizar o objeto de configuração (após o carregamento) e iniciar o modelo (por exemplo, output_attentions=True). O comportamento varia conforme uma config é fornecida ou carregada automaticamente:
  • Se uma configuração for fornecida com config, **kwargs será passado diretamente para o método __init__ do modelo subjacente (assumimos que todas as atualizações relevantes à configuração já foram realizadas)
  • Se uma configuração não for fornecida, kwargs será primeiro passado para a função de inicialização da classe de configuração (from_pretrained()). Cada chave de kwargs que corresponde a um atributo de configuração será usada para sobrescrever o referido atributo com o valor de kwargs fornecido. As chaves restantes que não correspondem a nenhum atributo de configuração serão passadas para a função __init__ do modelo subjacente.

Parâmetros

• return_buffers (bool, opcional, padrão True) — Se deve retornar o tamanho dos tensores de buffer no cálculo da pegada de memória. Buffers são tensores que não exigem gradientes e não estão registrados como parâmetros. Por exemplo, a média e o desvio padrão em camadas de normalização por lote. Consulte: https://discuss.pytorch.org/t/what-pytorch-means-by-buffers/120266/2

Parâmetros

• auto_class (str ou type, opcional, padrão "AutoModel") — A classe automática com a qual este novo modelo será registrado.

Parâmetros

• new_num_tokens (int, opcional) — O novo número de tokens na matriz de incorporação. Aumentar o tamanho adicionará vetores recém-inicializados no final. Reduzir o tamanho removerá vetores do final. Se não for fornecido ou for None, retorna apenas um ponteiro para o módulo torch.nn.Embedding de tokens de entrada do modelo, sem fazer nada.
• pad_to_multiple_of (int, opcional) — Se definido, o embedding matrix será preenchido até um múltiplo do valor fornecido. Se new_num_tokens estiver definido como None , apenas o embedding será preenchido até um múltiplo de pad_to_multiple_of.

  Isso é especialmente útil para habilitar o uso de Tensor Cores em hardware NVIDIA com capacidade de computação >= 7.5 (Volta), ou em TPUs, que se beneficiam de ter comprimentos de sequência que sejam múltiplos de 128. Para mais detalhes sobre isso, ou ajuda na escolha do valor correto para o redimensionamento, consulte este guia: https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html#requirements-tc

• mean_resizing (bool) — Se as embeddings adicionadas devem ser inicializadas a partir de uma distribuição normal multivariada que possui a média e a covariância das embeddings antigas, ou se devem ser inicializadas com uma distribuição normal que tem média zero e desvio padrão igual a config.initializer_range.

  Definir mean_resizing como True é útil ao aumentar o tamanho dos embeddings de modelos de linguagem causais, pois as probabilidades dos tokens gerados não serão afetadas pelos embeddings adicionados, uma vez que inicializar os novos embeddings com a média dos embeddings antigos reduzirá a divergência de KL entre a probabilidade do próximo token antes e depois da adição dos novos embeddings. Consulte este artigo para mais informações: https://nlp.stanford.edu/~johnhew/vocab-expansion.html

Parâmetros

• save_directory (str ou os.PathLike) — Diretório para onde salvar. Será criado se não existir.
• is_main_process (bool, opcional, padrão True) — Indica se o processo que está chamando esta função é o processo principal. Útil em treinamento distribuído, como em TPUs, quando é necessário chamar esta função em todos os processos. Nesse caso, defina is_main_process=True apenas no processo principal para evitar condições de corrida.
• state_dict (dicionário aninhado de torch.Tensor) — O dicionário de estado do modelo a ser salvo. O padrão é self.state_dict(), mas pode ser usado para salvar apenas partes do modelo ou quando forem necessárias precauções especiais ao recuperar o dicionário de estado de um modelo (como ao usar paralelismo de modelo).
• push_to_hub (bool, opcional, padrão False) — Indica se o modelo deve ser enviado para o Hugging Face model hub após ser salvo. Você pode especificar o repositório de destino com repo_id (por padrão, será usado o nome de save_directory no seu namespace).
• max_shard_size (int ou str, opcional, padrão é "50GB") — O tamanho máximo de um checkpoint antes de ser dividido em shards. Os shards do checkpoint terão, então, cada um um tamanho menor que esse valor. Se expresso como string, deve ser composto por dígitos seguidos de uma unidade (como "5MB").

  Se um único peso do modelo for maior que max_shard_size, ele ficará em seu próprio shard de checkpoint, que será maior que max_shard_size.

• variant (str, opcional) — Se especificado, os pesos são salvos no formato model..safetensors.
• token (str ou bool, opcional) — O token a ser usado como autorização bearer HTTP para arquivos remotos. Se True, ou não especificado, usará o token gerado ao executar hf auth login (armazenado em ~/.huggingface).
• save_peft_format (bool, opcional, padrão True) — Para compatibilidade reversa com a biblioteca PEFT, caso os pesos do adaptador estejam anexados ao modelo, todas as chaves do state dict dos adaptadores precisam ter o prefixo base_model.model. Usuários avançados podem desabilitar esse comportamento definindo save_peft_format como False.
• save_original_format (bool, opcional, padrão True) — Para compatibilidade com versões anteriores do transformers, você pode salvar o checkpoint com o seu mapeamento reverso. O mapeamento reverso precisa existir mesmo que o modelo tenha sido carregado de um checkpoint legado None.
• distributed_checkpoint (bool, opcional, padrão False) — Ao salvar um modelo particionado com FSDP ou TP, grava os safetensors com checkpoint distribuído (DCP) em vez de reunir os pesos na CPU primeiro. Todos os ranks devem chamar este método. Quando False, os pesos são reunidos na CPU no rank 0 via gather_full_state_dict antes de gravar. É destinado apenas a salvar e retomar o treinamento; defina como False se você quiser os recursos completos de save_pretrained. Com push_to_hub=True, o rank 0 consolida o checkpoint em um subdiretório consolidated/ e faz o upload desse diretório. Requer torch>=2.7.
• kwargs (dict[str, Any], opcional) — Argumentos de palavra-chave adicionais passados ao método push_to_hub().

Parâmetros

• attn_implementation (str ou dict) — A implementação de atenção a ser definida para este modelo. Pode ser uma str, caso em que será distribuída para todos os submodelos, se aplicável, ou um dict em que as chaves são os nomes dos sub_configs, caso em que cada submodelo distribuirá o valor correspondente (a si mesmo e a todos os submodelos aninhados nele). Um valor pode ser, ele mesmo, um dict no mesmo formato, para direcionar os sub_configs daquele submodelo (como ao inicializar um config com um attn_implementation dict aninhado).
• allow_all_kernels (bool, opcional) — Se deve carregar kernels de repositórios não verificados do hub, caso attn_implementation seja um kernel personalizado fora do repositório do hub kernels-community.

Parâmetros

• experts_implementation (str ou dict) — A implementação de experts a ser definida para este modelo. Pode ser um str, caso em que será distribuída para todos os submodelos, se aplicável, ou um dict em que as chaves são os nomes dos sub_configs, caso em que cada submodelo distribuirá o valor correspondente.

Parâmetros

• use_kernels (bool) — Indica se a biblioteca kernels deve ser usada para kernelizar algumas camadas do modelo.
• kernel_config (KernelConfig, opcional) — A configuração de kernel a ser usada para kernelizar o modelo. Se None, o mapeamento de kernel padrão será utilizado.
• mode (Mode, opcional) — O modo que deve ser aplicado durante o kernelize. Opcional, padrão é o modo de treinamento ou inferência, com base na flag interna training.

Parâmetros

• only_trainable (bool, opcional, padrão False) — Indica se deve retornar apenas o número de parâmetros treináveis
• exclude_embeddings (bool, opcional, padrão False) — Indica se deve retornar apenas o número de parâmetros que não são embeddings

Parâmetros

• repo_id (str) — O nome do repositório para o qual você deseja enviar seu {object}. Deve conter o nome da sua organização ao enviar para uma organização específica.
• commit_message (str, opcional) — Mensagem de commit ao fazer push. O valor padrão é "Upload {object}".
• commit_description (str, opcional) — A descrição do commit que será criado
• private (bool, opcional) — Se deve tornar o repositório privado. Se None (padrão), o repositório será público, a menos que o padrão da organização seja privado. Este valor é ignorado se o repositório já existir.
• token (bool ou str, opcional) — O token a ser usado como autorização de bearer HTTP para arquivos remotos. Se True (padrão), usará o token gerado ao executar hf auth login (armazenado em ~/.huggingface).
• revision (str, opcional) — Branch para a qual os arquivos enviados serão enviados.
• create_pr (bool, opcional, padrão False) — Se deve ou não criar um PR com os arquivos enviados ou fazer o commit diretamente.
• max_shard_size (int ou str, opcional, padrão "50GB") — Aplicável apenas a modelos. O tamanho máximo de um checkpoint antes de ser dividido em shards. Os shards do checkpoint terão, então, cada um um tamanho menor que esse valor. Se expresso como string, deve ser composto por dígitos seguidos de uma unidade (como "5MB").
• tags (list[str], opcional) — Lista de tags para enviar no Hub.