Transformers

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Este modelo foi contribuído para o Hugging Face Transformers em 2024-03-20.

LLaVA-NeXT

LLaVA‑NeXT melhora o Llava aumentando a resolução da imagem de entrada em 4x mais pixels e suportando 3 proporções de aspecto (até 672x672, 336x1344, 1344x336) para capturar melhor os detalhes visuais. Ele também é treinado em um conjunto de dados aprimorado de ajuste de instruções visuais, cobrindo mais cenários e aplicações, para melhorar o OCR e o raciocínio de senso comum.

Você pode encontrar todos os checkpoints originais do LLaVA‑NeXT na coleção LLaVA-NeXT.

Este modelo foi contribuído por nielsr.

Clique nos modelos LLaVA‑NeXT na barra lateral à direita para ver mais exemplos de como aplicar o Llava-NeXT a diferentes tarefas multimodais.

O exemplo abaixo demonstra como gerar texto com base em uma imagem usando Pipeline ou a classe AutoModel.

Pipeline

AutoModel

A quantização reduz a carga de memória de modelos grandes ao representar os pesos em uma precisão menor. Consulte a visão geral de Quantização para mais backends de quantização disponíveis.

O exemplo abaixo usa bitsandbytes para quantizar apenas os pesos para int4.

import requests
import torch
from PIL import Image

from transformers import AutoModelForImageTextToText, AutoProcessor, BitsAndBytesConfig


quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4"
)

processor = AutoProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = AutoModelForImageTextToText.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf", quantization_config=quant_config, device_map="auto")

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
image = Image.open(requests.get(url, stream=True).raw)

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What does this chart show?"},
        ],
    },
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor(image, prompt, return_tensors="pt").to(model.device)

with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Observações

Diferentes checkpoints (Mistral, Vicuna, etc.) exigem um formato de prompt específico, dependendo do LLM subjacente. Use sempre apply_chat_template() para garantir o formato correto. Consulte o guia Templates para mais detalhes.
Defina padding_side="left" durante a geração em lote para obter resultados mais precisos.

processor.tokenizer.padding_side = "left"

LLaVA-NeXT usa um número diferente de patches para as imagens e faz o padding das entradas no código de modelagem, exceto quando o padding é feito durante o processamento. A configuração padrão é left-padding se o modelo estiver no modo eval(); caso contrário, é right-padding.
Os modelos LLaVA após a v4.46 emitem avisos sobre a adição de processor.patch_size = {{patch_size}}, processor.num_additional_image_tokens = {{num_additional_image_tokens}} e processor.vision_feature_select_strategy = {{vision_feature_select_strategy}}. É fortemente recomendável adicionar esses atributos ao processor se você for o proprietário do checkpoint do modelo ou abrir um PR caso contrário.

Adicionar esses atributos faz com que o LLaVA tente inferir o número de tokens de imagem necessários por imagem e expandir o texto com o mesmo número de placeholders de token <image>. Geralmente, há cerca de 500 tokens por imagem, portanto, certifique-se de que o texto não seja truncado, pois isso causará uma falha ao mesclar os embeddings. Os atributos podem ser encontrados em model.config.vision_config.patch_size ou model.config.vision_feature_select_strategy.

O num_additional_image_tokens deve ser 1 se o backbone de visão adicionar um token CLS ou 0 se nada extra for adicionado.
O exemplo abaixo demonstra a inferência com múltiplas imagens de entrada.

import requests
from PIL import Image

from transformers import LlavaNextForConditionalGeneration, LlavaNextProcessor


processor = LlavaNextProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = LlavaNextForConditionalGeneration.from_pretrained(
    "llava-hf/llava-v1.6-mistral-7b-hf", device_map="auto"
)

# Load multiple images
url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_comparison.png"

image1 = Image.open(requests.get(url1, stream=True).raw)
image2 = Image.open(requests.get(url2, stream=True).raw)

conversation = [
    {"role": "user", "content": [{"type": "image"}, {"type": "image"}, {"type": "text", "text": "Compare these two images and describe the differences."}]}
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor([image1, image2], prompt, return_tensors="pt").to(model.device)

output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Transformers

LLaVA-NeXT

Observações

LlavaNextConfig

classe transformers.LlavaNextConfig

LlavaNextImageProcessor

classe transformers.LlavaNextImageProcessor

pré-processamento

LlavaNextImageProcessorPil

classe transformers.LlavaNextImageProcessorPil

pré-processamento

LlavaNextProcessor

classe transformers.LlavaNextProcessor

__call__

LlavaNextModel

classe transformers.LlavaNextModel

forward

get_image_features

get_placeholder_mask

pack_image_features

LlavaNextForConditionalGeneration

classe transformers.LlavaNextForConditionalGeneration

forward

get_image_features

call