Transformers documentation

Idefics2

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была опубликована в HF papers 03.05.2024 и добавлена в Hugging Face Transformers 15.04.2024.

Idefics2

Обзор

Модель Idefics2 была предложена в статье What matters when building vision-language models? авторами Léo Tronchon, Hugo Laurencon, Victor Sanh. Сопроводительный блог-пост доступен здесь.

Idefics2 — это открытая мультимодальная модель, которая принимает произвольные последовательности изображений и текста на входе и генерирует текстовый вывод. Модель может отвечать на вопросы об изображениях, описывать визуальный контент, создавать истории на основе нескольких изображений или просто работать как чистая языковая модель без визуального ввода. Idefics2 улучшает показатели IDEFICS-1, в частности в понимании документов, OCR и визуальном рассуждении. Idefics2 является лёгкой (8 миллиардов параметров) и обрабатывает изображения в их нативном соотношении сторон и разрешении, что позволяет варьировать эффективность инференса.

Аннотация из статьи следующая:

Растущий интерес к моделям «зрение-язык» (VLM) обусловлен прогрессом в области больших языковых моделей и трансформеров зрения. Несмотря на обилие литературы по этой теме, мы отмечаем, что ключевые решения, касающиеся проектирования VLM, часто не подкреплены обоснованием. Мы утверждаем, что такие необоснованные решения препятствуют прогрессу в области, затрудняя определение того, какие именно выборы улучшают производительность модели. Для решения этой проблемы мы провели обширные эксперименты вокруг предобученных моделей, выбора архитектуры, данных и методов обучения. Наши обобщённые результаты включают разработку Idefics2 — эффективной базовой VLM с 8 миллиардами параметров. Idefics2 демонстрирует наилучшие результаты в своей размерной категории на различных мультимодальных бенчмарках и часто сопоставима по качеству с моделями, в четыре раза превосходящими её по размеру. Мы публикуем модель (базовую, инструктированную и чат-версию) вместе с наборами данных, созданными для её обучения.

Idefics2 architecture. Taken from the original paper.

Эта модель была предоставлена пользователем amyeroberts. Исходный код можно найти здесь.

Советы по использованию

Каждая выборка может содержать несколько изображений, а их количество может различаться от выборки к выборке. Процессор дополняет входные данные до максимального числа изображений в батче для передачи в модель.
У процессора есть опция do_image_splitting. Если True, каждый входной изображение будет разделён на 4 подизображения, которые будут объединены с исходным, чтобы сформировать 5 изображений. Это полезно для повышения производительности модели. Убедитесь, что processor.image_processor.do_image_splitting установлено в False, если модель не обучалась с этой опцией.
text, передаваемый в процессор, должен содержать токены <image> в местах, где необходимо вставить изображения. А также <end_of_utterance> в конце каждого высказывания, если текст представляет собой сообщение чата.
У процессора есть собственный метод apply_chat_template, который преобразует сообщения чата в текст, который затем можно передать в процессор как text.

Пример использования процессора для сообщений в чате:

import requests
from PIL import Image

from transformers import Idefics2ForConditionalGeneration, Idefics2Processor


url_1 = "http://images.cocodataset.org/val2017/000000039769.jpg"
url_2 = "http://images.cocodataset.org/val2017/000000219578.jpg"

image_1 = Image.open(requests.get(url_1, stream=True).raw)
image_2 = Image.open(requests.get(url_2, stream=True).raw)
images = [image_1, image_2]

messages = [{
    "role": "user",
    "content": [
        {"type": "text", "text": "What’s the difference between these two images?"},
        {"type": "image"},
        {"type": "image"},
    ],
}]

processor = Idefics2Processor.from_pretrained("HuggingFaceM4/idefics2-8b")
model = Idefics2ForConditionalGeneration.from_pretrained("HuggingFaceM4/idefics2-8b", device_map="auto")

# at inference time, one needs to pass `add_generation_prompt=True` in order to make sure the model completes the prompt
text = processor.apply_chat_template(messages, add_generation_prompt=True)
print(text)
# 'User: What’s the difference between these two images?<image><image><end_of_utterance>\nAssistant:'

inputs = processor(images=images, text=text, return_tensors="pt").to(model.device)

generated_text = model.generate(**inputs, max_new_tokens=500)
generated_text = processor.batch_decode(generated_text, skip_special_tokens=True)[0]
print("Generated text:", generated_text)

В процессе обучения важно определить, какие токены модель не должна усваивать. Для Idefics2 это, как правило, токены изображения и заполнителя. Это означает, что метки можно создать следующим образом:

import requests
from PIL import Image

from transformers import Idefics2ForConditionalGeneration, Idefics2Processor


url_1 = "http://images.cocodataset.org/val2017/000000039769.jpg"
url_2 = "http://images.cocodataset.org/val2017/000000219578.jpg"

image_1 = Image.open(requests.get(url_1, stream=True).raw)
image_2 = Image.open(requests.get(url_2, stream=True).raw)
images = [image_1, image_2]

messages = [{
    "role": "user",
    "content": [
        {"type": "text", "text": "What’s the difference between these two images?"},
        {"type": "image"},
        {"type": "image"},
    ],
},
{
    "role": "assistant",
    "content": [
        {"type": "text", "text": "The difference is that one image is about dogs and the other one about cats."},
    ],
}]


processor = Idefics2Processor.from_pretrained("HuggingFaceM4/idefics2-8b")
model = Idefics2ForConditionalGeneration.from_pretrained("HuggingFaceM4/idefics2-8b", device_map="auto")

text = processor.apply_chat_template(messages, add_generation_prompt=False)
inputs = processor(images=images, text=text, return_tensors="pt").to(model.device)

labels = inputs.input_ids.clone()
labels[labels == processor.tokenizer.pad_token_id] = -100
labels[labels == model.config.image_token_id] = -100

inputs["labels"] = labels

outputs = model(**inputs)
loss = outputs.loss
loss.backward()

Обратите внимание, что при обучении Idefics2 на многораундовых диалогах между пользователем и ассистентом обычно также устанавливают значение -100 для всех токенов, соответствующих сообщениям пользователя.

Оптимизации модели: Flash Attention

Приведённые выше фрагменты кода демонстрируют инференс без каких-либо оптимизаций. Однако модель можно значительно ускорить, используя Flash Attention — более быструю реализацию механизма внимания, применяемого внутри модели.

Сначала убедитесь, что установлена последняя версия Flash Attention 2, чтобы использовать функцию скользящего окна внимания.

pip install -U flash-attn --no-build-isolation

Также убедитесь, что ваше оборудование совместимо с Flash-Attention 2. Подробнее об этом можно прочитать в официальной документации репозитория flash attention. Также убедитесь, что вы загружаете модель в половинной точности (например, torch.float16).

Чтобы загрузить и запустить модель с использованием Flash Attention-2, просто измените приведённый выше фрагмент кода следующим образом:

model = Idefics2ForConditionalGeneration.from_pretrained(
    "HuggingFaceM4/idefics2-8b",
+    dtype=torch.float16,
+    attn_implementation="flash_attention_2",
    device_map="auto",
)

Сокращение Idefics2 с помощью квантования

Поскольку модель Idefics2 содержит 8 миллиардов параметров, в половинной точности (float16) для её хранения потребуется около 16 ГБ видеопамяти GPU, так как каждый параметр занимает 2 байта. Однако размер модели можно уменьшить с помощью квантования. Если модель квантована до 4 бит (или до половины байта на параметр), для неё потребуется лишь около 3,5 ГБ памяти.

Квантование модели сводится к передаче параметра quantization_config в модель. Кодовый фрагмент выше можно изменить, применив следующие правки. Мы будем использовать квантование BitsAndyBytes (с другими методами квантования можно ознакомиться на этой странице):

+ from transformers import BitsAndBytesConfig

+ quantization_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_quant_type="nf4",
+    bnb_4bit_use_double_quant=True,
+    bnb_4bit_compute_dtype=torch.float16
+ )
model = Idefics2ForConditionalGeneration.from_pretrained(
    "HuggingFaceM4/idefics2-8b",
+    dtype=torch.float16,
+    quantization_config=quantization_config,
    device_map="auto",
)

Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены 🌎), которые помогут вам начать работу с Idefics2. Если вы хотите предложить ресурс для включения в этот список, пожалуйста, создайте Pull Request, и мы его рассмотрим! В идеале ресурс должен демонстрировать что-то новое, а не дублировать уже имеющийся.

Ноутбук с описанием того, как выполнить дообучение Idefics2 на собственном наборе данных с помощью Trainer, доступен здесь. Поддерживается как полное дообучение, так и (квантованный) LoRa.
Скрипт, описывающий, как дообучить Idefics2 с использованием библиотеки TRL, можно найти здесь.
Демо-ноутбук по дообучению Idefics2 для задач извлечения JSON можно найти здесь. 🌎

Transformers

Idefics2

Обзор

Советы по использованию

Оптимизации модели: Flash Attention

Сокращение Idefics2 с помощью квантования

Ресурсы

Idefics2Config

класс transformers.Idefics2Config

Idefics2VisionConfig

класс transformers.Idefics2VisionConfig

Idefics2PerceiverConfig

класс transformers.Idefics2PerceiverConfig

Idefics2Model

класс transformers.Idefics2Model

forward

get_image_features

Idefics2ForConditionalGeneration

класс transformers.Idefics2ForConditionalGeneration

forward

get_image_features

Idefics2ImageProcessor

класс transformers.Idefics2ImageProcessor

preprocess

Idefics2ImageProcessorPil

класс transformers.Idefics2ImageProcessorPil

preprocess

Idefics2Processor

класс transformers.Idefics2Processor

__call__

call