Transformers documentation
LLaVa-NeXT-Video
Mô hình này được công bố trên HF papers vào ngày 31-05-2024 và được đóng góp cho Hugging Face Transformers vào ngày 26-06-2024.
LLaVa-NeXT-Video
Tổng quan
Mô hình LLaVa-NeXT-Video được đề xuất trong LLaVA-NeXT: A Strong Zero-shot Video Understanding Model của Yuanhan Zhang, Bo Li, Haotian Liu, Yong Jae Lee, Liangke Gui, Di Fu, Jiashi Feng, Ziwei Liu, Chunyuan Li. LLaVa-NeXT-Video cải tiến so với LLaVa-NeXT bằng cách tinh chỉnh trên một tập dữ liệu hỗn hợp gồm video và hình ảnh, từ đó nâng cao hiệu suất của mô hình trên video.
LLaVA-NeXT bất ngờ đạt hiệu suất mạnh mẽ trong việc hiểu nội dung video theo cách zero-shot nhờ kỹ thuật AnyRes mà nó sử dụng. Kỹ thuật AnyRes tự nhiên biểu diễn một hình ảnh độ phân giải cao thành nhiều hình ảnh. Kỹ thuật này có khả năng tổng quát hóa tự nhiên để biểu diễn video vì video có thể được xem như một tập hợp các khung hình (tương tự như một tập hợp các hình ảnh trong LLaVa-NeXT). Phiên bản hiện tại của LLaVA-NeXT sử dụng AnyRes và huấn luyện bằng fine-tuning có giám sát (SFT) trên dữ liệu video dựa trên LLaVA-Next để đạt được khả năng hiểu video tốt hơn. Mô hình này là SOTA hiện tại trong số các mô hình mã nguồn mở trên VideoMME bench.
Phần giới thiệu từ blog như sau:
Ngày 30 tháng 1 năm 2024, chúng tôi đã phát hành LLaVA-NeXT, một Mô hình Đa phương thức Lớn (LMM) mã nguồn mở được huấn luyện hoàn toàn trên dữ liệu văn bản-hình ảnh. Với kỹ thuật AnyRes được đề xuất, nó nâng cao khả năng suy luận, OCR và kiến thức thế giới, thể hiện hiệu suất đáng kể trên một phổ các tác vụ hiểu đa phương thức dựa trên hình ảnh, thậm chí vượt qua Gemini-Pro trên một số bộ chuẩn hình ảnh, chẳng hạn như MMMU và MathVista.
**Trong phần khám phá hôm nay, chúng ta đi sâu vào hiệu suất của LLaVA-NeXT trong lĩnh vực các tác vụ hiểu video. Chúng tôi chỉ ra rằng LLaVA-NeXT bất ngờ có hiệu suất mạnh mẽ trong việc hiểu nội dung video. Phiên bản hiện tại của LLaVA-NeXT cho video có một số cải tiến:**
- Khả năng biểu diễn video zero-shot với AnyRes: Kỹ thuật AnyRes tự nhiên biểu diễn một hình ảnh độ phân giải cao thành nhiều hình ảnh mà một VIT được huấn luyện trước có thể xử lý, và kết hợp chúng thành một chuỗi nối tiếp. Kỹ thuật này có thể tổng quát hóa một cách tự nhiên để biểu diễn video (gồm nhiều khung hình), cho phép mô hình LLaVA-Next chỉ được huấn luyện trên hình ảnh hoạt động bất ngờ tốt trên các tác vụ video. Đáng chú ý, đây là lần đầu tiên các LMM thể hiện khả năng chuyển đổi phương thức zero-shot mạnh mẽ.
- Suy luận với khả năng tổng quát hóa độ dài cho kết quả tốt hơn trên các video dài. Kỹ thuật mở rộng tuyến tính cho phép tổng quát hóa độ dài, giúp LLaVA-NeXT xử lý hiệu quả các video dài vượt quá giới hạn “max_token_length” của LLM.
- Khả năng hiểu video mạnh mẽ. (1) LLaVA-Next-Image, kết hợp hai kỹ thuật nêu trên, cho hiệu suất zero-shot vượt trội hơn so với các LMM mã nguồn mở được tinh chỉnh trên video. (2) LLaVA-Next-Video, thực hiện giám sát tinh chỉnh (SFT) LLaVA-Next-Image trên dữ liệu video, đạt được khả năng hiểu video tốt hơn so với LLaVA-Next-Image. (3) LLaVA-Next-Video-DPO, căn chỉnh phản hồi của mô hình với phản hồi từ AI bằng tối ưu hóa sở thích trực tiếp (DPO), cho thấy sự cải thiện hiệu suất đáng kể.
- Triển khai và suy luận hiệu quả với SGLang. Nó cho phép suy luận nhanh gấp 5 lần trên các tác vụ video, hỗ trợ việc phục vụ có khả năng mở rộng hơn, chẳng hạn như gán lại chú thích cho video ở quy mô hàng triệu. Xem hướng dẫn trong kho lưu trữ của chúng tôi.**
Mô hình này được đóng góp bởi RaushanTurganbay. Mã nguồn gốc có thể được tìm thấy tại đây.
Mẹo sử dụng
- Chúng tôi khuyên người dùng nên sử dụng
padding_side="left"khi tính toán sinh theo lô (batched generation) vì điều này cho kết quả chính xác hơn. Chỉ cần đảm bảo gọiprocessor.tokenizer.padding_side = "left"trước khi sinh.
- Llava-Next sử dụng số lượng patch khác nhau cho các hình ảnh, do đó phải đệm (pad) các đầu vào bên trong mã mô hình hóa, ngoài việc đệm được thực hiện khi xử lý các đầu vào. Cài đặt mặc định là “left-padding” nếu mô hình ở chế độ
eval(), ngược lại là “right-padding”.
Các mô hình LLaVA sau bản phát hành v4.46 sẽ phát ra cảnh báo về việc thêm
processor.patch_size = {{patch_size}},processor.num_additional_image_tokens = {{num_additional_image_tokens}}vàprocessor.vision_feature_select_strategy = {{vision_feature_select_strategy}}. Bạn nên thêm các thuộc tính này vào processor nếu bạn sở hữu checkpoint của mô hình, hoặc mở một PR nếu checkpoint không thuộc về bạn. Việc thêm các thuộc tính này có nghĩa là LLaVA sẽ cố gắng suy luận số lượng token hình ảnh cần thiết cho mỗi hình ảnh và mở rộng văn bản với số lượng placeholder<image>tương ứng với số token đó. Thông thường, mỗi hình ảnh cần khoảng 500 token, vì vậy hãy đảm bảo rằng văn bản không bị cắt cụt, nếu không sẽ xảy ra lỗi khi gộp các embeddings. Các thuộc tính này có thể lấy từ cấu hình mô hình, dưới dạngmodel.config.vision_config.patch_sizehoặcmodel.config.vision_feature_select_strategy. Giá trị củanum_additional_image_tokensnên là1nếu vision backbone thêm một token CLS, hoặc0nếu không có gì thêm được bổ sung vào các vision patches.
Định dạng Prompt với Mẫu Chat
Mỗi checkpoint được huấn luyện với một định dạng prompt cụ thể, tùy thuộc vào backbone của mô hình ngôn ngữ lớn bên dưới. Để đảm bảo định dạng chính xác, hãy sử dụng phương thức apply_chat_template của processor.
Quan trọng:
- Bạn phải xây dựng lịch sử hội thoại — việc truyền một chuỗi thông thường sẽ không hoạt động.
- Mỗi thông điệp phải là một từ điển có các khóa
"role"và"content". "content"nên là một danh sách các từ điển cho các chế độ (modality) khác nhau như"text"và"image".
Dưới đây là một ví dụ về cách cấu trúc đầu vào của bạn. Chúng ta sẽ sử dụng LLaVA-NeXT-Video-7B-hf và lịch sử hội thoại gồm các video và hình ảnh.
from transformers import LlavaNextVideoProcessor
processor = LlavaNextVideoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
conversation = [
{
"role": "system",
"content": [
{"type": "text", "text": "A chat between a curious human and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the human's questions."},
],
},
{
"role": "user",
"content": [
{"type": "text", "text": "What’s shown in this image?"},
{"type": "image"},
],
},
{
"role": "assistant",
"content": [{"type": "text", "text": "This image shows a red stop sign."},]
},
{
"role": "user",
"content": [
{"type": "text", "text": "Why is this video funny?"},
{"type": "video"},
],
},
]
text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
# Note that the template simply formats your prompt, you still have to tokenize it and obtain pixel values for your visuals
print(text_prompt)🚀 Phần thưởng: Nếu bạn đang sử dụng transformers>=4.49.0, bạn cũng có thể nhận được đầu ra dạng vector từ apply_chat_template. Xem Ví dụ sử dụng bên dưới để biết thêm chi tiết về cách sử dụng.
Ví dụ sử dụng
Chế độ phương tiện đơn
Mô hình có thể nhận cả hình ảnh và video làm đầu vào. Dưới đây là một mã ví dụ cho suy luận ở độ chính xác nửa (torch.float16):
from huggingface_hub import hf_hub_download
from transformers import LlavaNextVideoForConditionalGeneration, LlavaNextVideoProcessor
# Load the model in half-precision
model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf", device_map="auto")
processor = LlavaNextVideoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
# Load the video as an np.array, sampling uniformly 8 frames (can sample more for longer videos)
video_path = hf_hub_download(repo_id="raushan-testing-hf/videos-test", filename="sample_demo_1.mp4", repo_type="dataset")
conversation = [
{
"role": "user",
"content": [
{"type": "text", "text": "Why is this video funny?"},
{"type": "video", "path": video_path},
],
},
]
inputs = processor.apply_chat_template(conversation, num_frames=8, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=60)
processor.batch_decode(out, skip_special_tokens=True, clean_up_tokenization_spaces=True)Chế độ Phương tiện hỗn hợp
Mô hình cũng có thể tạo nội dung từ các đầu vào hình ảnh và video xen kẽ. Tuy nhiên, cần lưu ý rằng mô hình không được huấn luyện trong cấu hình hình ảnh-video xen kẽ, điều này có thể ảnh hưởng đến hiệu suất. Dưới đây là một ví dụ sử dụng đầu vào phương tiện hỗn hợp, hãy thêm các dòng sau vào đoạn mã ở trên:
# Generate from image and video mixed inputs
conversation = [
{
"role": "user",
"content": [
{"type": "text", "text": "How many cats are there in the image?"},
{"type": "image", "url": "http://images.cocodataset.org/val2017/000000039769.jpg"},
],
},
{
"role": "assistant",
"content": [{"type": "text", "text": "There are two cats"}],
},
{
"role": "user",
"content": [
{"type": "text", "text": "Why is this video funny?"},
{"type": "video", "path": video_path},
],
},
]
inputs = processor.apply_chat_template(conversation, num_frames=8, add_generation_prompt=True, tokenize=True, return_dict=True, padding=True, return_tensors="pt").to(model.device)
# Generate
generate_ids = model.generate(**inputs, max_length=50)
processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
Tối ưu hóa mô hình
Lượng tử hóa sử dụng Bitsandbytes để tối ưu hiệu quả bộ nhớ
Mô hình có thể được nạp ở các bit thấp hơn, giảm đáng kể gánh nặng bộ nhớ trong khi vẫn duy trì hiệu suất của mô hình gốc. Điều này cho phép triển khai hiệu quả trong các trường hợp tài nguyên bị hạn chế.
Đầu tiên, hãy đảm bảo cài đặt bitsandbytes bằng cách chạy pip install bitsandbytes và có quyền truy cập vào GPU/bộ tăng tốc được thư viện hỗ trợ.
bitsandbytes đang được tái cấu trúc để hỗ trợ nhiều backend khác ngoài CUDA. Hiện tại, các triển khai ROCm (GPU AMD) và Intel CPU đã trưởng thành, trong khi Intel XPU đang được phát triển và hỗ trợ Apple Silicon dự kiến có mặt vào Q4/Q1. Để xem hướng dẫn cài đặt và các cập nhật backend mới nhất, hãy truy cập liên kết này.
Chúng tôi rất coi trọng phản hồi của bạn để giúp xác định các lỗi trước khi phát hành chính thức! Xem những tài liệu này để biết thêm chi tiết và các liên kết phản hồi.
Sau đó, chỉ cần tải mô hình đã lượng tử hóa bằng cách thêm BitsAndBytesConfig như minh họa bên dưới:
from transformers import LlavaNextVideoForConditionalGeneration
# specify how to quantize the model
quantization_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.float16,
)
model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf", quantization_config=quantization_config, device_map="auto")Flash-Attention 2 để tăng tốc độ sinh
Ngoài ra, chúng ta có thể tăng tốc đáng kể quá trình suy luận của mô hình bằng cách sử dụng Flash Attention, một cách triển khai nhanh hơn của cơ chế chú ý được sử dụng bên trong mô hình.
Đầu tiên, hãy đảm bảo cài đặt phiên bản mới nhất của Flash Attention 2:
pip install -U flash-attn --no-build-isolation
Ngoài ra, bạn cần có phần cứng tương thích với Flash-Attention 2. Đọc thêm về điều này trong tài liệu chính thức của flash attention repository. FlashAttention-2 chỉ có thể được sử dụng khi mô hình được nạp ở torch.float16 hoặc torch.bfloat16.
Để tải và chạy một mô hình bằng Flash Attention-2, chỉ cần thêm attn_implementation="flash_attention_2" khi tải mô hình như sau:
from transformers import LlavaNextVideoForConditionalGeneration
model = LlavaNextVideoForConditionalGeneration.from_pretrained(
"llava-hf/LLaVA-NeXT-Video-7B-hf", ,
attn_implementation="flash_attention_2",
).to(0, device_map="auto")LlavaNextVideoConfig
lớp transformers.LlavaNextVideoConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneimage_token_index: int = 32001video_token_index: int = 32000projector_hidden_act: str = 'gelu'vision_feature_select_strategy: typing.Literal['default', 'full'] = 'default'vision_feature_layer: int | list[int] = -2multimodal_projector_bias: bool = Truetie_word_embeddings: bool = Falseimage_grid_pinpoints: list | None = Nonespatial_pool_mode: str = 'average'spatial_pool_stride: int = 2image_seq_length: int = 576video_seq_length: int = 288 )
Tham số
- vision_config (
Union[dict, ~configuration_utils.PreTrainedConfig], tùy chọn) — Đối tượng cấu hình hoặc từ điển của bộ khung thị giác. - text_config (
Union[dict, ~configuration_utils.PreTrainedConfig], tùy chọn) — Đối tượng cấu hình hoặc từ điển của bộ khung văn bản. - image_token_index (
int, tùy chọn, mặc định là32001) — Chỉ số token hình ảnh được dùng làm ký tự thay thế cho các hình ảnh đầu vào. - video_token_index (
int, tùy chọn, mặc định là32000) — Chỉ số token video được dùng làm ký tự thay thế cho các video đầu vào. - projector_hidden_act (
str, tùy chọn, mặc định làgelu) — Hàm kích hoạt được sử dụng bởi bộ chiếu đa phương thức. - vision_feature_select_strategy (
Literal[default, full], tùy chọn, mặc định làdefault) — Chiến lược chọn đặc trưng được sử dụng để chọn đặc trưng thị giác từ bộ khung thị giác. - vision_feature_layer (
Union[int, list[int]], tùy chọn, mặc định là-2) — Chỉ số của lớp để chọn đặc trưng thị giác. Nếu cung cấp nhiều chỉ số, đặc trưng thị giác của các chỉ số tương ứng sẽ được nối lại với nhau để tạo thành các đặc trưng thị giác. - multimodal_projector_bias (
bool, tùy chọn, mặc định làTrue) — Có sử dụng bias trong bộ chiếu đa phương thức hay không. - tie_word_embeddings (
bool, tùy chọn, mặc định làFalse) — Có nên gắn kết các trọng số nhúng theo ánh xạtied_weights_keyscủa mô hình hay không. - image_grid_pinpoints (
List, tùy chọn, mặc định là[[336, 672], [672, 336], [672, 672], [1008, 336], [336, 1008]]) — Một danh sách các độ phân giải khả dụng để xử lý ảnh độ phân giải cao. Mỗi phần tử trong danh sách phải là một tuple hoặc list có dạng(height, width). - spatial_pool_mode (
str, tùy chọn, mặc định là"average") — Chế độ pooling sử dụng cho video. Có thể là “average”, “max” hoặc “conv”. - spatial_pool_stride (
int, tùy chọn, mặc định là 2) — Stride được sử dụng trong lớp pooling cho video. - image_seq_length (
int, tùy chọn, mặc định là576) — Chiều dài chuỗi của một embedding ảnh. - video_seq_length (
int, tùy chọn, mặc định là288) — Chiều dài chuỗi của một embedding video.
Đây là lớp cấu hình để lưu trữ cấu hình của một LlavaNextVideoModel. Nó được sử dụng để khởi tạo một mô hình Llava Next Video theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của llava-hf/LLaVA-NeXT-Video-7B-hf
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
Ví dụ:
>>> from transformers import LlavaNextVideoForConditionalGeneration, LlavaNextVideoConfig, CLIPVisionConfig, LlamaConfig
>>> # Initializing a CLIP-vision config
>>> vision_config = CLIPVisionConfig()
>>> # Initializing a Llama config
>>> text_config = LlamaConfig()
>>> configuration = LlavaNextVideoConfig(vision_config, text_config)
>>> model = LlavaNextVideoForConditionalGeneration(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configLlavaNextVideoProcessor
lớp transformers.LlavaNextVideoProcessor
< source >( video_processor = Noneimage_processor = Nonetokenizer = Nonechat_template = Nonepatch_size = Nonevision_feature_select_strategy = Nonevideo_token = '<video>'image_token = '<image>'num_additional_image_tokens = 0**kwargs )
Tham số
- video_processor (
LlavaNextVideoVideoProcessor) — Bộ xử lý video là một đầu vào bắt buộc. - image_processor (
LlavaNextImageProcessor) — Bộ xử lý ảnh là một đầu vào bắt buộc. - tokenizer (
tokenizer_class) — Tokenizer là đầu vào bắt buộc. - chat_template (
str) — Một mẫu Jinja để chuyển đổi các danh sách tin nhắn trong một cuộc trò chuyện thành chuỗi có thể token hóa. - patch_size (
int, tùy chọn) — Kích thước patch từ vision tower. - vision_feature_select_strategy (
str, tùy chọn) — Chiến lược chọn đặc trưng được dùng để chọn đặc trưng thị giác từ bộ khung thị giác. Phải giống với cấu hình của mô hình - video_token (
str, tùy chọn, mặc định là"<video>") — Token đặc biệt được sử dụng để chỉ định vị trí video. - image_token (
str, tùy chọn, mặc định là"<image>") — Token đặc biệt được sử dụng để chỉ định vị trí của hình ảnh. - num_additional_image_tokens (
int, tuỳ chọn, mặc định là 0) — Số lượng token bổ sung được thêm vào các embedding của ảnh, chẳng hạn như CLS (+1). Nếu backbone không có CLS hay các token bổ sung khác được nối thêm, không cần thiết lập tham số này.
Tạo một LlavaNextVideoProcessor, đóng gói một video processor, một image processor và một tokenizer thành một processor duy nhất.
LlavaNextVideoProcessor cung cấp đầy đủ các chức năng của LlavaNextVideoVideoProcessor, LlavaNextImageProcessor và tokenizer_class. Xem ~LlavaNextVideoVideoProcessor, ~LlavaNextImageProcessor và ~tokenizer_class để biết thêm thông tin.
LlavaNextVideoVideoProcessor
lớp transformers.LlavaNextVideoVideoProcessor
< source >( **kwargs: *<class 'transformers.processing_utils.VideosKwargs'> )
Tham số
- do_convert_rgb (
bool, kwargs, tuỳ chọn, mặc định làTrue) — Có chuyển đổi ảnh sang RGB hay không. - do_resize (
bool, kwargs, tuỳ chọn, mặc định làTrue) — Có nên thay đổi kích thước ảnh hay không. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, mặc định là{'shortest_edge' -- 224}): Mô tả kích thước đầu vào tối đa của mô hình. - default_to_square (
bool, kwargs, tuỳ chọn, mặc định làFalse) — Có nên mặc định dùng ảnh vuông khi thay đổi kích thước không, nếu size là một số nguyên. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, mặc định là3) — Bộ lọc lấy mẫu lại (resampling filter) được sử dụng khi thay đổi kích thước ảnh. Giá trị này có thể là một trong các hằng số liệt kê (enum) củaPILImageResampling. Chỉ có hiệu lực khido_resizeđược đặt thànhTrue. - do_rescale (
bool, kwargs, tuỳ chọn, mặc định làTrue) — Có nên điều chỉnh lại tỷ lệ ảnh hay không. - rescale_factor (
float, kwargs, optional, mặc định là0.00392156862745098) — Hệ số rescale để rescale ảnh nếudo_rescaleđược đặt thànhTrue. - do_normalize (
bool, kwargs, tuỳ chọn, mặc định làTrue) — Có nên chuẩn hóa hình ảnh hay không. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, optional, mặc định là[0.48145466, 0.4578275, 0.40821073]) — Giá trị trung bình của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếudo_normalizeđược đặt thànhTrue. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, optional, mặc định là[0.26862954, 0.26130258, 0.27577711]) — Độ lệch chuẩn của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếudo_normalizeđược đặt thànhTrue. - do_center_crop (
bool, kwargs, tuỳ chọn, mặc định làTrue) — Có nên cắt ảnh ở vị trí trung tâm hay không. - do_pad (
bool, kwargs, optional) — Có nên chèn padding cho ảnh hay không. Padding được thực hiện đến kích thước lớn nhất trong batch hoặc đến một kích thước vuông cố định cho mỗi ảnh. Chiến lược padding cụ thể phụ thuộc vào model. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, mặc định là{'height' -- 224, 'width': 224}): Kích thước của ảnh đầu ra sau khi áp dụngcenter_crop. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Chỉ hỗ trợChannelDimension.FIRST. Được thêm vào để tương thích với các bộ xử lý chậm. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, tùy chọn) — Định dạng chiều kênh cho ảnh đầu vào. Nếu không được đặt, định dạng chiều kênh sẽ được suy ra từ ảnh đầu vào. Có thể là một trong các giá trị:"channels_first"hoặcChannelDimension.FIRST: ảnh ở định dạng (num_channels, height, width)."channels_last"hoặcChannelDimension.LAST: ảnh ở định dạng (height, width, num_channels)."none"hoặcChannelDimension.NONE: ảnh ở định dạng (chiều cao, chiều rộng).
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — Thiết bị để xử lý các video. Nếu không được đặt, thiết bị sẽ được suy ra từ các video đầu vào. - do_sample_frames (
bool, kwargs, tuỳ chọn, mặc định làFalse) — Có lấy mẫu các khung hình từ video trước khi xử lý hay xử lý toàn bộ video hay không. - video_metadata (
Annotated[~video_utils.VideoMetadata | dict | list[dict | ~video_utils.VideoMetadata] | list[list[dict | ~video_utils.VideoMetadata]] | None, None], kwargs) — Metadata của video, chứa thông tin về tổng thời lượng, fps và tổng số khung hình. Nó sẽ được sử dụng để lấy mẫu các khung hình từ video hoặc tính toán mốc thời gian. Không truyền bất kỳ metadata nào trừ khi bạn đang cố gắng giải mã video thủ công trước khi xử lý - fps (
Annotated[int | float | None, None], kwargs) — Số khung hình mục tiêu cần lấy mẫu mỗi giây khido_sample_frames=True. - num_frames (
Annotated[int | None, None], kwargs) — Số khung hình tối đa cần lấy mẫu khido_sample_frames=True. - return_metadata (
bool, kwargs, tuỳ chọn, mặc định làFalse) — Có trả về metadata của video hay không. Video metadata là một đối tượng chứa thông tin về thời lượng video, fps, backend giải mã, v.v. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Nếu được đặt, sẽ trả về tensor của một framework cụ thể. Các giá trị chấp nhận được là:'pt': Trả về các đối tượngtorch.Tensorcủa PyTorch.'np': Trả về các đối tượngnp.ndarraycủa NumPy.
- **kwargs (VideosKwargs, optional) — Các tùy chọn xử lý bổ sung cho từng phương thức (text, hình ảnh, video, âm thanh). Các tham số cụ thể của model được liệt kê ở trên; xem lớp TypedDict để biết danh sách đầy đủ các đối số được hỗ trợ.
Tạo một bộ xử lý video LlavaNextVideoVideoProcessor.
LlavaNextVideoModel
lớp transformers.LlavaNextVideoModel
< source >( config: LlavaNextVideoConfig )
Tham số
- config (LlavaNextVideoConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.
Mô hình Llava-Next bao gồm một bộ khung thị giác và một mô hình ngôn ngữ không có đầu mô hình hóa ngôn ngữ.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Nonepixel_values: typing.Optional[torch.Tensor] = Nonepixel_values_videos: typing.Optional[torch.Tensor] = Noneimage_sizes: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonevision_feature_layer: int | list[int] | None = Nonevision_feature_select_strategy: str | None = Noneuse_cache: bool | None = Nonemm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None**kwargs: *<class 'transformers.modeling_flash_attention_utils.FlashAttentionKwargs'> ) → LlavaNextVideoModelOutputWithPast or tuple(torch.Tensor)
Tham số
- input_ids (
torch.LongTensorcó dạng(batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.
- pixel_values (
torch.Tensorcó hình dạng(batch_size, num_channels, image_size, image_size), tùy chọn) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng LlavaNextImageProcessor. Xem LlavaNextImageProcessor.call() để biết chi tiết (LlavaNextVideoProcessor sử dụng LlavaNextImageProcessor để xử lý hình ảnh). - pixel_values_videos (
torch.Tensorcó hình dạng(batch_size, num_frames, num_channels, frame_size, frame_size), tùy chọn) — Các tensor tương ứng với video đầu vào. Giá trị pixel cho video có thể được lấy bằng cách sử dụng LlavaNextVideoVideoProcessor. Xem LlavaNextVideoVideoProcessor.call() để biết chi tiết (LlavaNextVideoProcessor sử dụng LlavaNextVideoVideoProcessor để xử lý video). - image_sizes (
torch.LongTensorcó hình dạng(batch_size, 2), tùy chọn) — Kích thước của các hình ảnh trong batch, là (chiều cao, chiều rộng) cho mỗi hình ảnh. - attention_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- position_ids (
torch.LongTensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồmpast_key_valuesđược trả về bởi mô hình ở một giai đoạn giải mã trước đó, khiuse_cache=Truehoặcconfig.use_cache=True.Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền
past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.
Nếu
past_key_valuesđược sử dụng, người dùng được kỳ vọng chỉ nhậpinput_idschưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng(batch_size, unprocessed_length)thay vì toàn bộinput_idscó hình dạng(batch_size, sequence_length). - inputs_embeds (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyềninput_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ sốinput_idsthành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. - vision_feature_layer (
Union[int, list[int]], tùy chọn) — Chỉ số của lớp để chọn đặc trưng thị giác. Nếu cung cấp nhiều chỉ số, đặc trưng thị giác của các chỉ số tương ứng sẽ được nối lại với nhau để tạo thành các đặc trưng thị giác. - vision_feature_select_strategy (
str, tuỳ chọn, mặc định là"default") — Chiến lược chọn đặc trưng được sử dụng để chọn đặc trưng thị giác từ bộ khung thị giác. Có thể là"default"hoặc"full". Nếu là"default", token CLS sẽ bị loại bỏ khỏi các đặc trưng thị giác. Nếu là"full", toàn bộ các đặc trưng thị giác sẽ được sử dụng. - use_cache (
bool, tùy chọn) — Nếu đặt thànhTrue, các trạng thái key value củapast_key_valuessẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xempast_key_values). - mm_encoder_outputs (
dict[str, ~modeling_outputs.BaseModelOutputWithPooling], tùy chọn) — Dict trong đó các khóa là các chế độ (modality) được hỗ trợ và các giá trị là kết quả mã hóa cho chế độ đó. Mỗi kết quả mã hóa là một tuple gồm (pooler_output, tùy chọn:last_hidden_states, tùy chọn:hidden_states, tùy chọn:attentions)pooler_outputcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) là một chuỗi các đặc trưng đa phương tiện của bộ mã hóa đã được hợp nhất vào các nhúng văn bản.
Trả về
LlavaNextVideoModelOutputWithPast hoặc tuple(torch.Tensor)
Một LlavaNextVideoModelOutputWithPast hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (LlavaNextVideoConfig) và đầu vào.
Phương thức forward của LlavaNextVideoModel ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
last_hidden_state (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.Nếu
past_key_valuesđược sử dụng, chỉ có hidden-state cuối cùng của các chuỗi có shape(batch_size, 1, hidden_size)được xuất ra.past_key_values (
Cache, tùy chọn, được trả về khiuse_cache=Trueđược truyền vào hoặc khiconfig.use_cache=True) — Đây là một instance của Cache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention) có thể được sử dụng (xem đầu vào
past_key_values) để tăng tốc độ giải mã tuần tự.hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
image_hidden_states (
torch.Tensor, tuỳ chọn) — Mộttorch.Tensorcó kích thước(batch_size, num_images, sequence_length, hidden_size). image_hidden_states của mô hình do bộ mã hóa thị giác tạo ra và sau khi chiếu trạng thái ẩn cuối cùng.video_hidden_states (
torch.Tensor, tùy chọn) — Mộttorch.Tensorcó kích thước(batch_size * num_frames, num_videos, sequence_length, hidden_size). video_hidden_states của mô hình do bộ mã hóa thị giác tạo ra và sau khi chiếu trạng thái ẩn cuối cùng.
get_image_features
< source >( pixel_values: Tensorimage_sizes: Tensorvision_feature_layer: int | list[int] | None = Nonevision_feature_select_strategy: str | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)
Tham số
- pixel_values (
torch.Tensorcó hình dạng(batch_size, num_patches, channels, height, width)) — Các tensor tương ứng với các hình ảnh đầu vào. - image_sizes (
torch.Tensorcó hình dạng(num_images, 2)) — Kích thước ảnh thực tế của từng ảnh (H, W). - vision_feature_layer (
Union[int, list[int]], tùy chọn) — Chỉ số của lớp để chọn đặc trưng thị giác. Nếu cung cấp nhiều chỉ số, đặc trưng thị giác của các chỉ số tương ứng sẽ được nối lại với nhau để tạo thành các đặc trưng thị giác. - image_sizes (
torch.Tensorcó hình dạng(batch_size, 2)) — Kích thước của các hình ảnh trong batch, là (chiều cao, chiều rộng) cho mỗi hình ảnh. - vision_feature_layer (
Union[int, list[int]], tùy chọn) — Chỉ số của lớp để chọn đặc trưng thị giác. Nếu cung cấp nhiều chỉ số, đặc trưng thị giác của các chỉ số tương ứng sẽ được nối lại với nhau để tạo thành các đặc trưng thị giác. - vision_feature_select_strategy (
str, tùy chọn) — Chiến lược chọn đặc trưng được sử dụng để chọn đặc trưng thị giác từ bộ khung thị giác. Có thể là"default"hoặc"full"
Trả về
BaseModelOutputWithPooling hoặc tuple(torch.Tensor)
Một BaseModelOutputWithPooling hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (LlavaNextVideoConfig) và đầu vào.
Lấy trạng thái ẩn cuối cùng của hình ảnh từ tháp thị giác và áp dụng phép chiếu đa phương tiện.
last_hidden_state (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.pooler_output (
torch.Tensorcó hình dạng(batch_size, hidden_size)) — Trạng thái ẩn của lớp cuối cùng của token đầu tiên trong chuỗi (token phân loại) sau khi được xử lý thêm qua các lớp được sử dụng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện.hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
get_placeholder_mask
< source >( input_ids: LongTensorinputs_embeds: Tensorimage_features: typing.Optional[torch.Tensor] = Nonevideo_features: typing.Optional[torch.Tensor] = None )
Lấy mặt nạ placeholder đa phương thức từ input_ids hoặc inputs_embeds, và kiểm tra xem số lượng token placeholder có bằng với độ dài của các đặc trưng đa phương thức hay không. Nếu độ dài khác nhau, một lỗi sẽ được ném ra.
get_video_features
< source >( pixel_values_videos: Tensorvision_feature_layer: int | list[int] | None = Nonevision_feature_select_strategy: str | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)
Tham số
- pixel_values_videos (
torch.Tensor]có hình dạng(batch_size, num_frames, channels, height, width)) — Các tensor tương ứng với video đầu vào. - vision_feature_layer (
Union[int, list[int]], tùy chọn) — Chỉ số của lớp để chọn đặc trưng thị giác. Nếu cung cấp nhiều chỉ số, đặc trưng thị giác của các chỉ số tương ứng sẽ được nối lại với nhau để tạo thành các đặc trưng thị giác. - vision_feature_layer (
Union[int, list[int]], tùy chọn) — Chỉ số của lớp để chọn đặc trưng thị giác. Nếu cung cấp nhiều chỉ số, đặc trưng thị giác của các chỉ số tương ứng sẽ được nối lại với nhau để tạo thành các đặc trưng thị giác. - vision_feature_select_strategy (
str, tùy chọn) — Chiến lược chọn đặc trưng được sử dụng để chọn đặc trưng thị giác từ bộ khung thị giác. Có thể là"default"hoặc"full"
Trả về
BaseModelOutputWithPooling hoặc tuple(torch.Tensor)
Một BaseModelOutputWithPooling hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (LlavaNextVideoConfig) và đầu vào.
Lấy trạng thái ẩn cuối cùng của video từ tháp thị giác và áp dụng phép chiếu đa phương tiện.
last_hidden_state (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.pooler_output (
torch.Tensorcó hình dạng(batch_size, hidden_size)) — Trạng thái ẩn của lớp cuối cùng của token đầu tiên trong chuỗi (token phân loại) sau khi được xử lý thêm qua các lớp được sử dụng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện.hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
pack_image_features
< source >( image_featuresimage_sizesvision_feature_select_strategyimage_newline = None )
Tham số
- image_features (
list[torch.Tensor]có độ dài num_images, mỗi phần tử có hình dạng(num_patches, image_length, embed_dim)) — Danh sách các tensor đặc trưng hình ảnh, mỗi tensor chứa toàn bộ đặc trưng thị giác của tất cả các patch. - image_sizes (
torch.Tensorcó hình dạng(num_images, 2)) — Kích thước ảnh thực tế của từng ảnh (H, W). - vision_feature_select_strategy (
str) — Chiến lược chọn đặc trưng được sử dụng để chọn đặc trưng thị giác từ bộ khung thị giác. - image_newline (
torch.Tensorcó hình dạng(embed_dim)) — Vector nhúng dòng mới.
Reshape, unpad và sau đó pack mỗi image_feature thành một tensor image_features duy nhất chứa tất cả các vector thị giác.
LlavaNextVideoForConditionalGeneration
lớp transformers.LlavaNextVideoForConditionalGeneration
< source >( config: LlavaNextVideoConfig )
Tham số
- config (LlavaNextVideoConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.
Mô hình LLAVA-NeXT bao gồm một bộ khung thị giác và một mô hình ngôn ngữ.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Nonepixel_values: typing.Optional[torch.Tensor] = Nonepixel_values_videos: typing.Optional[torch.Tensor] = Noneimage_sizes: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonevision_feature_layer: int | list[int] | None = Nonevision_feature_select_strategy: str | None = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → LlavaNextVideoCausalLMOutputWithPast or tuple(torch.Tensor)
Tham số
- input_ids (
torch.LongTensorcó dạng(batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.
- pixel_values (
torch.Tensorcó hình dạng(batch_size, num_channels, image_size, image_size), tùy chọn) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng LlavaNextImageProcessor. Xem LlavaNextImageProcessor.call() để biết chi tiết (LlavaNextVideoProcessor sử dụng LlavaNextImageProcessor để xử lý hình ảnh). - pixel_values_videos (
torch.Tensorcó hình dạng(batch_size, num_frames, num_channels, frame_size, frame_size), tùy chọn) — Các tensor tương ứng với video đầu vào. Giá trị pixel cho video có thể được lấy bằng cách sử dụng LlavaNextVideoVideoProcessor. Xem LlavaNextVideoVideoProcessor.call() để biết chi tiết (LlavaNextVideoProcessor sử dụng LlavaNextVideoVideoProcessor để xử lý video). - image_sizes (
torch.LongTensorcó hình dạng(batch_size, 2), tùy chọn) — Kích thước của các hình ảnh trong batch, là (chiều cao, chiều rộng) cho mỗi hình ảnh. - attention_mask (
torch.Tensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong[0, 1]:- 1 cho các token không bị che,
- 0 cho các token bị che.
- position_ids (
torch.LongTensorcó hình dạng(batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồmpast_key_valuesđược trả về bởi mô hình ở một giai đoạn giải mã trước đó, khiuse_cache=Truehoặcconfig.use_cache=True.Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền
past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.
Nếu
past_key_valuesđược sử dụng, người dùng được kỳ vọng chỉ nhậpinput_idschưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng(batch_size, unprocessed_length)thay vì toàn bộinput_idscó hình dạng(batch_size, sequence_length). - inputs_embeds (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyềninput_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ sốinput_idsthành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình. - vision_feature_layer (
Union[int, list[int]], tùy chọn) — Chỉ số của lớp để chọn đặc trưng thị giác. Nếu cung cấp nhiều chỉ số, đặc trưng thị giác của các chỉ số tương ứng sẽ được nối lại với nhau để tạo thành các đặc trưng thị giác. - vision_feature_select_strategy (
str, tùy chọn) — Chiến lược chọn đặc trưng được sử dụng để chọn đặc trưng thị giác từ bộ khung thị giác. Có thể là"default"hoặc"full". - labels (
torch.LongTensorcó shape(batch_size, sequence_length), tùy chọn) — Nhãn để tính toán tổn thất mô hình hóa ngôn ngữ có che (masked language modeling loss). Chỉ số phải nằm trong[0, ..., config.vocab_size]hoặc -100 (xem docstring củainput_ids). Các token có chỉ số được đặt thành-100sẽ bị bỏ qua (che), tổn thất chỉ được tính cho các token có nhãn nằm trong[0, ..., config.vocab_size]. - use_cache (
bool, tùy chọn) — Nếu đặt thànhTrue, các trạng thái key value củapast_key_valuessẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xempast_key_values). - logits_to_keep (
Union[int, torch.Tensor], tùy chọn, mặc định là0) — Nếu làint, tính logits chologits_to_keeptoken cuối. Nếu là0, tính logits cho tất cảinput_ids(trường hợp đặc biệt). Chỉ cần logits của token cuối cho quá trình sinh, và việc chỉ tính cho token đó có thể tiết kiệm bộ nhớ, điều này trở nên khá đáng kể với các chuỗi dài hoặc kích thước từ vựng lớn. Nếu làtorch.Tensor, phải là 1 chiều tương ứng với các chỉ số cần giữ trong chiều độ dài chuỗi. Điều này hữu ích khi sử dụng định dạng tensor đóng gói (một chiều duy nhất cho batch và độ dài chuỗi). - mm_encoder_outputs (
dict[str, ~modeling_outputs.BaseModelOutputWithPooling], tùy chọn) — Dict trong đó các khóa là các chế độ (modality) được hỗ trợ và các giá trị là kết quả mã hóa cho chế độ đó. Mỗi kết quả mã hóa là một tuple gồm (pooler_output, tùy chọn:last_hidden_states, tùy chọn:hidden_states, tùy chọn:attentions)pooler_outputcó hình dạng(batch_size, sequence_length, hidden_size), tùy chọn) là một chuỗi các đặc trưng đa phương tiện của bộ mã hóa đã được hợp nhất vào các nhúng văn bản.
Trả về
LlavaNextVideoCausalLMOutputWithPast hoặc tuple(torch.Tensor)
Một LlavaNextVideoCausalLMOutputWithPast hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (LlavaNextVideoConfig) và đầu vào.
Phương thức forward của LlavaNextVideoForConditionalGeneration ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
loss (
torch.Tensorcó shape(1,), tùy chọn, được trả về khilabelsđược cung cấp) — Loss của language modeling (cho next-token prediction).logits (
torch.Tensorcó hình dạng(batch_size, sequence_length, config.vocab_size)) — Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token trong từ vựng trước SoftMax).past_key_values (
Cache, tùy chọn, được trả về khiuse_cache=Trueđược truyền vào hoặc khiconfig.use_cache=True) — Đây là một instance của Cache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention) có thể được sử dụng (xem đầu vào
past_key_values) để tăng tốc độ giải mã tuần tự.hidden_states (
tuple[torch.Tensor], tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple[torch.Tensor], tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
image_hidden_states (
torch.Tensor, tuỳ chọn) — Mộttorch.Tensorcó kích thước (batch_size * num_patches, num_images, sequence_length, hidden_size)`. image_hidden_states của mô hình do bộ mã hóa thị giác tạo ra và sau khi chiếu trạng thái ẩn cuối cùng.video_hidden_states (
torch.Tensor, tùy chọn) — Mộttorch.Tensorcó kích thước(batch_size * num_frames, num_videos, sequence_length, hidden_size). video_hidden_states của mô hình do bộ mã hóa thị giác tạo ra và sau khi chiếu trạng thái ẩn cuối cùng.
Ví dụ:
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import av
>>> from transformers import AutoProcessor, LlavaNextVideoForConditionalGeneration
>>> def read_video_pyav(container, indices):
... '''
... Decode the video with PyAV decoder.
... Args:
... container (`av.container.input.InputContainer`): PyAV container.
... indices (`list[int]`): List of frame indices to decode.
... Returns:
... result (np.ndarray): np array of decoded frames of shape (num_frames, height, width, 3).
... '''
... frames = []
... container.seek(0)
... start_index = indices[0]
... end_index = indices[-1]
... for i, frame in enumerate(container.decode(video=0)):
... if i > end_index:
... break
... if i >= start_index and i in indices:
... frames.append(frame)
... return np.stack([x.to_ndarray(format="rgb24") for x in frames])
>>> model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf", device_map="auto")
>>> processor = AutoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
>>> prompt = "USER: <video>\nWhy is this video funny? ASSISTANT:"
>>> video_path = hf_hub_download(repo_id="raushan-testing-hf/videos-test", filename="sample_demo_1.mp4", repo_type="dataset")
>>> container = av.open(video_path)
>>> # sample uniformly 8 frames from the video (model was trained with 32 frames per video, but this video is short)
>>> total_frames = container.streams.video[0].frames
>>> indices = np.arange(0, total_frames, total_frames / 8).astype(int)
>>> clip = read_video_pyav(container, indices)
>>> inputs_video = processor(text=prompt, videos=clip, return_tensors="pt").to(model.device)
>>> # load an image to generate from an image
>>> prompt = "USER:<image>\nWhat is shown in this image? ASSISTANT:"
>>> url = "https://www.ilankelman.org/stopsigns/australia.jpg"
>>> with httpx.stream("GET", url) as response:
... image = Image.open(BytesIO(response.read()))
>>> inputs_image = processor(text=prompt, images=image, return_tensors="pt").to(model.device)
>>> # Generate from video
>>> generate_ids = model.generate(**inputs_video, max_length=50)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"USER:\nWhy is this video funny? ASSISTANT: The humor in this video comes from the unexpected and endearing sight of a baby wearing glasses and (...)"
>>> # Generate from image
>>> generate_ids = model.generate(**inputs_image, max_length=30)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"USER: \nWhat's the content of the image? ASSISTANT: The image shows a red stop sign on a pole, with a traditional Chinese archway (...)"get_image_features
< source >( pixel_values: Tensorimage_sizes: Tensorvision_feature_layer: int | list[int] | None = Nonevision_feature_select_strategy: str | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)
Tham số
- pixel_values (
torch.Tensorcó hình dạng(batch_size, num_patches, channels, height, width)) — Các tensor tương ứng với các hình ảnh đầu vào. - image_sizes (
torch.Tensorcó hình dạng(num_images, 2)) — Kích thước ảnh thực tế của từng ảnh (H, W). - vision_feature_layer (
Union[int, list[int]], tùy chọn) — Chỉ số của lớp để chọn đặc trưng thị giác. Nếu cung cấp nhiều chỉ số, đặc trưng thị giác của các chỉ số tương ứng sẽ được nối lại với nhau để tạo thành các đặc trưng thị giác. - image_sizes (
torch.Tensorcó hình dạng(batch_size, 2)) — Kích thước của các hình ảnh trong batch, là (chiều cao, chiều rộng) cho mỗi hình ảnh. - vision_feature_layer (
Union[int, list[int]], tùy chọn) — Chỉ số của lớp để chọn đặc trưng thị giác. Nếu cung cấp nhiều chỉ số, đặc trưng thị giác của các chỉ số tương ứng sẽ được nối lại với nhau để tạo thành các đặc trưng thị giác. - vision_feature_select_strategy (
str, tùy chọn) — Chiến lược chọn đặc trưng được sử dụng để chọn đặc trưng thị giác từ bộ khung thị giác. Có thể là"default"hoặc"full"
Trả về
BaseModelOutputWithPooling hoặc tuple(torch.Tensor)
Một BaseModelOutputWithPooling hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (LlavaNextVideoConfig) và đầu vào.
last_hidden_state (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.pooler_output (
torch.Tensorcó hình dạng(batch_size, hidden_size)) — Trạng thái ẩn của lớp cuối cùng của token đầu tiên trong chuỗi (token phân loại) sau khi được xử lý thêm qua các lớp được sử dụng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện.hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
Ví dụ:
>>> from PIL import Image
>>> from transformers import AutoProcessor, LlavaNextVideoForConditionalGeneration
>>> model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
>>> processor = AutoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
>>> messages = [
... {
... "role": "user", "content": [
... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
... {"type": "text", "text": "Where is the cat standing?"},
... ]
... },
... ]
>>> inputs = processor.apply_chat_template(
... messages,
... tokenize=True,
... return_dict=True,
... return_tensors="pt",
... add_generation_prompt=True
... )
>>> # Generate
>>> generate_ids = model.generate(**inputs)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0]get_video_features
< source >( pixel_values_videos: Tensorvision_feature_layer: int | list[int] | None = Nonevision_feature_select_strategy: str | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)
Tham số
- pixel_values_videos (
torch.Tensor]có hình dạng(batch_size, num_frames, channels, height, width)) — Các tensor tương ứng với video đầu vào. - vision_feature_layer (
Union[int, list[int]], tùy chọn) — Chỉ số của lớp để chọn đặc trưng thị giác. Nếu cung cấp nhiều chỉ số, đặc trưng thị giác của các chỉ số tương ứng sẽ được nối lại với nhau để tạo thành các đặc trưng thị giác. - vision_feature_layer (
Union[int, list[int]], tùy chọn) — Chỉ số của lớp để chọn đặc trưng thị giác. Nếu cung cấp nhiều chỉ số, đặc trưng thị giác của các chỉ số tương ứng sẽ được nối lại với nhau để tạo thành các đặc trưng thị giác. - vision_feature_select_strategy (
str, tùy chọn) — Chiến lược chọn đặc trưng được sử dụng để chọn đặc trưng thị giác từ bộ khung thị giác. Có thể là"default"hoặc"full"
Trả về
BaseModelOutputWithPooling hoặc tuple(torch.Tensor)
Một BaseModelOutputWithPooling hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (LlavaNextVideoConfig) và đầu vào.
last_hidden_state (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.pooler_output (
torch.Tensorcó hình dạng(batch_size, hidden_size)) — Trạng thái ẩn của lớp cuối cùng của token đầu tiên trong chuỗi (token phân loại) sau khi được xử lý thêm qua các lớp được sử dụng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện.hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
Ví dụ:
>>> from PIL import Image
>>> from transformers import AutoProcessor, LlavaNextVideoForConditionalGeneration
>>> model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
>>> processor = AutoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
>>> messages = [
... {
... "role": "user", "content": [
... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
... {"type": "text", "text": "Where is the cat standing?"},
... ]
... },
... ]
>>> inputs = processor.apply_chat_template(
... messages,
... tokenize=True,
... return_dict=True,
... return_tensors="pt",
... add_generation_prompt=True
... )
>>> # Generate
>>> generate_ids = model.generate(**inputs)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0]