Transformers documentation

SmolVLM

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2025-04-07에 HF papers에 게시되었으며, 2025-02-20에 Hugging Face Transformers에 기여되었습니다.

SmolVLM

개요

SmolVLM2(블로그 포스트)는 Idefics3 모델의 변형으로, 두 가지 주요 차이점이 있습니다:

텍스트 모델로는 SmolLM2를 사용합니다.
멀티 이미지 및 비디오 입력을 지원합니다

use_kernels=True를 from_pretrained()에 설정하여 Hub의 최적화 커널로 지원되는 레이어를 대체합니다. 자세한 내용은 커널 로딩을 참고하세요.

사용 팁

입력 이미지는 리사이징이 활성화된 경우 업샘플링을 통해, 그렇지 않은 경우 원본 해상도로 처리됩니다. 리사이징 동작은 do_resize와 size 두 가지 매개변수에 따라 결정됩니다.

videos는 업샘플링(upsampling)하지 않아야 합니다.

do_resize가 True로 설정되면, 모델은 이미지의 가장 긴 변이 기본적으로 4512픽셀이 되도록 이미지를 리사이즈합니다. 기본 리사이즈 동작은 size 매개변수에 사전체를 전달하여 커스터마이즈할 수 있습니다. 예를 들어, `{“longest_edge”: 4 512}`가 기본값이지만, 필요에 따라 다른 값으로 변경할 수 있습니다.

크기 조절을 제어하고 사용자 지정 크기를 설정하는 방법은 다음과 같습니다:

image_processor = SmolVLMImageProcessor(do_resize=True, size={"longest_edge": 2 * 512}, max_image_size=512)

또한, 이미지가 분해되는 각 정사각형 패치의 크기를 제어하는 max_image_size 파라미터는 기본적으로 512로 설정되어 있지만 필요에 따라 조정할 수 있습니다. 리사이즈(해당하는 경우) 후, 이미지 프로세서는 max_image_size 파라미터를 기준으로 이미지를 정사각형 패치로 분해합니다.

이 모델은 orrzohar에 의해 기여되었습니다.

사용 예시

단일 미디어 추론

모델은 이미지와 비디오를 모두 입력으로 받을 수 있지만, 한 번에 하나의 모달리티만 사용해야 합니다. 이를 위한 예제 코드는 다음과 같습니다.

from transformers import AutoModelForImageTextToText, AutoProcessor


processor = AutoProcessor.from_pretrained("HuggingFaceTB/SmolVLM2-256M-Video-Instruct")
model = AutoModelForImageTextToText.from_pretrained(
    "HuggingFaceTB/SmolVLM2-256M-Video-Instruct",
    device_map="auto"
)

conversation = [
    {
        "role": "user",
        "content":[
            {"type": "image", "url": "http://images.cocodataset.org/val2017/000000039769.jpg"},
            {"type": "text", "text": "Describe this image."}
        ]
    }
]

inputs = processor.apply_chat_template(
    conversation,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

output_ids = model.generate(**inputs, max_new_tokens=128)
generated_texts = processor.batch_decode(output_ids, skip_special_tokens=True)
print(generated_texts)


# Video
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "/path/to/video.mp4"},
            {"type": "text", "text": "Describe this video in detail"}
        ]
    },
]

inputs = processor.apply_chat_template(
    conversation,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

generated_ids = model.generate(**inputs, do_sample=False, max_new_tokens=100)
generated_texts = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(generated_texts[0])

배치 혼합 미디어 추론

모델은 여러 이미지/비디오와 텍스트로 구성된 입력을 배치로 처리할 수 있습니다. 아래는 예시입니다.

from transformers import AutoModelForImageTextToText, AutoProcessor


processor = AutoProcessor.from_pretrained("HuggingFaceTB/SmolVLM2-256M-Video-Instruct")
model = AutoModelForImageTextToText.from_pretrained(
    "HuggingFaceTB/SmolVLM2-256M-Video-Instruct",
    device_map="auto"
)

# Conversation for the first image
conversation1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image.jpg"},
            {"type": "text", "text": "Describe this image."}
        ]
    }
]

# Conversation with two images
conversation2 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image.jpg"},
            {"type": "image", "path": "/path/to/image.jpg"},
            {"type": "text", "text": "What is written in the pictures?"}
        ]
    }
]

# Conversation with pure text
conversation3 = [
    {"role": "user","content": "who are you?"}
]


conversations = [conversation1, conversation2, conversation3]
inputs = processor.apply_chat_template(
    conversations,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

generated_ids = model.generate(**inputs, do_sample=False, max_new_tokens=100)
generated_texts = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(generated_texts[0])

Transformers

SmolVLM

개요

사용 팁

사용 예시

단일 미디어 추론

배치 혼합 미디어 추론

SmolVLMConfig

클래스 transformers.SmolVLMConfig

SmolVLMVisionConfig

클래스 transformers.SmolVLMVisionConfig

Idefics3VisionTransformer

class transformers.SmolVLMVisionTransformer

SmolVLMModel

클래스 transformers.SmolVLMModel

forward

get_image_features

SmolVLMForConditionalGeneration

클래스 transformers.SmolVLMForConditionalGeneration

forward

get_image_features

SmolVLMImageProcessor

클래스 transformers.SmolVLMImageProcessor

preprocess

SmolVLMImageProcessorPil

class transformers.SmolVLMImageProcessorPil

preprocess

SmolVLMVideoProcessor

class transformers.SmolVLMVideoProcessor

preprocess

SmolVLMProcessor

class transformers.SmolVLMProcessor

__call__

call