Hugging Face's logo

Transformers documentation

SAM3 Takipçi Video

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model, 2025-11-19 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

SAM3 Takipçi Video

SDPA FlashAttention

Genel Bakış

SAM3 (Segment Anything Model 3), SAM 3: Segment Anything with Concepts makalesinde tanıtılmıştır.

Sam3TrackerVideo, videolarda Promptable Visual Segmentation (PVS) işlemini gerçekleştirir. PVS, etkileşimli görsel istemleri (noktalar, kutular, maskeler) veya metin girdilerini kullanarak, her istem için belirli bir nesne örneğini video kareleri boyunca izler.

Sam3TrackerVideo, SAM2 Video'nun aynı API'yi koruyarak geliştirilmiş performans ve yetenekler sunan güncellenmiş bir sürümüdür.

Makalenin özeti aşağıdaki gibidir:

Segment Anything Model (SAM) 3'ü sunuyoruz. Bu, kısa isim tamlamaları (ör. “yellow school bus”), görsel örnekler veya her ikisinin birleşimi olarak tanımladığımız kavram istemlerine (concept prompts) dayanarak görüntülerde ve videolarda nesneleri algılayan, segmente eden ve izleyen birleşik bir modeldir. Promptable Concept Segmentation (PCS), bu tür istemleri alır ve eşleşen tüm nesne örnekleri için segmentasyon maskeleri ve benzersiz kimlikler döndürür. PCS'yi ilerletmek için, görüntüler ve videolar arasında zor negatifleri (hard negatives) içeren, 4M benzersiz kavram etiketine sahip yüksek kaliteli bir veri seti üreten ölçeklenebilir bir veri motoru geliştiriyoruz. Modelimiz, tek bir omurga (backbone) paylaşan görüntü düzeyinde bir algılayıcı ve bellek tabanlı bir video izleyiciden oluşur. Tanıma ve konumlandırma, algılama doğruluğunu artıran bir varlık başlığı (presence head) ile ayrıştırılır. SAM 3, hem görüntü hem de video PCS'de mevcut sistemlerin doğruluğunu ikiye katlar ve önceki SAM yeteneklerini görsel segmentasyon görevlerinde iyileştirir. Promptable concept segmentation için yeni Segment Anything with Concepts (SA-Co) benchmark'ımızla birlikte SAM 3'ü açık kaynak olarak yayımlıyoruz.

Bu model yonigozlan ve ronghanghu tarafından katkıda bulunmuştur.

Kullanım örneği

Video Segmentasyonu ve Takibi

Temel Video Takibi

from transformers import Sam3TrackerVideoModel, Sam3TrackerVideoProcessor
import torch

model = Sam3TrackerVideoModel.from_pretrained("facebook/sam3", device_map="auto")
processor = Sam3TrackerVideoProcessor.from_pretrained("facebook/sam3")

# Load video frames (example assumes you have a list of PIL Images)
# video_frames = [Image.open(f"frame_{i:05d}.jpg") for i in range(num_frames)]

# For this example, we'll use the video loading utility
from transformers.video_utils import load_video
video_url = "https://huggingface.co/datasets/hf-internal-testing/sam2-fixtures/resolve/main/bedroom.mp4"
video_frames, _ = load_video(video_url)

# Initialize video inference session
inference_session = processor.init_video_session(
    video=video_frames,
    inference_device=device,
)

# Add click on first frame to select object
ann_frame_idx = 0
ann_obj_id = 1
points = [[[[210, 350]]]]
labels = [[[1]]]

processor.add_inputs_to_inference_session(
    inference_session=inference_session,
    frame_idx=ann_frame_idx,
    obj_ids=ann_obj_id,
    input_points=points,
    input_labels=labels,
)

# Segment the object on the first frame (optional, you can also propagate the masks through the video directly)
outputs = model(
    inference_session=inference_session,
    frame_idx=ann_frame_idx,
)
video_res_masks = processor.post_process_masks(
    [outputs.pred_masks], original_sizes=[[inference_session.video_height, inference_session.video_width]], binarize=False
)[0]
print(f"Segmentation shape: {video_res_masks.shape}")
Segmentation shape: torch.Size([1, 1, 480, 854])

# Propagate through the entire video
video_segments = {}
for sam3_tracker_video_output in model.propagate_in_video_iterator(inference_session):
    video_res_masks = processor.post_process_masks(
        [sam3_tracker_video_output.pred_masks], original_sizes=[[inference_session.video_height, inference_session.video_width]], binarize=False
    )[0]
    video_segments[sam3_tracker_video_output.frame_idx] = video_res_masks

print(f"Tracked object through {len(video_segments)} frames")
Tracked object through 180 frames

Çoklu Nesne Video Takibi

Video kareleri boyunca birden fazla nesneyi eş zamanlı olarak izleyin:

# Reset for new tracking session
inference_session.reset_inference_session()

# Add multiple objects on the first frame
ann_frame_idx = 0
obj_ids = [2, 3]
input_points = [[[[200, 300]], [[400, 150]]]]  # Points for two objects (batched)
input_labels = [[[1], [1]]]

processor.add_inputs_to_inference_session(
    inference_session=inference_session,
    frame_idx=ann_frame_idx,
    obj_ids=obj_ids,
    input_points=input_points,
    input_labels=input_labels,
)

# Get masks for both objects on first frame (optional, you can also propagate the masks through the video directly)
outputs = model(
    inference_session=inference_session,
    frame_idx=ann_frame_idx,
)

# Propagate both objects through video
video_segments = {}
for sam3_tracker_video_output in model.propagate_in_video_iterator(inference_session):
    video_res_masks = processor.post_process_masks(
        [sam3_tracker_video_output.pred_masks], original_sizes=[[inference_session.video_height, inference_session.video_width]], binarize=False
    )[0]
    video_segments[sam3_tracker_video_output.frame_idx] = {
        obj_id: video_res_masks[i]
        for i, obj_id in enumerate(inference_session.obj_ids)
    }

print(f"Tracked {len(inference_session.obj_ids)} objects through {len(video_segments)} frames")
Tracked 2 objects through 180 frames

Video Segmentasyonunu İnce Ayar

Herhangi bir karede ek tıklamalar yaparak takibi iyileştirebilirsiniz:

# Add refinement click on a later frame
refine_frame_idx = 50
ann_obj_id = 2  # Refining first object
points = [[[[220, 280]]]]  # Additional point
labels = [[[1]]]  # Positive click

processor.add_inputs_to_inference_session(
    inference_session=inference_session,
    frame_idx=refine_frame_idx,
    obj_ids=ann_obj_id,
    input_points=points,
    input_labels=labels,
)

# Re-propagate with the additional information
video_segments = {}
for sam3_tracker_video_output in model.propagate_in_video_iterator(inference_session):
    video_res_masks = processor.post_process_masks(
        [sam3_tracker_video_output.pred_masks], original_sizes=[[inference_session.video_height, inference_session.video_width]], binarize=False
    )[0]
    video_segments[sam3_tracker_video_output.frame_idx] = video_res_masks

Akışkan Video Çıkarımı

Gerçek zamanlı uygulamalar için Sam3TrackerVideo, video kareleri geldikçe işlenmesini destekler:

# Initialize session for streaming
inference_session = processor.init_video_session(
    inference_device=device,
)

# Process frames one by one
for frame_idx, frame in enumerate(video_frames[:10]):  # Process first 10 frames
    inputs = processor(images=frame, device=device, return_tensors="pt").to(model.device)
...
    if frame_idx == 0:
        # Add point input on first frame
        processor.add_inputs_to_inference_session(
            inference_session=inference_session,
            frame_idx=0,
            obj_ids=1,
            input_points=[[[[210, 350], [250, 220]]]],
            input_labels=[[[1, 1]]],
            original_size=inputs.original_sizes[0], # need to be provided when using streaming video inference
        )
...
    # Process current frame
    sam3_tracker_video_output = model(inference_session=inference_session, frame=inputs.pixel_values[0])
...
    video_res_masks = processor.post_process_masks(
        [sam3_tracker_video_output.pred_masks], original_sizes=inputs.original_sizes, binarize=False
    )[0]
    print(f"Frame {frame_idx}: mask shape {video_res_masks.shape}")

Çoklu Nesneler için Video Toplu İşleme

Video'da birden fazla nesneyi aynı anda izlemek için hepsini tek seferde ekleyin:

# Initialize video session
inference_session = processor.init_video_session(
    video=video_frames,
    inference_device=device,
)

# Add multiple objects on the first frame using batch processing
ann_frame_idx = 0
obj_ids = [2, 3]  # Track two different objects
input_points = [
    [[[200, 300], [230, 250], [275, 175]], [[400, 150]]]
]  # Object 2: 3 points (2 positive, 1 negative); Object 3: 1 point
input_labels = [
    [[1, 1, 0], [1]]
]  # Object 2: positive, positive, negative; Object 3: positive

processor.add_inputs_to_inference_session(
    inference_session=inference_session,
    frame_idx=ann_frame_idx,
    obj_ids=obj_ids,
    input_points=input_points,
    input_labels=input_labels,
)

# Get masks for all objects on the first frame
outputs = model(
    inference_session=inference_session,
    frame_idx=ann_frame_idx,
)
video_res_masks = processor.post_process_masks(
    [outputs.pred_masks], original_sizes=[[inference_session.video_height, inference_session.video_width]], binarize=False
)[0]
print(f"Generated masks for {video_res_masks.shape[0]} objects")
Generated masks for 2 objects

# Propagate all objects through the video
video_segments = {}
for sam3_tracker_video_output in model.propagate_in_video_iterator(inference_session):
    video_res_masks = processor.post_process_masks(
        [sam3_tracker_video_output.pred_masks], original_sizes=[[inference_session.video_height, inference_session.video_width]], binarize=False
    )[0]
    video_segments[sam3_tracker_video_output.frame_idx] = {
        obj_id: video_res_masks[i]
        for i, obj_id in enumerate(inference_session.obj_ids)
    }

print(f"Tracked {len(inference_session.obj_ids)} objects through {len(video_segments)} frames")
Tracked 2 objects through 180 frames

Sam3TrackerVideoConfig

sınıf transformers.Sam3TrackerVideoConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneprompt_encoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonemask_decoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneinitializer_range: float = 0.02num_maskmem: int = 7sigmoid_scale_for_mem_enc: float = 20.0sigmoid_bias_for_mem_enc: float = -10.0enable_occlusion_spatial_embedding: bool = Truemultimask_output_in_sam: bool = Truemultimask_min_pt_num: int = 0multimask_max_pt_num: int = 1multimask_output_for_tracking: bool = Truemax_object_pointers_in_encoder: int = 16max_cond_frame_num: int = 4enable_temporal_pos_encoding_for_object_pointers: bool = Truememory_attention_hidden_size: int = 256memory_attention_num_layers: int = 4memory_attention_num_attention_heads: int = 1memory_attention_downsample_rate: int = 1memory_attention_feed_forward_hidden_size: int = 2048memory_attention_feed_forward_hidden_act: str = 'relu'memory_attention_dropout: float | int = 0.1memory_attention_rope_feat_sizes: list | None = Nonememory_attention_rope_dropout: float | int = 0.1memory_encoder_hidden_size: int = 256memory_encoder_output_channels: int = 64rope_parameters: dict | None = Nonemask_downsampler_embed_dim: int = 256mask_downsampler_kernel_size: int = 3mask_downsampler_stride: int = 2mask_downsampler_padding: int = 1mask_downsampler_total_stride: int = 16mask_downsampler_hidden_act: str = 'gelu'memory_fuser_num_layers: int = 2memory_fuser_embed_dim: int = 256memory_fuser_intermediate_dim: int = 1024memory_fuser_kernel_size: int = 7memory_fuser_padding: int = 3memory_fuser_layer_scale_init_value: float = 1e-06memory_fuser_hidden_act: str = 'gelu' )

Parametreler

  • vision_config (Union[dict, ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Görüntü omurgasının yapılandırma nesnesi veya sözlüğü.
  • prompt_encoder_config (Union[dict, Sam3TrackerVideoPromptEncoderConfig], isteğe bağlı) — Sam3TrackerVideoPromptEncoderConfig sınıfını başlatmak için kullanılan yapılandırma seçeneklerinin sözlüğü.
  • mask_decoder_config (Union[dict, Sam3TrackerVideoMaskDecoderConfig], isteğe bağlı) — Sam3TrackerVideoMaskDecoderConfig sınıfını başlatmak için kullanılan yapılandırma seçeneklerinin sözlüğü.
  • initializer_range (float, isteğe bağlı, varsayılan 0.02) — Parametre başlatma için standart sapma.
  • num_maskmem (int, isteğe bağlı, varsayılan 7) — Mask belleği için bellek yuvası sayısı.
  • sigmoid_scale_for_mem_enc (float, isteğe bağlı, varsayılan 20.0) — Hafıza kodlayıcıdaki sigmoid fonksiyonu için ölçekleme faktörü.
  • sigmoid_bias_for_mem_enc (float, isteğe bağlı, varsayılan -10.0) — Hafıza kodlayıcıdaki sigmoid fonksiyonu için sapma.
  • enable_occlusion_spatial_embedding (bool, isteğe bağlı, varsayılan True) — Gizlenmeler için mekânsal gömme (spatial embedding) etkinleştirilecek mi?
  • multimask_output_in_sam (bool, isteğe bağlı, varsayılan True) — SAM başlığından birden fazla maske çıktısı alınacak mı.
  • multimask_min_pt_num (int, isteğe bağlı, varsayılan 0) — Çoklu maske çıktısını tetiklemek için gereken minimum nokta sayısı.
  • multimask_max_pt_num (int, isteğe bağlı, varsayılan 1) — Çoklu maske çıktısını tetiklemek için kullanılacak maksimum nokta sayısı.
  • multimask_output_for_tracking (bool, isteğe bağlı, varsayılan True) — Takip için çoklu maske çıktısının kullanılıp kullanılmayacağını belirtir.
  • max_object_pointers_in_encoder (int, isteğe bağlı, varsayılan 16) — Encoder'daki nesne işaretçilerinin maksimum sayısı.
  • max_cond_frame_num (int, isteğe bağlı, varsayılan 4) — Bellek dikkatinde kullanılacak maksimum koşullandırma karesi sayısı.
  • enable_temporal_pos_encoding_for_object_pointers (bool, isteğe bağlı, varsayılan True) — Nesne işaretçileri için zamansal konumsal kodlamayı etkinleştirip etkinleştirmeyeceğini belirtir.
  • memory_attention_hidden_size (int, isteğe bağlı, varsayılan 256) — Hafıza dikketi gizli durumlarının boyutluluğu.
  • memory_attention_num_layers (int, isteğe bağlı, varsayılan 4) — Hafıza dikkat modülündeki katman sayısı.
  • memory_attention_num_attention_heads (int, isteğe bağlı, varsayılan 1) — Hafıza dikkatindeki her dikkat katmanı için dikkat başı sayısı.
  • memory_attention_downsample_rate (int, isteğe bağlı, varsayılan 1) — Dikkat katmanları için indirgeme oranı.
  • memory_attention_feed_forward_hidden_size (int, isteğe bağlı, varsayılan 2048) — Hafıza dikkat modülündeki ileri beslemeli ağın boyutu.
  • memory_attention_feed_forward_hidden_act (str, isteğe bağlı, varsayılan "relu") — Hafıza dikkat modülündeki ileri beslemeli ağdaki doğrusal olmayan aktivasyon fonksiyonu.
  • memory_attention_dropout (float, isteğe bağlı, varsayılan 0.1) — Hafıza dikkat modülü için dropout oranı.
  • memory_attention_rope_feat_sizes (list[int], isteğe bağlı, varsayılan [72, 72]) — Rope konumsal kodlaması için özellik boyutları.
  • memory_attention_rope_dropout (float, opsiyonel, varsayılan 0.1) — Rope konumsal kodlama için dropout oranı.
  • memory_encoder_hidden_size (int, isteğe bağlı, varsayılan 256) — Hafıza kodlayıcısı gizli durumlarının boyutluluğu.
  • memory_encoder_output_channels (int, isteğe bağlı, varsayılan 64) — Hafıza kodlayıcısının çıktı kanal sayısı.
  • rope_parameters (dict, isteğe bağlı) — RoPE gömme yapılandırma parametrelerini içeren sözlük. Sözlük, rope_theta için bir değer ve daha uzun max_position_embeddings ile RoPE kullanmak istiyorsanız ölçekleme için kullanılan isteğe bağlı parametreleri içermelidir.
  • mask_downsampler_embed_dim (int, isteğe bağlı, varsayılan 256) — Mask downsampler gömme boyutu.
  • mask_downsampler_kernel_size (int, isteğe bağlı, varsayılan 3) — Mask downsampler için çekirdek boyutu.
  • mask_downsampler_stride (int, isteğe bağlı, varsayılan 2) — Mask downsampler için stride.
  • mask_downsampler_padding (int, isteğe bağlı, varsayılan 1) — Mask downsampler için dolgu.
  • mask_downsampler_total_stride (int, isteğe bağlı, varsayılan 16) — Mask downsampler için toplam stride.
  • mask_downsampler_hidden_act (str, isteğe bağlı, varsayılan "gelu") — Mask downsampler'daki doğrusal olmayan aktivasyon fonksiyonu.
  • memory_fuser_num_layers (int, isteğe bağlı, varsayılan 2) — Memory fuser'daki katman sayısı.
  • memory_fuser_embed_dim (int, isteğe bağlı, varsayılan 256) — Hafıza birleştiricisinde gömme katmanının boyutu.
  • memory_fuser_intermediate_dim (int, isteğe bağlı, varsayılan 1024) — Memory fuser'daki ara katmanın boyutu.
  • memory_fuser_kernel_size (int, isteğe bağlı, varsayılan 7) — Memory fuser için çekirdek boyutu.
  • memory_fuser_padding (int, isteğe bağlı, varsayılan 3) — Memory fuser için dolgu.
  • memory_fuser_layer_scale_init_value (float, opsiyonel, varsayılan 1e-06) — Memory fuser'da katman ölçeğinin başlangıç değeri.
  • memory_fuser_hidden_act (str, isteğe bağlı, varsayılan "gelu") — Hafıza birleştiricisindeki doğrusal olmayan aktivasyon fonksiyonu.

Bu, bir Sam3TrackerVideoModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Sam3 Tracker Video modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, facebook/sam3 ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import (
...     Sam3VisionConfig,
...     Sam3TrackerVideoPromptEncoderConfig,
...     Sam3TrackerVideoMaskDecoderConfig,
...     Sam3TrackerVideoModel,
... )

>>> # Initializing a Sam3TrackerVideoConfig with `"facebook/sam3"` style configuration
>>> configuration = Sam3TrackerVideoConfig()

>>> # Initializing a Sam3TrackerVideoModel (with random weights) from the `"facebook/sam3"` style configuration
>>> model = Sam3TrackerVideoModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

>>> # We can also initialize a Sam3TrackerVideoConfig from a Sam3TrackerVideoVisionConfig, Sam3TrackerVideoPromptEncoderConfig, and Sam3TrackerVideoMaskDecoderConfig

>>> # Initializing SAM3 tracker video vision encoder, memory attention, and memory encoder configurations
>>> vision_config = Sam3TrackerVideoVisionConfig()
>>> prompt_encoder_config = Sam3TrackerVideoPromptEncoderConfig()
>>> mask_decoder_config = Sam3TrackerVideoMaskDecoderConfig()

>>> config = Sam3TrackerVideoConfig(vision_config, prompt_encoder_config, mask_decoder_config)

Sam3TrackerVideoMaskDecoderConfig

sınıf transformers.Sam3TrackerVideoMaskDecoderConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 256hidden_act: str = 'gelu'mlp_dim: int = 2048num_hidden_layers: int = 2num_attention_heads: int = 8attention_downsample_rate: int = 2num_multimask_outputs: int = 3iou_head_depth: int = 3iou_head_hidden_dim: int = 256dynamic_multimask_via_stability: bool = Truedynamic_multimask_stability_delta: float = 0.05dynamic_multimask_stability_thresh: float = 0.98 )

Parametreler

  • hidden_size (int, isteğe bağlı, varsayılan 256) — Gizli temsillerin boyutu.
  • hidden_act (str, isteğe bağlı, varsayılan gelu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • mlp_dim (int, isteğe bağlı, varsayılan 2048) — İki yönlü dönüştürücüdeki MLP'nin boyutu.
  • num_hidden_layers (int, isteğe bağlı, varsayılan 2) — Transformer decoder'ındaki gizli katman sayısı.
  • num_attention_heads (int, isteğe bağlı, varsayılan 8) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.
  • attention_downsample_rate (int, isteğe bağlı, varsayılan 2) — Dikkat katmanları için indirgeme oranı.
  • num_multimask_outputs (int, isteğe bağlı, varsayılan 3) — Çoklu maske çıktılarının sayısı.
  • iou_head_depth (int, isteğe bağlı, varsayılan 3) — IoU başlığının derinliği.
  • iou_head_hidden_dim (int, isteğe bağlı, varsayılan 256) — IoU başlığının gizli boyutu.
  • dynamic_multimask_via_stability (bool, isteğe bağlı, varsayılan True) — Stabilite üzerinden dinamik çoklu maske kullanılıp kullanılmayacağı.
  • dynamic_multimask_stability_delta (float, isteğe bağlı, varsayılan 0.05) — Dinamik çoklu maskenin kararlılık farkı.
  • dynamic_multimask_stability_thresh (float, isteğe bağlı, varsayılan 0.98) — Dinamik çoklu maskenin kararlılık eşiği.

Bu, bir Sam3TrackerVideoModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Sam3 Tracker Video modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, facebook/sam3 ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Sam3TrackerVideoPromptEncoderConfig

sınıf transformers.Sam3TrackerVideoPromptEncoderConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 256image_size: int | list[int] | tuple[int, int] = 1008patch_size: int | list[int] | tuple[int, int] = 14mask_input_channels: int = 16num_point_embeddings: int = 4hidden_act: str = 'gelu'layer_norm_eps: float = 1e-06scale: int = 1 )

Parametreler

  • hidden_size (int, isteğe bağlı, varsayılan 256) — Gizli temsillerin boyutu.
  • image_size (Union[int, list[int], tuple[int, int]], opsiyonel, varsayılan 1008) — Her bir görüntünün boyutu (çözünürlüğü).
  • patch_size (Union[int, list[int], tuple[int, int]], isteğe bağlı, varsayılan 14) — Her yamanın boyutu (çözünürlüğü).
  • mask_input_channels (int, isteğe bağlı, varsayılan 16) — MaskDecoder modülüne verilecek kanal sayısı.
  • num_point_embeddings (int, isteğe bağlı, varsayılan 4) — Kullanılacak nokta gömme sayısı.
  • hidden_act (str, isteğe bağlı, varsayılan gelu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • layer_norm_eps (float, isteğe bağlı, varsayılan 1e-06) — Katman normalizasyon katmanları tarafından kullanılan epsilon.
  • scale (float, isteğe bağlı, varsayılan 1) — İstem kodlayıcısı için ölçekleme çarpanı.

Bu, bir Sam3TrackerVideoModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Sam3 Tracker Video modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, facebook/sam3 ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Sam3TrackerVideoProcessor

sınıf transformers.Sam3TrackerVideoProcessor

< >

( image_processorvideo_processortarget_size: int | None = Nonepoint_pad_value: int = -10**kwargs )

Parametreler

  • image_processor (Sam3ImageProcessor) — Görsel işleyici zorunlu bir girdidir.
  • video_processor (video_processor_class) — Video işleyici zorunlu bir girdidir.
  • target_size (int, isteğe bağlı) — Girdi noktalarını ve sınırlayıcı kutuları normalize etmek için hedef boyut (piksel cinsinden). Belirtilmezse, varsayılan olarak görüntü işleyicisinin boyut yapılandırması kullanılır. Modelde kullanılmadan önce tüm girdi koordinatları (noktalar ve kutular) bu boyuta normalize edilir. Bu, orijinal görüntü boyutlarından bağımsız olarak tutarlı bir koordinat temsilini sağlar.
  • point_pad_value (int, isteğe bağlı, varsayılan -10) — Farklı uzunluklardaki dizilerin toplu işlenmesi sırasında girdi noktalarını doldurmak için kullanılan değer. Bu değer, doldurulmuş konumları işaretlemek için kullanılır ve koordinat normalizasyonu sırasında korunur.

Bir görüntü işleyiciyi ve bir video işleyiciyi tek bir işleyicide birleştiren bir Sam3TrackerVideoProcessor oluşturur.

Sam3TrackerVideoProcessor, Sam3ImageProcessor ve video_processor_class sınıflarının tüm işlevlerini sunar. Daha fazla bilgi için ~Sam3ImageProcessor ve ~video_processor_class belgelerine bakın.

__call__

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Nonesegmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Noneinput_points: typing.Union[list[list[list[list[float]]]], torch.Tensor, NoneType] = Noneinput_labels: typing.Union[list[list[list[int]]], torch.Tensor, NoneType] = Noneinput_boxes: typing.Union[list[list[list[float]]], torch.Tensor, NoneType] = Noneoriginal_sizes: typing.Union[list[list[float]], torch.Tensor, NoneType] = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = None**kwargs ) → A BatchEncoding with the following fields

Parametreler

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]], isteğe bağlı) — Ön işleme yapılacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa do_rescale=False olarak ayarlayın.
  • segmentation_maps (ImageInput, isteğe bağlı) — İşlenecek segmentasyon haritaları.
  • input_points (list[list[list[list[float]]]], torch.Tensor, isteğe bağlı) — Çerçeveye eklenecek noktalar.
  • input_labels (list[list[list[int]]], torch.Tensor, isteğe bağlı) — Noktaların etiketleri.
  • input_boxes (list[list[list[float]]], torch.Tensor, opsiyonel) — Kareye eklenecek sınırlayıcı kutular.
  • original_sizes (list[list[float]], torch.Tensor, isteğe bağlı) — Görsellerin orijinal boyutları.
  • return_tensors (Union[str, ~utils.generic.TensorType], isteğe bağlı) — Belirlenirse, belirli bir çerçeveye ait tensörler döndürülür. Kabul edilen değerler şunlardır:
    • 'pt': PyTorch torch.Tensor nesnelerini döndürür.
    • 'np': NumPy np.ndarray nesnelerini döndürür.

Dönüş değeri

Aşağıdaki alanlara sahip bir BatchEncoding

  • pixel_values (torch.Tensor): İşlenmiş görüntü(ler).
  • original_sizes (list[list[float]]): Görsellerin orijinal boyutları.
  • labels (torch.Tensor): İşlenmiş segmentasyon haritaları (verildiyse).
  • input_points (torch.Tensor): İşlenmiş noktalar.
  • input_labels (torch.Tensor): İşlenmiş etiketler.
  • input_boxes (torch.Tensor): İşlenmiş sınırlayıcı kutuları.

post_process_masks

< >

( masksoriginal_sizesmask_threshold = 0.0binarize = Truemax_hole_area = 0.0max_sprinkle_area = 0.0apply_non_overlapping_constraints = False**kwargs ) → (torch.Tensor)

Parametreler

  • masks (Union[List[torch.Tensor], List[np.ndarray]]) — mask_decoder'dan gelen, (batch_size, num_channels, height, width) biçiminde toplu maskeler.
  • original_sizes (Union[torch.Tensor, List[Tuple[int,int]]]) — Görsellerin, modelin beklenen giriş biçimine yeniden boyutlandırılmadan önceki orijinal boyutları, (yükseklik, genişlik) biçiminde.
  • mask_threshold (float, isteğe bağlı, varsayılan 0.0) — İkileştirme ve son işlemleme işlemleri için eşik değeri.
  • binarize (bool, isteğe bağlı, varsayılan True) — Maskelerin ikileştirilip ikileştirilmeyeceğini belirtir.
  • max_hole_area (float, isteğe bağlı, varsayılan 0.0) — Doldurulacak deliğin maksimum alanı.
  • max_sprinkle_area (float, isteğe bağlı, varsayılan 0.0) — Doldurulacak bir sprinkle'in maksimum alanı.
  • apply_non_overlapping_constraints (bool, isteğe bağlı, varsayılan False) — Maskelere örtüşmeyen kısıtlamaların uygulanıp uygulanmayacağı.

Dönüş değeri

(torch.Tensor)

Batched masks in batch_size, num_channels, height, width) format, where (height, width) is given by original_size.

Dolgu (padding) kaldırılır ve maskeler orijinal görüntü boyutuna ölçeklenir.

init_video_session

< >

( video: typing.Union[list['PIL.Image.Image'], numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], list[list['PIL.Image.Image']], list[list[numpy.ndarray]], list[list['torch.Tensor']], transformers.video_utils.URL, list[transformers.video_utils.URL], list[list[transformers.video_utils.URL]], transformers.video_utils.Path, list[transformers.video_utils.Path], list[list[transformers.video_utils.Path]], NoneType] = Noneinference_device: typing.Union[str, ForwardRef('torch.device')] = 'cpu'inference_state_device: typing.Union[str, ForwardRef('torch.device'), NoneType] = Noneprocessing_device: typing.Union[str, ForwardRef('torch.device'), NoneType] = Nonevideo_storage_device: typing.Union[str, ForwardRef('torch.device'), NoneType] = Nonemax_vision_features_cache_size: int = 1dtype: dtype = torch.float32 )

Parametreler

  • video (VideoInput, isteğe bağlı) — İşlenecek video. Akış sırasında sağlamanıza gerek yoktur.
  • inference_device (str veya torch.device, isteğe bağlı, varsayılan “cpu”) — Çıkarım için kullanılacak cihaz.
  • inference_state_device (str veya torch.device, isteğe bağlı) — Çıkarım durumunun saklanacağı cihaz.
  • processing_device (str veya torch.device, isteğe bağlı) — Video işleme için kullanılacak cihaz.
  • video_storage_device (str veya torch.device, isteğe bağlı) — İşlenmiş video karelerinin saklanacağı cihaz.
  • max_vision_features_cache_size (int, isteğe bağlı, varsayılan 1) — Önbelleğe alınacak en fazla görsel özellik sayısı.
  • dtype (torch.dtype, isteğe bağlı, varsayılan torch.float32) — Tüm oturum için kullanılacak torch dtype.

Çıkarım için bir video oturumu başlatır. Bir video sağlanırsa (asenkron çıkarım), video işlenir ve video_storage_device üzerinde saklanır.

add_inputs_to_inference_session

< >

( inference_session: Sam3TrackerVideoInferenceSessionframe_idx: intobj_ids: list[int] | intinput_points: typing.Union[list[list[list[list[float]]]], torch.Tensor, NoneType] = Noneinput_labels: typing.Union[list[list[list[int]]], torch.Tensor, NoneType] = Noneinput_boxes: typing.Union[list[list[list[float]]], torch.Tensor, NoneType] = Noneinput_masks: typing.Union[numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor], NoneType] = Noneoriginal_size: tuple[int, int] | None = Noneclear_old_inputs: bool = True )

Parametreler

  • inference_session (Sam3TrackerVideoInferenceSession) — Video için çıkarım oturumu.
  • frame_idx (int) — İşlenecek karenin indeksi.
  • obj_ids (list[int] veya int) — Noktalarla veya kutuyla ilişkilendirilecek nesne kimliği/kimlikleri. Bunlar herhangi bir tam sayı olabilir ve bir nesneyi belirtmek için daha sonra yeniden kullanılabilir.
  • input_points (list[list[list[list[float]]]], torch.Tensor, isteğe bağlı) — Çerçeveye eklenecek noktalar.
  • input_labels (list[list[list[int]]], torch.Tensor, isteğe bağlı) — Noktaların etiketleri.
  • input_boxes (list[list[list[float]]], torch.Tensor, opsiyonel) — Kareye eklenecek sınırlayıcı kutular.
  • input_masks (np.ndarray, torch.Tensor, list[np.ndarray] veya list[torch.Tensor], isteğe bağlı) — Kareye eklenecek maske(ler).
  • original_size (tuple[int, int], isteğe bağlı) — Videonun orijinal boyutu. Akış sırasında belirtin.
  • clear_old_inputs (bool, isteğe bağlı, varsayılan True) — Nesne için eski girdilerin temizlenip temizlenmeyeceğini belirtir.

Bir video karesi için yeni noktuları, kutuları veya maskeleri işleyin ve onları çıkarım oturumuna ekleyin.

Sam3TrackerVideoInferenceSession

sınıf transformers.Sam3TrackerVideoInferenceSession

< >

( video: typing.Optional[torch.Tensor] = Nonevideo_height: int | None = Nonevideo_width: int | None = Noneinference_device: typing.Union[torch.device, str] = 'cpu'inference_state_device: typing.Union[torch.device, str] = 'cpu'video_storage_device: typing.Union[torch.device, str] = 'cpu'dtype: typing.Union[torch.dtype, str] = 'float32'max_vision_features_cache_size: int = 1 )

Parametreler

  • video (torch.Tensor, isteğe bağlı) — İşlenecek video. Akış sırasında sağlamanıza gerek yoktur.
  • video_height (int, isteğe bağlı) — Videonun yüksekliği.
  • video_width (int, isteğe bağlı) — Videonun genişliği.
  • inference_device (torch.device, isteğe bağlı, varsayılan "cpu") — Çıkarım için kullanılacak cihaz.
  • inference_state_device (torch.device, isteğe bağlı, varsayılan "cpu") — Çıkarım durumunun saklanacağı cihaz.
  • video_storage_device (torch.device, isteğe bağlı, varsayılan "cpu") — Videonun saklanacağı cihaz.
  • dtype (torch.dtype, isteğe bağlı, varsayılan "float32") — Video için kullanılacak dtype.
  • max_vision_features_cache_size (int, isteğe bağlı, varsayılan 1) — Önbelleğe alınacak en fazla görsel özellik sayısı.

Video çıkarım oturumu parametrelerini, durumunu ve önbelleğini yönetir.

add_mask_inputs

< >

( obj_idx: intframe_idx: intinputs: Tensor )

Otomatik cihaz yerleşimi ile maske girdileri ekleyin.

add_new_frame

< >

( pixel_values: Tensorframe_idx: int | None = None )

Otomatik cihaz yerleşimi ile yeni çerçeve ekleyin.

add_point_inputs

< >

( obj_idx: intframe_idx: intinputs: dict )

Otomatik cihaz yerleşimi ile nokta girdileri ekleyin.

get_frame

< >

( frame_idx: int )

Videodan kare alın.

get_obj_num

< >

( )

Bu oturumda şimdiye kadar alınan benzersiz nesne kimliklerinin toplam sayısını alın.

get_output

< >

( obj_idx: intframe_idx: intoutput_key: stris_conditioning_frame: bool = True )

Parametreler

  • obj_idx (int) — Nesnenin indeksi.
  • frame_idx (int) — Kare dizini.
  • output_key (str) — Çıktının anahtarı.
  • is_conditioning_frame (bool) — Çıktının bir koşullandırma çerçevesi için olup olmadığı.

Akıllı cihaz yönetimi ile çıktı alın.

obj_id_to_idx

< >

( obj_id: int )

Gerekirse yeni bir giriş oluşturarak nesne kimliğini indekse eşler.

obj_idx_to_id

< >

( obj_idx: int )

Model tarafındaki nesne dizinini istemci tarafındaki nesne kimliğine eşleyin.

remove_mask_inputs

< >

( obj_idx: intframe_idx: int )

Mask girişlerini kaldırın.

remove_point_inputs

< >

( obj_idx: intframe_idx: int )

Nokta girdilerini kaldırın.

reset_inference_session

< >

( )

İzleme verilerini ve önbelleği sıfırlayın.

reset_tracking_data

< >

( )

İzleme verilerini sıfırla ancak önbelleği koru.

store_output

< >

( obj_idx: intframe_idx: intoutput_key: str | None = Noneoutput_value: typing.Union[torch.Tensor, dict, NoneType] = Noneis_conditioning_frame: bool = True )

Parametreler

  • obj_idx (int) — Nesnenin indeksi.
  • frame_idx (int) — Kare dizini.
  • output_key (Optional[str]) — Çıktının anahtarı. None ise, çıktı bir sözlük olarak saklanır.
  • output_value (Optional[Union[torch.Tensor, dict]]) — Çıktının değeri.
  • is_conditioning_frame (bool) — Çıktının bir koşullandırma çerçevesi için olup olmadığı.

Akıllı cihaz yönetimi ile çıktıyı saklayın. output_key None ise, çıktı bir sözlük olarak saklanır.

Sam3TrackerVideoModel

sınıf transformers.Sam3TrackerVideoModel

< >

( config: Sam3TrackerVideoConfigremove_vision_encoder: bool = False )

Parametreler

  • config (Sam3TrackerVideoConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
  • remove_vision_encoder (bool, isteğe bağlı, varsayılan False) — Görüntü kodlayıcısının kaldırılıp kaldırılmayacağını belirtir. True ise, görüntü kodlayıcısı None olarak ayarlanır.

Üzerinde herhangi bir özel head bulunmayan, ham hidden-states çıkaran çıplak Sam3 Tracker Video Model.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( inference_session: Sam3TrackerVideoInferenceSessionframe_idx: int | None = Noneframe: typing.Optional[torch.Tensor] = Nonereverse: bool = Falserun_mem_encoder: bool = True**kwargs ) → Sam3TrackerVideoSegmentationOutput or tuple(torch.Tensor)

Parametreler

  • inference_session (~models.sam3_tracker_video.modeling_sam3_tracker_video.Sam3TrackerVideoInferenceSession) — Video çıkarım oturumu nesnesi.
  • frame_idx (int, isteğe bağlı) — Çıkarımın (inference) çalıştırılacağı karein indeksi. Yeni bir akış karesi üzerinde çıkarım yaparken belirtmenize gerek yoktur.
  • frame (torch.Tensor, opsiyonel) — İşlenecek kare. Akış sırasında sağlanır.
  • reverse (bool, isteğe bağlı, varsayılan False) — Ters yönde yaygınlaştırılacak mı?
  • run_mem_encoder (bool, isteğe bağlı, varsayılan True) — Tahmin edilen maskeler üzerinde bellek kodlayıcısının çalıştırılıp çalıştırılmayacağı. Bellek kodlayıcı, verimlilik için tüm nesneler arasında toplu (batch) olarak çalıştırılır.

Dönüş değeri

Sam3TrackerVideoSegmentationOutput veya tuple(torch.Tensor)

Sam3TrackerVideoSegmentationOutput veya bir torch.Tensor demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (Sam3TrackerVideoConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

Nesneleri, akışkan video karesi boyunca ilerletin.

  • object_ids (list[int], isteğe bağlı) — Mevcut karede izlenen nesne kimliklerinin listesi.
  • pred_masks (torch.Tensor, şekli (batch_size, num_masks, height, width)) — Modelin çözünürlüğünde saklanan tahmini maskeler.
  • object_score_logits (torch.Tensor, şekli (batch_size,), isteğe bağlı) — Nesnelerin var olup olmadığını gösteren nesne skorları için logitler.
  • frame_idx (int, isteğe bağlı) — Videoyun kare indeksi.

propagate_in_video_iterator

< >

( inference_session: Sam3TrackerVideoInferenceSessionstart_frame_idx: int | None = Nonemax_frame_num_to_track: int | None = Nonereverse: bool = Falseshow_progress_bar: bool = False ) → Sam3TrackerVideoSegmentationOutput or tuple(torch.Tensor)

Parametreler

  • inference_session (~models.sam3_tracker_video.modeling_sam3_tracker_video.Sam3TrackerVideoInferenceSession) — Video çıkarım oturumu nesnesi.
  • start_frame_idx (int, isteğe bağlı) — Yayılım için başlangıç kare indeksi. forward henüz yeni girdiler üzerinde çağrılmadıysa sağlanması gerekir. Sağlanmazsa, başlangıç kare indeksi girdi noktaları olan en erken kare olur.
  • max_frame_num_to_track (int, isteğe bağlı) — Takip edilecek maksimum kare sayısı.
  • reverse (bool, isteğe bağlı, varsayılan False) — Ters yönde yaygınlaştırılacak mı?
  • show_progress_bar (bool, isteğe bağlı, varsayılan False) — Yayılma sırasında ilerleme çubuğu gösterilip gösterilmeyeceği.

Dönüş değeri

Sam3TrackerVideoSegmentationOutput veya tuple(torch.Tensor)

Sam3TrackerVideoSegmentationOutput veya bir torch.Tensor demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (Sam3TrackerVideoConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

Nesneleri video kareleri boyunca yaydırır. Tüm bir video ile bir çıkarım oturumu başlatılırken kullanılır. Her kare için Sam3TrackerVideoSegmentationOutput üretir.

  • object_ids (list[int], isteğe bağlı) — Mevcut karede izlenen nesne kimliklerinin listesi.
  • pred_masks (torch.Tensor, şekli (batch_size, num_masks, height, width)) — Modelin çözünürlüğünde saklanan tahmini maskeler.
  • object_score_logits (torch.Tensor, şekli (batch_size,), isteğe bağlı) — Nesnelerin var olup olmadığını gösteren nesne skorları için logitler.
  • frame_idx (int, isteğe bağlı) — Videoyun kare indeksi.

get_image_features

< >

( pixel_values: Tensor**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Sam3TrackerVideoVisionEncoderOutput or tuple(torch.Tensor)

Parametreler

  • pixel_values (torch.Tensor) — (batch_size, num_channels, height, width) biçiminde girdi piksel değerleri.

Dönüş değeri

Sam3TrackerVideoVisionEncoderOutput veya tuple(torch.Tensor)

Sam3TrackerVideoVisionEncoderOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (Sam3TrackerVideoConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

  • last_hidden_state (torch.Tensor, şekli (batch_size, height, width, hidden_size)) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.

  • pooler_output (torch.Tensor, şekli (batch_size, hidden_size)) — Sıranın ilk token'ının (sınıflandırma token'ı) son katman gizli durumu, yardımcı ön eğitim görevi için kullanılan katmanlar üzerinden ek işlemden geçirildikten sonraki hali. Örneğin BERT ailesi modelleri için, bu, sınıflandırma token'ının doğrusal bir katman ve tanh aktivasyon fonksiyonu üzerinden işlenmesinden sonra döndürülen değerdir. Doğrusal katman ağırlıkları, ön eğitim sırasında bir sonraki cümle tahmini (sınıflandırma) hedefinden eğitilir.

  • hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.

  • attentions (tuple(torch.Tensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

  • fpn_hidden_states (tuple(torch.Tensor)) — torch.Tensor (her özellik seviyesi için bir tane, yüksekten düşük çözünürlüğe doğru) içeren bir tuple, şekli (batch_size, hidden_size, height, width). Feature Pyramid Network boyunundan gelen özellik haritaları.

  • fpn_position_encoding (tuple(torch.Tensor)) — torch.Tensor (her özellik seviyesi için bir tane, yüksekten düşük çözünürlüğe doğru) içeren bir tuple, şekli (batch_size, hidden_size, height, width). fpn_hidden_states ile eşleşen konumsal kodlamalar.

Update on GitHub

←SAM2 Video TimeSformer→