Mô hình này được công bố trên HF papers vào ngày 2021-06-25 và được đóng góp cho Hugging Face Transformers vào ngày 2024-03-13.

Pyramid Vision Transformer V2 (PVTv2)

Tổng quan

Mô hình PVTv2 được đề xuất trong PVT v2: Improved Baselines with Pyramid Vision Transformer của Wenhai Wang, Enze Xie, Xiang Li, Deng-Ping Fan, Kaitao Song, Ding Liang, Tong Lu, Ping Luo và Ling Shao. Là một biến thể cải tiến của PVT, nó từ bỏ các vector nhúng vị trí, thay vào đó dựa vào thông tin vị trí được mã hóa thông qua zero-padding và các vector nhúng patch chồng lấn. Việc không phụ thuộc vào vector nhúng vị trí giúp đơn giản hóa kiến trúc và cho phép chạy suy luận ở bất kỳ độ phân giải nào mà không cần nội suy chúng.

Cấu trúc encoder PVTv2 đã được triển khai thành công để đạt được điểm số tiên tiến nhất trong Segformer cho phân đoạn ngữ nghĩa, GLPN cho độ sâu đơn mục và Panoptic Segformer cho phân đoạn toàn cảnh.

PVTv2 thuộc về một họ các mô hình được gọi là hierarchical transformers , trong đó các lớp transformer được điều chỉnh để tạo ra các bản đồ đặc trưng đa tỷ lệ. Khác với cấu trúc cột của Vision Transformer (ViT) vốn làm mất đi chi tiết tinh vi, các bản đồ đặc trưng đa tỷ lệ được biết đến là giúp bảo toàn chi tiết này và hỗ trợ hiệu suất trong các tác vụ dự đoán dày đặc. Trong trường hợp của PVTv2, điều này được thực hiện bằng cách tạo ra các token patch ảnh sử dụng tích chập 2D với các kernel chồng lấn ở mỗi lớp encoder.

Các đặc trưng đa tỷ lệ của transformer phân cấp cho phép chúng dễ dàng thay thế các mô hình backbone thị giác máy tính truyền thống như ResNet trong các kiến trúc lớn hơn. Cả Segformer và Panoptic Segformer đều cho thấy các cấu hình sử dụng PVTv2 làm backbone luôn vượt trội hơn so với các cấu hình sử dụng backbone ResNet có kích thước tương đương.

Một tính năng mạnh mẽ khác của PVTv2 là việc giảm độ phức tạp trong các lớp self-attention, được gọi là Spatial Reduction Attention (SRA), sử dụng các lớp convolution 2D để chiếu các hidden states xuống độ phân giải nhỏ hơn trước khi thực hiện attention với các query, cải thiện $O(n^2)$ độ phức tạp của self-attention từ $O(n^2)$ xuống $O(n^2/R)$, trong đó $R$ là tỷ lệ giảm không gian (sr_ratio, còn được gọi là kích thước kernel và stride trong convolution 2D).

SRA được giới thiệu trong PVT và là phương pháp giảm độ phức tạp của attention mặc định được sử dụng trong PVTv2. Tuy nhiên, PVTv2 cũng giới thiệu tùy chọn sử dụng cơ chế self-attention với độ phức tạp tuyến tính liên quan đến kích thước ảnh, được gọi là “Linear SRA”. Phương pháp này sử dụng average pooling để giảm các hidden states xuống một kích thước cố định, không phụ thuộc vào độ phân giải ban đầu của chúng (mặc dù điều này vốn gây mất mát nhiều hơn so với SRA thông thường). Tùy chọn này có thể được bật bằng cách đặt linear_attention thành True trong PVTv2Config.

Tóm tắt từ bài báo

Gần đây, Transformer đã đạt được những tiến bộ đáng khích lệ trong thị giác máy tính. Trong công trình này, chúng tôi đề xuất các baseline mới bằng cách cải tiến Pyramid Vision Transformer (PVT v1) gốc thông qua việc thêm ba thiết kế, bao gồm (1) lớp attention có độ phức tạp tuyến tính, (2) nhúng patch chồng lấn, và (3) mạng feed-forward dạng convolution. Với những thay đổi này, PVT v2 giảm độ phức tạp tính toán của PVT v1 xuống mức tuyến tính và đạt được những cải thiện đáng kể trên các tác vụ thị giác cơ bản như phân loại, phát hiện và phân đoạn. Đáng chú ý, PVT v2 được đề xuất đạt hiệu suất tương đương hoặc tốt hơn so với các công trình gần đây như Swin Transformer. Chúng tôi hy vọng công trình này sẽ thúc đẩy nghiên cứu Transformer tiên tiến trong lĩnh vực thị giác máy tính. Mã nguồn có sẵn tại https://github.com/whai362/PVT.

Mô hình này được đóng góp bởi FoamoftheSea. Mã gốc có thể được tìm thấy tại đây.

Mẹo sử dụng

• PVTv2 là một mô hình transformer phân cấp đã chứng minh hiệu suất mạnh mẽ trong phân loại ảnh và nhiều tác vụ khác, được sử dụng làm backbone cho phân đoạn ngữ nghĩa trong Segformer, ước lượng độ sâu đơn mục trong GLPN và phân đoạn toàn cảnh trong Panoptic Segformer, liên tục cho thấy hiệu suất cao hơn so với các cấu hình ResNet tương tự.

• Các transformer phân cấp như PVTv2 đạt hiệu quả dữ liệu và tham số vượt trội trên dữ liệu ảnh so với các kiến trúc transformer thuần túy bằng cách tích hợp các yếu tố thiết kế của mạng nơ-ron tích chập (CNN) vào bộ mã hóa của chúng. Điều này tạo ra một kiến trúc kết hợp ưu điểm của cả hai, đưa các thiên kiến cảm ứng hữu ích của CNN như tính tương đương dịch chuyển và tính cục bộ vào mạng, đồng thời vẫn tận dụng được các lợi ích về phản ứng động với dữ liệu và mô hình hóa quan hệ toàn cục do cơ chế tự chú ý của transformers mang lại.

• PVTv2 sử dụng nhúng patch chồng lấn để tạo ra các bản đồ đặc trưng đa tỷ lệ, sau đó được bổ sung thông tin vị trí bằng cách đệm không và tích chập theo chiều sâu.

• Để giảm độ phức tạp trong các lớp attention, PVTv2 thực hiện giảm không gian trên các trạng thái ẩn bằng cách sử dụng hoặc là tích chập 2D có bước nhảy (SRA) hoặc là pooling trung bình kích thước cố định (Linear SRA). Mặc dù bản chất có tính mất mát cao hơn, Linear SRA mang lại hiệu suất ấn tượng với độ phức tạp tuyến tính theo kích thước ảnh. Để sử dụng Linear SRA trong các lớp self-attention, hãy đặt linear_attention=True trong PvtV2Config.

• PvtV2Model là bộ mã hóa transformer phân cấp (thường được gọi là Mix Transformer hoặc MiT trong tài liệu). PvtV2ForImageClassification thêm một đầu phân loại đơn giản phía trên để thực hiện Phân loại ảnh. PvtV2Backbone có thể được sử dụng với hệ thống AutoBackbone trong các kiến trúc lớn hơn như Deformable DETR.

• Trọng số được huấn luyện trước trên ImageNet cho tất cả các kích thước mô hình có thể được tìm thấy trên hub.

  Cách tốt nhất để bắt đầu với PVTv2 là tải checkpoint được huấn luyện trước với kích thước bạn chọn bằng cách sử dụng AutoModelForImageClassification:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForImageClassification


model = AutoModelForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0", device_map="auto")
image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

Để sử dụng PVTv2 làm backbone cho các kiến trúc phức tạp hơn như DeformableDETR, bạn có thể dùng AutoBackbone (mô hình này sẽ cần fine-tuning vì bạn đang thay thế backbone trong mô hình đã được huấn luyện trước và nó được khởi tạo với trọng số ngẫu nhiên):

import requests
import torch
from PIL import Image

from transformers import AutoConfig, AutoImageProcessor, AutoModelForObjectDetection


model = AutoModelForObjectDetection.from_config(
    config=AutoConfig.from_pretrained(
        "SenseTime/deformable-detr",
        backbone_config=AutoConfig.from_pretrained("OpenGVLab/pvt_v2_b5"),
    ),
)

image_processor = AutoImageProcessor.from_pretrained("SenseTime/deformable-detr")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

Hiệu suất của PVTv2 trên ImageNet-1K theo kích thước mô hình (B0-B5):

PvtV2Config

>>> from transformers import PvtV2Model, PvtV2Config

>>> # Initializing a pvt_v2_b0 style configuration
>>> configuration = PvtV2Config()

>>> # Initializing a model from the OpenGVLab/pvt_v2_b0 style configuration
>>> model = PvtV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PvtForImageClassification

>>> from transformers import AutoImageProcessor, PvtV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
>>> model = PvtV2ForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

PvtModel