Transformers documentation

BridgeTower

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Model ini dipublikasikan di HF papers pada 2022-06-17 dan disumbangkan ke Hugging Face Transformers pada 2023-01-25.

BridgeTower

Ikhtisar

Model BridgeTower diusulkan dalam BridgeTower: Building Bridges Between Encoders in Vision-Language Representative Learning oleh Xiao Xu, Chenfei Wu, Shachar Rosenman, Vasudev Lal, Wanxiang Che, Nan Duan. Tujuan dari model ini adalah untuk membangun jembatan antara setiap encoder uni-modal dan encoder cross-modal guna memungkinkan interaksi yang komprehensif dan detail di setiap lapisan encoder cross-modal, sehingga mencapai kinerja yang luar biasa pada berbagai tugas turunan dengan biaya kinerja dan komputasi tambahan yang hampir dapat diabaikan.

Kertas kerja ini telah diterima di konferensi AAAI’23.

Abstrak dari makalah tersebut adalah sebagai berikut:

Model Vision-Language (VL) dengan arsitektur TWO-TOWER telah mendominasi pembelajaran representasi visual-bahasa dalam beberapa tahun terakhir. Model VL saat ini menggunakan encoder uni-modal ringan dan belajar untuk mengekstrak, menyelaraskan, serta memfusi kedua modalitas secara simultan dalam encoder cross-modal yang dalam, atau memasukkan representasi uni-modal dari lapisan terakhir yang berasal dari encoder uni-modal pra-latih yang dalam ke dalam encoder cross-modal teratas. Kedua pendekatan tersebut berpotensi membatasi pembelajaran representasi visual-bahasa dan membatasi kinerja model. Dalam makalah ini, kami mengusulkan BRIDGETOWER, yang memperkenalkan beberapa lapisan jembatan yang membangun koneksi antara lapisan teratas dari encoder uni-modal dan setiap lapisan dari encoder crossmodal. Hal ini memungkinkan penyelarasan dan fusi cross-modal bottom-up yang efektif antara representasi visual dan tekstual dari berbagai tingkat semantik encoder uni-modal pra-latih di dalam encoder cross-modal. Dengan pra-latih menggunakan hanya 4 juta gambar, BRIDGETOWER mencapai kinerja state-of-the-art pada berbagai tugas turunan visual-bahasa. Khususnya, pada set test-std VQAv2, BRIDGETOWER mencapai akurasi 78,73%, melampaui model state-of-the-art sebelumnya METER sebesar 1,09% dengan data pra-latih yang sama serta tambahan parameter dan biaya komputasi yang hampir dapat diabaikan. Yang patut dicatat, ketika model tersebut diskalakan lebih lanjut, BRIDGETOWER mencapai akurasi 81,15%, melampaui model yang pra-latih pada dataset yang jauh lebih besar secara orde magnitudo.

BridgeTower architecture. Taken from the original paper.

Model ini disumbangkan oleh Anahita Bhiwandiwalla, Tiep Le dan Shaoyen Tseng. Kode aslinya dapat ditemukan di sini.

Tips dan contoh penggunaan

BridgeTower terdiri dari encoder visual, encoder tekstual, dan encoder lintas-modal dengan beberapa lapisan jembatan ringan. Tujuan dari pendekatan ini adalah membangun jembatan antara setiap encoder uni-modal dan encoder lintas-modal untuk memungkinkan interaksi yang komprehensif dan terperinci di setiap lapisan encoder lintas-modal. Secara prinsip, seseorang dapat menerapkan encoder visual, tekstual, atau lintas-modal apa pun dalam arsitektur yang diusulkan.

BridgeTowerProcessor membungkus RobertaTokenizer dan BridgeTowerImageProcessor menjadi satu instance untuk mengkodekan teks dan menyiapkan gambar, masing-masing.

Contoh berikut menunjukkan cara menjalankan pembelajaran kontrasif menggunakan BridgeTowerProcessor dan BridgeTowerForContrastiveLearning.

import requests
from PIL import Image

from transformers import BridgeTowerForContrastiveLearning, BridgeTowerProcessor


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = ["An image of two cats chilling on a couch", "A football player scoring a goal"]

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-large-itm-mlm-itc")
model = BridgeTowerForContrastiveLearning.from_pretrained("BridgeTower/bridgetower-large-itm-mlm-itc", device_map="auto")

# forward pass
scores = dict()
for text in texts:
    # prepare inputs
    encoding = processor(image, text, return_tensors="pt").to(model.device)
    outputs = model(**encoding)
    scores[text] = outputs

Contoh berikut menunjukkan cara menjalankan pengambilan gambar-teks menggunakan BridgeTowerProcessor dan BridgeTowerForImageAndTextRetrieval.

import requests
from PIL import Image

from transformers import BridgeTowerForImageAndTextRetrieval, BridgeTowerProcessor


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = ["An image of two cats chilling on a couch", "A football player scoring a goal"]

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-base-itm-mlm")
model = BridgeTowerForImageAndTextRetrieval.from_pretrained("BridgeTower/bridgetower-base-itm-mlm", device_map="auto")

# forward pass
scores = dict()
for text in texts:
    # prepare inputs
    encoding = processor(image, text, return_tensors="pt").to(model.device)
    outputs = model(**encoding)
    scores[text] = outputs.logits[0, 1].item()

Contoh berikut menunjukkan cara menjalankan pemodelan bahasa tersembunyi menggunakan BridgeTowerProcessor dan BridgeTowerForMaskedLM.

from transformers import BridgeTowerProcessor, BridgeTowerForMaskedLM
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000360943.jpg"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
text = "a <mask> looking out of the window"

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-base-itm-mlm")
model = BridgeTowerForMaskedLM.from_pretrained("BridgeTower/bridgetower-base-itm-mlm", device_map="auto")

# prepare inputs
encoding = processor(image, text, return_tensors="pt").to(model.device)

# forward pass
outputs = model(**encoding)

results = processor.decode(outputs.logits.argmax(dim=-1).squeeze(0).tolist())

print(results)
.a cat looking out of the window.

Tips:

Implementasi BridgeTower ini menggunakan RobertaTokenizer untuk menghasilkan embedding teks dan model CLIP/ViT dari OpenAI untuk menghitung embedding visual.
Checkpoint untuk bridgeTower-base yang telah dilatih sebelumnya dan bridgetower masked language modeling dan image text matching telah dirilis.
Silakan lihat Tabel 5 untuk kinerja BridgeTower pada Image Retrieval dan tugas turunan lainnya.

Transformers

BridgeTower

Ikhtisar

Tips dan contoh penggunaan

BridgeTowerConfig

kelas transformers.BridgeTowerConfig

BridgeTowerTextConfig

kelas transformers.BridgeTowerTextConfig

BridgeTowerVisionConfig

kelas transformers.BridgeTowerVisionConfig

BridgeTowerImageProcessor

kelas transformers.BridgeTowerImageProcessor

praproses

BridgeTowerImageProcessorPil

kelas transformers.BridgeTowerImageProcessorPil

praproses

BridgeTowerProcessor

kelas transformers.BridgeTowerProcessor

__call__

BridgeTowerModel

kelas transformers.BridgeTowerModel

forward

BridgeTowerForContrastiveLearning

kelas transformers.BridgeTowerForContrastiveLearning

forward

BridgeTowerForMaskedLM

kelas transformers.BridgeTowerForMaskedLM

forward

BridgeTowerForImageAndTextRetrieval

kelas transformers.BridgeTowerForImageAndTextRetrieval

forward

call