Hugging Face's logo

Transformers documentation

BARTpho

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mô hình này được công bố trên HF papers vào ngày 2021-09-20 và được đóng góp cho Hugging Face Transformers vào ngày 2021-10-18.

BARTpho

BARTpho là một mô hình sequence-to-sequence quy mô lớn cho tiếng Việt. Nó cung cấp hai phiên bản: dựa trên từ và dựa trên âm tiết. Mô hình này được xây dựng trên kiến trúc lớn BART với phương pháp tiền huấn luyện khử nhiễu.

Bạn có thể tìm thấy tất cả các checkpoint gốc dưới tổ chức VinAI.

Mô hình này được đóng góp bởi dqnguyen. Xem thanh bên phải để biết các ví dụ về cách áp dụng BARTpho cho các tác vụ ngôn ngữ khác nhau.

Ví dụ dưới đây minh họa cách tóm tắt văn bản bằng Pipeline hoặc lớp AutoModel.

AutoModel
from transformers import AutoTokenizer, BartForConditionalGeneration


tokenizer = AutoTokenizer.from_pretrained(
    "vinai/bartpho-word",
)
model = BartForConditionalGeneration.from_pretrained(
    "vinai/bartpho-word",
    device_map="auto",
)

text = """
Quang tổng hợp hay gọi tắt là quang hợp là quá trình thu nhận và chuyển hóa năng lượng ánh sáng Mặt trời của thực vật,
tảo và một số vi khuẩn để tạo ra hợp chất hữu cơ phục vụ bản thân cũng như làm nguồn thức ăn cho hầu hết các sinh vật
trên Trái Đất. Quang hợp trong thực vật thường liên quan đến chất tố diệp lục màu xanh lá cây và tạo ra oxy như một sản phẩm phụ
"""
inputs = tokenizer(text, return_tensors="pt").to(model.device)

outputs = model.generate(inputs["input_ids"], num_beams=2, min_length=0, max_length=20)
tokenizer.batch_decode(outputs, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]

Ghi chú

  • BARTpho sử dụng kiến trúc lớn của BART với một lớp chuẩn hóa (layer-normalization) bổ sung phía trên encoder và decoder. Các lớp cụ thể của BART nên được thay thế bằng các lớp cụ thể của mBART.
  • Cài đặt này chỉ xử lý tokenization thông qua tệp monolingual_vocab_file. Đây là một tập con các loại token dành riêng cho tiếng Việt, được lấy từ từ điển đa ngôn ngữ đó. Nếu bạn muốn sử dụng tokenizer này cho một ngôn ngữ khác, hãy thay thế monolingual_vocab_file bằng một tệp chuyên biệt cho ngôn ngữ đích của bạn.

BartphoTokenizer

lớp transformers.BartphoTokenizer

< >

( vocab_filemonolingual_vocab_filebos_token = '<s>'eos_token = '</s>'sep_token = '</s>'cls_token = '<s>'unk_token = '<unk>'pad_token = '<pad>'mask_token = '<mask>'sp_model_kwargs: dict[str, typing.Any] | None = None**kwargs )

Tham số

  • vocab_file (str) — Đường dẫn đến tệp từ vựng. Từ vựng này là mô hình SentencePiece được huấn luyện trước, có sẵn từ XLM-RoBERTa đa ngôn ngữ, cũng được sử dụng trong mBART, bao gồm 250K loại.
  • monolingual_vocab_file (str) — Đường dẫn đến tệp từ vựng đơn ngữ. Từ vựng đơn ngữ này bao gồm các loại đặc thù tiếng Việt được trích xuất từ từ vựng đa ngữ vocab_file gồm 250K loại.
  • bos_token (str, tuỳ chọn, mặc định là "<s>") — Token bắt đầu chuỗi được sử dụng trong quá trình pretraining. Có thể được dùng làm token phân loại chuỗi. Khi xây dựng một chuỗi bằng các token đặc biệt, đây không phải là token được dùng cho phần bắt đầu của chuỗi. Token được dùng là cls_token.

    Khi xây dựng một chuỗi sử dụng các token đặc biệt, đây không phải là token được dùng cho phần đầu của chuỗi. Token được sử dụng là cls_token.

  • eos_token (str, tuỳ chọn, mặc định là "</s>") — Token kết thúc chuỗi. Khi xây dựng một chuỗi bằng các token đặc biệt, đây không phải là token được dùng cho kết thúc chuỗi. Token được dùng là sep_token.

    Khi xây dựng một chuỗi bằng các token đặc biệt, đây không phải là token được sử dụng cho kết thúc chuỗi. Token được sử dụng là sep_token.

  • sep_token (str, tùy chọn, mặc định là "</s>") — Token phân cách, được sử dụng khi xây dựng một chuỗi từ nhiều chuỗi, ví dụ như hai chuỗi cho phân loại chuỗi hoặc một văn bản và một câu hỏi cho trả lời câu hỏi. Nó cũng được sử dụng làm token cuối cùng của một chuỗi được xây dựng với các token đặc biệt.
  • cls_token (str, tùy chọn, mặc định là "<s>") — Token phân loại được sử dụng khi thực hiện phân loại chuỗi (phân loại toàn bộ chuỗi thay vì phân loại theo từng token). Đây là token đầu tiên của chuỗi khi được xây dựng với các token đặc biệt.
  • unk_token (str, tùy chọn, mặc định là "<unk>") — Token không xác định. Một token không có trong từ vựng sẽ không thể được chuyển đổi thành ID và sẽ được gán thành token này thay thế.
  • pad_token (str, tùy chọn, mặc định là "<pad>") — Token được sử dụng để đệm, chẳng hạn khi xử lý các lô (batch) gồm các chuỗi có độ dài khác nhau.
  • mask_token (str, tùy chọn, mặc định là "<mask>") — Token được sử dụng để che các giá trị. Đây là token được dùng khi huấn luyện mô hình này với mô hình hóa ngôn ngữ có che (masked language modeling). Đây là token mà mô hình sẽ cố gắng dự đoán.
  • sp_model_kwargs (dict, tuỳ chọn) — Sẽ được truyền vào SentencePieceProcessor.__init__() phương thức. bọc Python cho SentencePiece có thể được sử dụng, trong số nhiều mục đích khác, để thiết lập:

    • enable_sampling: Bật chuẩn hóa từ con (subword regularization).

    • nbest_size: Tham số lấy mẫu cho unigram. Không hợp lệ với BPE-Dropout.

      • nbest_size = {0,1}: Không thực hiện lấy mẫu.
      • nbest_size > 1: lấy mẫu từ các kết quả nbest_size.
      • nbest_size < 0: giả định rằng nbest_size là vô hạn và lấy mẫu từ tất cả các giả thuyết (lattice) bằng thuật toán forward-filtering-and-backward-sampling.

    • alpha: Tham số làm mịn cho việc lấy mẫu unigram và xác suất dropout của các thao tác merge cho BPE-dropout.

  • sp_model (SentencePieceProcessor) — Bộ xử lý SentencePiece được sử dụng cho mọi phép chuyển đổi (chuỗi, token và ID).

Được điều chỉnh từ XLMRobertaTokenizer. Dựa trên SentencePiece.

Tokenizer này kế thừa từ PreTrainedTokenizer, lớp chứa hầu hết các phương thức chính. Người dùng nên tham khảo siêu lớp này để biết thêm thông tin về các phương thức đó.

build_inputs_with_special_tokens

< >

( token_ids_0: listtoken_ids_1: list[int] | None = None ) → list[int]

Tham số

  • token_ids_0 (list[int]) — Danh sách các ID mà các token đặc biệt sẽ được thêm vào.
  • token_ids_1 (list[int], tùy chọn) — Danh sách ID thứ hai tùy chọn cho các cặp chuỗi.

Trả về

list[int]

Danh sách input IDs với các token đặc biệt phù hợp.

Xây dựng đầu vào mô hình từ một chuỗi hoặc một cặp chuỗi cho các tác vụ phân loại chuỗi bằng cách nối và thêm các token đặc biệt. Một chuỗi BARTPho có định dạng như sau:

  • một chuỗi đơn: <s> X </s>
  • cặp chuỗi: <s> A </s></s> B </s>

create_token_type_ids_from_sequences

< >

( token_ids_0: listtoken_ids_1: list[int] | None = None ) → list[int]

Tham số

  • token_ids_0 (list[int]) — Danh sách các ID.
  • token_ids_1 (list[int], tùy chọn) — Danh sách ID thứ hai tùy chọn cho các cặp chuỗi.

Trả về

list[int]

Danh sách các số 0.

Tạo một mask từ hai chuỗi được truyền vào để sử dụng trong một tác vụ phân loại cặp chuỗi. BARTPho không sử dụng token type ids, do đó một danh sách các số 0 được trả về.

get_special_tokens_mask

< >

( token_ids_0: listtoken_ids_1: list[int] | None = Nonealready_has_special_tokens: bool = False ) → list[int]

Tham số

  • token_ids_0 (list[int]) — Danh sách các ID.
  • token_ids_1 (list[int], tùy chọn) — Danh sách ID thứ hai tùy chọn cho các cặp chuỗi.
  • already_has_special_tokens (bool, tùy chọn, mặc định là False) — Danh sách token đã được định dạng với các token đặc biệt cho mô hình hay chưa.

Trả về

list[int]

Một danh sách các số nguyên trong khoảng [0, 1]: 1 cho một token đặc biệt, 0 cho một token chuỗi.

Lấy các id của chuỗi từ một danh sách token chưa được thêm token đặc biệt. Phương thức này được gọi khi thêm token đặc biệt bằng cách sử dụng phương thức prepare_for_model của tokenizer.

get_vocab

< >

( )

Ghi đè để sử dụng từ vựng fairseq

Update on GitHub

←BARThez Beam→