# BertJapanese

## Обзор

Модели BERT, обученные на японском тексте.

Существуют модели с двумя различными методами токенизации:

- Токенизация с помощью MeCab и WordPiece. Для этого потребуются дополнительные зависимости: [fugashi](https://github.com/polm/fugashi) — обёртка над [MeCab](https://taku910.github.io/mecab/).
- Токенизация по символам.

Чтобы использовать *MecabTokenizer*, необходимо установить зависимости с помощью `pip install transformers["ja"]` (или `pip install -e .["ja"]`, если вы устанавливаете из исходного кода).

См. [подробности в репозитории cl-tohoku](https://github.com/cl-tohoku/bert-japanese).

Пример использования модели с токенизацией MeCab и WordPiece:

```python
import torch
from transformers import AutoModel, AutoTokenizer

bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese")

## Input Japanese Text
line = "吾輩は猫である。"

inputs = tokenizer(line, return_tensors="pt").to(model.device)

print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾輩 は 猫 で ある 。 [SEP]

outputs = bertjapanese(**inputs)
```

Пример использования модели с токенизацией по символам:

```python
bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese-char", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese-char")

## Input Japanese Text
line = "吾輩は猫である。"

inputs = tokenizer(line, return_tensors="pt").to(model.device)

print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾 輩 は 猫 で あ る 。 [SEP]

outputs = bertjapanese(**inputs)
```

Эта модель была предоставлена пользователем [cl-tohoku](https://huggingface.co/cl-tohoku).

Эта реализация идентична BERT, за исключением метода токенизации. Справочную информацию по API см. в [документации BERT](bert).

## BertJapaneseTokenizer[[transformers.BertJapaneseTokenizer]]

#### transformers.BertJapaneseTokenizer[[transformers.BertJapaneseTokenizer]]

```python
transformers.BertJapaneseTokenizer(vocab_file, spm_file = None, do_lower_case = False, do_word_tokenize = True, do_subword_tokenize = True, word_tokenizer_type = 'basic', subword_tokenizer_type = 'wordpiece', never_split = None, unk_token = '[UNK]', sep_token = '[SEP]', pad_token = '[PAD]', cls_token = '[CLS]', mask_token = '[MASK]', mecab_kwargs = None, sudachi_kwargs = None, jumanpp_kwargs = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/bert_japanese/tokenization_bert_japanese.py#L58)

**Параметры:**

vocab_file (`str`) : Путь к файлу словаря, где в каждой строке находится один токен.

spm_file (`str`, *необязательный*) : Путь к файлу [SentencePiece](https://github.com/google/sentencepiece) (обычно с расширением .spm или .model), содержащему словарь.

do_lower_case (`bool`, *необязательный*, по умолчанию `True`) : Нужно ли приводить входные данные к нижнему регистру. Влияет только при do_basic_tokenize=True.

do_word_tokenize (`bool`, *необязательный*, по умолчанию `True`) : Выполнять ли токенизацию слов.

do_subword_tokenize (`bool`, *необязательный*, по умолчанию `True`) : Выполнять ли токенизацию субслов.

word_tokenizer_type (`str`, *необязательный*, по умолчанию `"basic"`) : Тип токенизатора слов. Выберите из ["basic", "mecab", "sudachi", "jumanpp"].

subword_tokenizer_type (`str`, *необязательный*, по умолчанию `"wordpiece"`) : Тип субсловного токенизатора. Выберите из ["wordpiece", "character", "sentencepiece",].

mecab_kwargs (`dict`, *необязательный*) : Словарь, передаваемый в конструктор `MecabTokenizer`.

sudachi_kwargs (`dict`, *необязательный*) : Словарь, передаваемый в конструктор `SudachiTokenizer`.

jumanpp_kwargs (`dict`, *необязательный*) : Словарь, передаваемый в конструктор `JumanppTokenizer`.

Создайте токенизатор BERT для японского текста.

Этот токенизатор наследуется от [PreTrainedTokenizer](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.PythonBackend), который содержит большинство основных методов. Пользователям следует обращаться к этому суперклассу для получения дополнительной информации об этих методах.

#### convert_tokens_to_string[[transformers.BertJapaneseTokenizer.convert_tokens_to_string]]

```python
convert_tokens_to_string(tokens)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/bert_japanese/tokenization_bert_japanese.py#L256)

Преобразует последовательность токенов (строку) в одну строку.

