Простая реализация архитектуры трансформера из научной статьи Компактный и самодостаточный блок кода, который может быть запущен без внешних зависимостей от частных файлов или данных Снимок экрана с трассировкой Python Jupyter-ноутбук, содержащий весь ваш код, включая части, не имеющие отношения к ошибке

3. Предположим, вы пытаетесь выполнить следующий код, который выдает ошибку:

from transformers import GPT3ForSequenceClassification

# ImportError: cannot import name 'GPT3ForSequenceClassification' from 'transformers' (/Users/lewtun/miniconda3/envs/huggingface/lib/python3.8/site-packages/transformers/__init__.py)
# ---------------------------------------------------------------------------
# ImportError                               Traceback (most recent call last)
# /var/folders/28/k4cy5q7s2hs92xq7_h89_vgm0000gn/T/ipykernel_30848/333858878.py in <module>
# ----> 1 from transformers import GPT3ForSequenceClassification

# ImportError: cannot import name 'GPT3ForSequenceClassification' from 'transformers' (/Users/lewtun/miniconda3/envs/huggingface/lib/python3.8/site-packages/transformers/__init__.py)

Что из нижеперечисленного может быть хорошим выбором для названия темы на форуме с просьбой о помощи?

ImportError: cannot import name 'GPT3ForSequenceClassification' from 'transformers' (/Users/lewtun/miniconda3/envs/huggingface/lib/python3.8/site-packages/transformers/__init__.py)

Проблема с from transformers import GPT3ForSequenceClassification Почему я не могу импортировать GPT3ForSequenceClassification? Поддерживается ли GPT-3 в 🤗 Transformers?

4. Предположим, вы пытаетесь запустить trainer.train() и сталкиваетесь с загадочной ошибкой, которая не говорит вам, откуда именно она взялась. Что из нижеперечисленного является первым местом, где вы должны искать ошибки в вашем конвейере обучения?

Этап оптимизации, на котором мы вычисляем градиенты и выполняем обратное распространение ошибки Этап оценки, на котором мы вычисляем метрики Набор данных Загрузчики данных

5. Каков наилучший способ отладки ошибок CUDA?

Опубликовать сообщение об ошибке на форумах или GitHub. Выполнить такой же код на CPU. Прочитайте трассировку, чтобы выяснить причину ошибки. Уменьшите размер партии батча. Перезапустите ядро Jupyter.

6. Как лучше всего сообщить о проблеме на GitHub?

Опубликовать полный воспроизводимый пример ошибки. Каждый день спрашивать о новостях. Изучите исходный код вокруг ошибки и попытайтесь найти причину ее возникновения. Опубликуйте результаты в этой теме.

7. Почему переобучение модели с одним батчем обычно является хорошим методом отладки?

Это не так; переобучение - это всегда плохо и его следует избегать. Это позволяет убедиться в том, что модель способна свести значения функциипотерь к нулю. Это позволяет нам убедиться в правильности размеров тензоров наших входов и меток.

8. Почему при создании нового вопроса в репозитории 🤗 Transformers стоит указать подробности о вашем окружении разработки с помощью transformers-cli env ??

Это позволяет сопровождающим понять, какую версию библиотеки вы используете. Это позволяет сопровождающим узнать, работаете ли вы под Windows, macOS или Linux. Это позволяет сопровождающим знать, на каком процессоре или GPU вы выполняете код.

Update on GitHub

←Часть 2 завершена! Введение в Gradio→

Тест в конце главы 1. В каком порядке следует читать обратную трассировку в Python?2. Что такое минимальный воспроизводимый пример?3. Предположим, вы пытаетесь выполнить следующий код, который выдает ошибку:4. Предположим, вы пытаетесь запустить trainer.train() и сталкиваетесь с загадочной ошибкой, которая не говорит вам, откуда именно она взялась. Что из нижеперечисленного является первым местом, где вы должны искать ошибки в вашем конвейере обучения?5. Каков наилучший способ отладки ошибок CUDA?6. Как лучше всего сообщить о проблеме на GitHub?7. Почему переобучение модели с одним батчем обычно является хорошим методом отладки?8. Почему при создании нового вопроса в репозитории 🤗 Transformers стоит указать подробности о вашем окружении разработки с помощью transformers-cli env ??