course documentation
基本用法完成!
0. 安装
1. Transformer 模型
2. 使用 🤗 Transformers
3. 微调一个预训练模型
4. 分享你的模型和标记器
5. 🤗 Datasets库
6. 🤗 Tokenizers库
本章简介根据已有的tokenizer训练新的tokenizer快速标记器的特殊能力QA 管道中的快速标记器标准化和预标记化字节对编码标记化WordPiece 标记化Unigram标记化逐块地构建标记器标记器,回顾!章末小测验
7. 主要的 NLP 任务
8. 如何寻求帮助
9. 构建并分享你的模型
课程活动
基本用法完成!
恭喜你跟随课程走到这里!回顾一下,在这一章中,你已经:
学习了 Transformers 模型的基本构造块。
了解了 Tokenizer 管道的组成。
了解了如何在实践中使用 Transformers 模型。
学习了如何利用 tokenizer 将文本转换为模型可以理解的张量。
设定了 tokenizer 和模型,可以从输入的文本获取预测的结果。
了解了 inputs IDs 的局限性,并学习了关于注意力掩码(attention mask)的知识。
试用了灵活且可配置的 Tokenizer 方法。
从现在开始,你应该能够自由浏览🤗 Transformers 文档:你会遇到许多看起来很熟悉的词汇;而且到目前为止,你已经见到了你大部分时间会使用的方法。
Update on GitHub