huggingface学习笔记

学习理解huggingface的主要功能，学习使用huggingface的各个工具，理解其原理。

0huggingface.ipynb

huggingface简介、安装、注意事项

1pipeline.ipynb

理解使用pipeline的提供的自然语言处理任务的便捷用法。

2transformers.ipynb

理解使用transformers库提供的分词和模型的用法。

3finetune.ipynb

基于预训练模型进行模型微调，包括数据加载、模型训练-Trainer实现、模型训练-pytorch实现、模型评估

4datasets.ipynb

理解使用datasets库，包括数据加载、数据预处理、分词、数据格式转换、加载大规模数据集。

实战：基于github issues进行网络爬虫构建数据集进行相似性检索

5tokenizers.ipynb

理解使用tokrnizers库，包括:

• 基于微调已有的tokenizer;
• 理解Fast Tokenizer的并行化和偏移映射的能力（通过token classification和QA任务进行深刻理解）;
• 理解tokenizer的四个处理步骤：标准化、预标记化、三种标记化模型（BPE、WordPiece、Unigram）、后处理;
• 基于三种标记化模型构建自定义的tokenizer。

translations.ipynb

实战：翻译任务的完整过程：数据加载、数据预处理、模型微调训练、模型评估。