本文将会介绍笔者从BERT模型训练到模型量化、蒸馏的旅程，通过一系列文章的回顾，不难掌握模型训练和模型压缩的技能。

本文将会介绍模型压缩方法——知识蒸馏，通过对训练后的BERT模型在小模型上进行蒸馏，在小模型上提到推理性能的极大提升，同时也不会过多损失模型效果。

本文将介绍大模型微调RACE数据集的进一步实验。

本文将主要Python中的代码整洁之道及代码注释。

本文将会介绍机器学习领域的自动化超参优化软件框架——`Optuna`，它能在很大程度上让我们专注于模型实现，因为它让超参优化变得更加简洁、高效！

本文将会介绍如何启动Apollo，在Apollo中配置参数，以及如何使用Python连接Apollo.

本文将介绍如何在Firefly大模型训练框架中，使用LLAMA-2 7B模型，对多项选择阅读理解数据集RACE middle进行微调，最终效果提升明显。

本文在笔者之前研发的大模型智能文档问答项目中，开发更进一步，支持多种类型文档和URL链接，支持多种大模型接入，且使用更方便、高效。

本文的想法较为简单，是将字符串的编辑距离推广至token列表的编辑距离，可以作为一种衡量字符串相似度的指标。

本文介绍了如何使用HuggingFace的`Optimum`，来对微调后的BERT模型进行量化（Quantization），在`optimum.onnxruntime`模块中，平均推理时间提速约1.8倍。