NLP(六十八)使用Optimum进行模型量化 本文介绍了如何使用HuggingFace的`Optimum`,来对微调后的BERT模型进行量化(Quantization),在`optimum.onnxruntime`模块中,平均推理时间提速约1.8倍。 2023-09-06 NLP #BERT #模型量化 #Optimum
NLP(六十七)BERT模型训练后动态量化(PTDQ) 本文介绍了量化基本概念,PyTorch模型量化方式,以及对BERT模型训练后进行动态量化后在推理效果和推理性能上的实验。 2023-09-03 NLP #模型量化
NLP(六十六)使用HuggingFace中的Trainer进行BERT模型微调 本文将会介绍如何使用HuggingFace中的Trainer对BERT模型微调。 2023-09-02 NLP #BERT #文本分类 #HuggingFace
Gradio入门(1)输入输出、表格、文本高亮 本文介绍了机器学习领域中一个很好用的前端展示工具Gradio,分别就输入和输出、表格、文本高亮三个功能上给出了简单示例和大模型方面的应用。 2023-08-30 Python #Gradio