NLP(七十四)使用LangChain和异步Web框架实现接口流式输出 本文将介绍如何使用LangChain和异步Web框架实现接口流式输出。 2024-01-10 NLP #LangChain #流式输出
NLP(七十三)从BERT模型训练到量化、蒸馏之路 本文将会介绍笔者从BERT模型训练到模型量化、蒸馏的旅程,通过一系列文章的回顾,不难掌握模型训练和模型压缩的技能。 2024-01-10 NLP #模型量化 #知识蒸馏
NLP(七十二)使用知识蒸馏提升模型推理性能 本文将会介绍模型压缩方法——知识蒸馏,通过对训练后的BERT模型在小模型上进行蒸馏,在小模型上提到推理性能的极大提升,同时也不会过多损失模型效果。 2024-01-10 NLP #知识蒸馏
PyTorch入门(八)Optuna的使用 本文将会介绍机器学习领域的自动化超参优化软件框架——`Optuna`,它能在很大程度上让我们专注于模型实现,因为它让超参优化变得更加简洁、高效! 2024-01-10 深度学习框架 #Optuna
NLP(七十)使用LLAMA-2模型微调Multiple-Choice-MRC 本文将介绍如何在Firefly大模型训练框架中,使用LLAMA-2 7B模型,对多项选择阅读理解数据集RACE middle进行微调,最终效果提升明显。 2024-01-09 NLP #LLM #MRC
NLP(六十九)智能文档助手升级 本文在笔者之前研发的大模型智能文档问答项目中,开发更进一步,支持多种类型文档和URL链接,支持多种大模型接入,且使用更方便、高效。 2023-09-09 NLP #文档问答