NLP（九十七）大模型数学解题能力的初步探索 本文将会介绍如何对大模型进行微调（SFT），使其具备数学解题能力，这是笔者在探索大模型的数学解题能力方向的初步探索，后续将持续跟进。 2024-05-03 NLP #大模型 #LLaMA-Factory #数学解题
NLP（九十六）使用LLaMA-Factory实现function-calling 本文将会介绍如何使用LLaMa-Factory这个大模型微调框架，对Qwen1.5-4B模型进行微调，实现function calling功能，使得大模型具有工具调用能力。 2024-05-03 NLP #LLaMA-Factory #function-calling
transformers模块中的模型推理流式输出 本文将会介绍如何在`transformers`模块中实现模型推理的流式输出。 2024-05-03 深度学习框架 #流式输出 #transformers
NLP（九十五）Text-to-SQL入门 本文将会介绍Text to SQL相关的概念，如何使用大模型SFT实现Text to SQL，最后介绍Text to SQL的应用场景。 2024-05-03 NLP #Text to SQL
NLP（九十四）transformers模块中的DataCollator 本文将会详细介绍HuggingFace开源的`transformers`模块中的DataCollator. 2024-05-03 NLP #transformers
NLP（九十三）使用HuggingFace-TRL微调Qwen1.5-7B模型（SFT） 本文将会介绍如何使用HuggingFace开源的`trl`模块来对阿里的通义千问模型`Qwen1.5-7B`进行微调（SFT），并分享笔者在SFT过程中遇到的坑。 2024-05-03 NLP #大模型 #SFT