乌漆嘛黑

介绍量化的概念，使用lmdeploy进行模型量化与kv-cache量化部署。

介绍DeepSeep框架，使用LLamaFactory和XTuner进行分布式微调。同时介绍XTuner的安装和使用，以及XTuner如何进行模型转换与合并。

解决在微调和部署时对话模板不统一的问题。

LoRA与QLoRA的异同，以及如何在LLamaFactory上使用LoRA与QLoRA

详细介绍了LLamaFactory和OpenWebui的安装和使用, 以及如何在LLamaFactory上进行推理，微调。以及如何通过脚本对模型进行Lora微调。最后解释量化原理。

介绍如何根据模型的参数量计算显存占用，介绍了分布式训练常见的通信原语，包括Reduce, Gather, Broadcast,Scatter,ReduceScatter,AllGather,AllReduce等，以及介绍Zero优化器三个级别各自的执行过程。

介绍如何从modelscope下载模型，以及三种常用的本地模型部署工具 ollama，vllm, LMDeploy 的下载，部署和调用方法。

本地连接云服务器，在云服务器上训练模型，通过后处理控制模型的输出。

在古诗词数据集上微调GPT2，介绍了如何调用GPT，如何制作数据集，以及如何微调。

在二分类问题上微调Bert模型，介绍AI项目的开发流程，包括数据，模型，微调，评估，部署，以及介绍开发过程中细节，并给出各个步骤的代码。