AI工程:Fine-tuning
如何微调(Fine-tuning)大语言模型?
本文介绍了微调的基本概念,以及如何对语言模型进行微调。
在复刻黏土风图生成中学习(1) — 模型微调/LoRA 原理/图生图
继续学习 Stable Diffusion,这次想以搭建一个实际可用的生图场景 — 黏土风格作为引导,弄清楚整个流程的同时,把过程中遇到的相关概念和原理也做了解,所以这篇是掺和了应用流程和原理的文章。
指令微调在渠道业务测试用例AI大模型中的应用
本文主要介绍了定制渠道业务测试用例专用AI大模型中指令微调的应用及实践。实践过程中,通过Self-Instruct方法并进行一定调整,生成软件测试领域的大量指令微调数据集,对开源大模型进行指令微调,最终实现了大模型在测试领域的性能提升。
大模型参数高效微调(PEFT)技术解析及微调加速实践
LoRA、QLoRA、AdaLoRA、SoRA实践,Unsloth实践。
如何使用Hugging Face微调大语言模型(LLMs)
大语言模型(LLMs)在过去一年取得了显著进步。从ChatGPT爆发以来,后来逐步发展了众多开源大模型LLMs,如Meta AI的Llama 2、Mistrals Mistral & Mixtral模型,TII Falcon等。
Prompt设计与大语言模型微调
本文主要介绍了Prompt设计、大语言模型SFT和LLM在手机天猫AI导购助理项目应用。
大模型微调方法总结
LoRA,Adapter,Prefix-tuning,P-tunin.
ChatGLM-6B微调:基于P-Tuningv2实践
P-Tuning v2 在 3亿到100 亿参数的广阔参数规模上,均能仅以 0.1%~3% 的微调参数量,取得和精调方法媲美的迁移效果;在文本分类和问答到序列标注的广泛任务类型上,P-Tuning v2 也总能取得和精调方法接近的表现水平。
浅尝prompt咒语设计:one-shot微调chatglm-6b实践信息抽取
近期以chatgpt等文生成LLMS爆火,国内也逐渐开源了中文版的chatgpt,本文以清华大学开源的6b的chatglm为例,实践one-shot微调,设计prompt咒语在信息抽取领域的实验效果。