深入剖析开源大模型+Langchain框架智能问答系统性能下降原因

深入剖析开源大模型 +Langchain 框架智能问答系统性能下降原因

摘要

开源LLM在与openAI结合的技术方案下性能下降的原因主要有三个：开源中文embedding模型在Retrieval任务上表现不佳；模型输入tokens限制导致候选chunks数量少；模型自身在阅读理解和总结任务上有不足。因此，选择开源LLM与中文领域最好的embedding模型结合，采用常规的langchain+openAI技术框架，性能会下降很多。