홈 항목 library logo 글 내
자세히

如何扩展大模型的上下文长度

摘要

本文通过剖析Llama模型结构，解析上下文扩展的关键层RoPE，并概述各种扩展方法的原理，希望能够帮助大家对大模型上下文扩展有一个系统的了解。

阅读原文
xiaozi 于 2024-03-13 分享
1539 海报分享
关联话题： #得物

欢迎在评论区写下你对这篇文章的看法。

评论

홈 - 위키
Copyright © 2011-2025 iteam. Current version is 2.142.0. UTC+08:00, 2025-02-24 04:30
浙ICP备14020137号-1 $방문자$