trang chủ chủ đề library logo thư viện của tôi
thêm

如何扩展大模型的上下文长度

摘要

本文通过剖析Llama模型结构，解析上下文扩展的关键层RoPE，并概述各种扩展方法的原理，希望能够帮助大家对大模型上下文扩展有一个系统的了解。

阅读原文
xiaozi 于 2024-03-13 分享
1306 海报分享
关联话题： #得物

欢迎在评论区写下你对这篇文章的看法。

评论

trang chủ - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.3. UTC+08:00, 2024-11-28 19:47
浙ICP备14020137号-1 $bản đồ khách truy cập$