Главная тема library logo Библиотека Мои
развернуть

如何扩展大模型的上下文长度

摘要

本文通过剖析Llama模型结构，解析上下文扩展的关键层RoPE，并概述各种扩展方法的原理，希望能够帮助大家对大模型上下文扩展有一个系统的了解。

阅读原文
xiaozi 于 2024-03-13 分享
1358 海报分享
关联话题： #得物

欢迎在评论区写下你对这篇文章的看法。

评论

Главная - Вики-сайт
Copyright © 2011-2024 iteam. Current version is 2.139.0. UTC+08:00, 2024-12-27 23:32
浙ICP备14020137号-1 $Гость$