漫谈DeepSeek及其背后的核心技术

漫谈 DeepSeek 及其背后的核心技术

摘要

DeepSeek公司成立于杭州,以低成本和高性能的大模型DeepSeek-V3引领行业。其创新技术包括MLA多头潜在注意力、FP8混合精度训练和MoE架构,有效提升训练和推理效率。采用HAI-LLM训练框架和DualPipe并行算法,优化通信与计算重叠,显著降低成本。V3模型已达到国际领先水平,在国内外应用广泛。DeepSeek的成功展示了中国在AI基础技术研发中的突破,促进AI行业更快速、低成本迭代。