话题公司 › 百度

公司:百度

如何定量分析 Llama 3,大模型系统工程师视角的 Transformer 架构

主要从工程师的视角来剖析 Transformer 的整体架构,主要分 4 个部分:

  • 第 1 部分会介绍一些基础知识,帮助大家对后面讨论的内容做个铺垫。
  • 第 2 部分是对 Transformer 架构的定量分析,也是今天分享的重点。在这个部分我会把 Transformer 架构打开,告诉大家它内部做了什么事情,并针对该模型做了一些定量分析,进而形成一些量化的结论。
  • 第 3 部分我们会展示一些目前比较热门的 Transformer 架构变种,并从架构的视角来分析各个变种的效果和优化点。
  • 第 4 部分是对一些实际案例进行分析,通过实战更好地让大家对大模型的性能和相关问题有更深入的理解。

财务记账系统中高频热点账户的研究

本文在结算系统升级到了2.0,搭建了一个基于账户余额的财务系统的基础上,讨论了财务系统中较为常见的高频热点账户的现象,研究并给出了一些解决方案,并对不同的解决方案进行对比,给出不同业务场景下适用的解决方案。

百度智能云将大模型引入网络故障定位的智能运维实践

物理网络中,某个设备发生故障,可能会引起一系列指标异常的告警。如何在短时间内从这些告警信息中找到真正的故障原因,犹如大海捞针,对于运维团队是一件很有挑战的事情。

在长期的物理网络运维工作建设中,百度智能云通过各种平台数据的综合分析实现了快速故障定位。近期,更是将大模型成功引入物理网络的故障定位中。相比过去传统的定位分析方法,大模型给网络故障定位的能力建设带来了很多改变。

百度Feed稳定性架构实践

面对数十亿的在线请求流量,如何保证系统的高可用?

百度推荐排序技术的思考与实践

本文主要介绍了百度在推荐排序方面的思考与实践,以及特征、算法和架构三个角度的介绍。百度采用了离散化特征设计,平衡了记忆和泛化效果,特别是对头部用户和稀疏长尾的处理方式不同。文章强调了用户的点击和消费决策序列在模型设计中的重要性。百度通过分层设计和联训提高模型效率,采用弹性计算法保证模型复杂性和性能。精排模型精度高,重排模型在此基础上做list wise。百度希望通过这些措施实现推荐公平和数据分布的平衡。

基于 Native 技术加速 Spark 计算引擎

本文介绍了如何通过将Spark的计算模式改为按列计算,并使用C++语言重写逻辑,来提升Spark计算引擎的性能。文章详细讨论了重写Spark SQL内核的工作量和Databricks已实现的闭源C++版本SQL内核。同时,也提出了可以选择一个性能强大的开源引擎,并改造为符合要求的SQL内核,以减少人力成本。最后,文章展示了将ClickHouse作为Spark SQL的示意图。通过改造Spark引擎并利用ClickHouse的优势,可以显著提高性能。

百度&YY设计稿转代码的探索与实践

Figma & AI相结合生成开发代码的一站式解决方案。

如何实现埋点日志精准监控

基于日志中台实时架构实现准确、可扩展、低成本的日志埋点监控。

从打点平台谈打点治理

本文从打点平台角度,描述日志中台在打点治理方面提供的解决方案与实践经验。

手把手教你用Spring Boot搭建AI原生应用

文章详细介绍了 Spring AI 的使用方法,并将 Spring AI 与 Spring Boot 集成,结合检索增强生成技术,帮助读者轻松开发出一个 AI 原生应用。

低代码组件扩展方案在复杂业务场景下的设计与实践

爱速搭是一个前端页面可视化模块,它提供了上百种功能组件,解放了前端研发人员的样式微调和兼容工作。它支持多种技术栈的自定义组件扩展,如Vue、React、jQuery等。用户可以使用AKFun提供的工具进行自定义组件的编码和编译,并将其打包成静态js脚本发布成一个NPM包。开发NPM组件扩展包时需要注意避免重复加载第三方依赖的代码。

大模型效能工具之智能CommitMessage

本文阐述了一种大模型应用-智能CommitMessage小助手,帮你按照提交规范自动生成符合规范的CommitMessage,从此告别CommitMessage的烦恼。

百度 UidGenerator 源码解析

简介先来看一下官方介绍:雪花算法“雪花算法(Snowflake)是一种生成分布式全局唯一 ID 的算法,生成

多元 CPU 性能调优的技术挑战、产品设计和业务实践

本文整理自 2024 年 4 月 QCon 全球软件开发大会(北京站) 性能优化专题的同名主题分享。当前数据中心的服务器中部署着各类 CPU(Intel/AMD/Ampere 等),这些平台的差异,使得运行在上面的程序无法

基于afx透明视频的视觉增强前端方案

文章介绍了一种降低动效研发成本的视觉增强前端方案。

向量检索在大模型应用场景的技术和实践

  1. 向量检索应用简介向量是多维数学空间里的一个点,在各维度上的坐标的一串数字。这个点就是来源于真实世界的物体进行数字化之后在数学空间的投影。那么不同点之x

首页 - Wiki
Copyright © 2011-2024 iteam. Current version is 2.130.1. UTC+08:00, 2024-07-27 09:30
浙ICP备14020137号-1 $访客地图$