公司:OPPO
OPPO广东移动通信有限公司,品牌名称的标识是小写的oppo,是中国大陆电子设备及智能终端制造公司,总部位于广东省东莞市,成立初期以生产MP3、MP4、DVD等影音播放设备为主,后进军手机市场,推出以快速充电及影像处理为主要卖点的拍照智能手机。现名列中国大陆四大一线手机制造商(华为、OPPO、vivo、小米)。
OPPO大数据计算集群资源调度架构演进
我们开发的离线和实时任务,都需要集群提供计算资源来保障作业运行,如何充分协调作业资源,发挥集群最大计算能力正是资源调度框架要解决的问题。本篇将重点介绍资源调度框架YARN及其在OPPO的实践。
OPPO大数据离线任务调度系统OFLOW
在整个大数据体系中,在原始数据被采集之后,需要使用各种逻辑进行整合和计算之后才能输出实际有效的数据,才能最终用于商业目的,实现大数据的价值。在整个处理流程中,无论是抽取、转换、装载(ETL)的这些过程,还是数据用户分析处理过程,都是需要包含众多的处理任务,而且这些任务都不是孤立的,而是存在相互依赖和约束关系的。如何高效的调度和管理这些任务是非常关键的,影响到各个流程中的数据的及时性和准确性。在这个过程中任务的高效管理和调度是非常关键的,会影响到各个流程中的数据的及时性和准确性。
Flink Sql Gateway的原理与实践
我们在使用Flink开发实时任务时,都会用到框架本身提供的DataStream API,这使得用户不能不用Java或者Scala甚至Python来编写业务逻辑;这种方式虽然灵活且表达性强,但对用户具有一定的开发门槛,并且随着版本的不断更新,DataStream API也有很多老版本不兼容的问题。
实体链接在小布助手和OGraph的实践应用
精准直达的知识问答能力对营造小布“懂知识、更懂你”的形象非常重要。在语音助手场景,经常会出现一词多义或者口语化表达等问题。例如:李白出装,李白的诗,播放李白。第一李白是指游戏角色,第二个是指诗人李白,第三个是指歌曲李白。如何精确识别用户所指、给出正确的答案是小布助手面临的挑战。
我就获取个时间,机器就down了
linux时间管理,包含clocksource,clockevent,timer,tick,timekeeper等等概念 ,这些概念有机地组成了完整的时间代码体系。当然,是代码就会有bug,本文通过一个bug入手,在实战中加深对理论的认识。
潜藏在手机中的新威胁:免安装应用安全指北
OPPO子午实验室在Black Hat Asia黑帽大会上分享了针对免安装应用的研究与分析成果,如何从普通接口调用到应用权限的远程命令执行,我们将在本篇文章中进行更为详尽的分析。
虚拟机与容器的混合管理实践
基于原生kubevirt项目进行优化实现容器与虚拟机在kubernetes生产集群中的统一调度和管理。
Elastic-Job的执行原理及优化实践
在使用elastic-job进行分布式任务调度的过程中,我们除了借助现有的框架,也结合了自身的业务特点对elastic-job进行了改造。本文就我们的项目经历向大家介绍Elastic-Job的执行原理和优化实践。
中间件运维之故障自愈
监控异常指标,通过根因分析,制定可视化的标准运维流程实现故障自愈。
深度学习中的分布式训练
分布式训练可以极大的提升深度学习模型的训练效率,节约训练时间,本文介绍了分布式训练的常见策略,以及基于Pytorch框架的分布式实现方式,可以帮助算法工程师在工作中更好的理解并使用分布式训练方式。
一例智能网卡(mellanox)的网卡故障分析
一例关于 mellanox 网卡的故障分析,涉及到 dma_pool的维护以及竞态的分析。
Realtime DB技术详解
Realtime DB是一种托管在云端的数据库,数据以JSON格式存储并实时同步到所连接的每个客户端。
开源高性能Web服务框架ESA Restlight
ESA Restlight是OPPO云计算中心-云原生团队开源的云原生Web框架。性能相较传统Web框架提升2-4倍,更高的性能,更少的资源占用,更丰富的功能,更灵活的架构。 不仅仅是框架,更是服务框架云原生转型过程中的设计与思考。
如何识别并解决复杂的dcache问题
原生 Linux kernel 作为一个通用内核,在面对云原生的各种复杂场景时,匹配度需要做一些定制。本文基于一个oppo混合云场景中的一个实际案例,提供针对类似问题的一些排查思路,并希望提供社区和云原生监控可能的优化方向。
10分钟掌握Java性能分析诀窍
性能分析的工具或者手段各有千秋,但性能的分析的过程却都大相径庭。本文就已知适用的Java性能分析窍门进行一些分享,帮助用户更好的理解和运用。
统一预估引擎的设计与实现
在推荐的场景中,为了做到千人前面,就需要使用模型对用户与item进行预估打分。预估引擎作为推荐服务的一个核心模块,主要负责对用户与item进行特征提取,再用模型进行预估。这个引擎的好坏直接关系到公司的收入和产品体验。