话题公司 › 京东

公司:京东

关联话题: JD

京东是中国最大的电子商务公司之一,成立于1998年。公司提供在线零售、物流配送、支付服务等一系列互联网服务。京东市场规模庞大,是中国最大的网络零售商之一。随着国内电子商务市场的不断发展和技术的不断提升,京东已经成为中国互联网行业的领导者之一。

万字长文详述ClickHouse的探索与实践

京喜达技术部在社区团购场景下采用JDQ+Flink+Elasticsearch架构来打造实时数据报表。随着业务的发展 Elasticsearch开始暴露出一些弊端,不适合大批量的数据查询,高频次深度分页导出导致ES宕机、不能精确去重统计,多个字段聚合计算时性能下降明显。所以引入ClickHouse来处理这些弊端。

数据写入链路是业务数据(binlog)经过处理转换成固定格式的MQ消息,Flink订阅不同Topic来接收不同生产系统的表数据,进行关联、计算、过滤、补充基础数据等加工关联汇总成宽表,最后将加工后的DataStream数据流双写入ES和ClickHouse。查询服务通过JSF和物流网关对外暴露提供给外部进行展示,由于ClickHouse将所有计算能力都用在一次查询上,所以不擅长高并发查询。我们通过对部分实时聚合指标接口增加缓存,或者定时任务查询ClickHosue计算指标存储到ES,部分指标不再实时查ClickHouse而是查ES中计算好的指标来抗住并发,并且这种方式能够极大提高开发效率,易维护,能够统一指标口径。

在引入ClickHouse过程中经历各种困难,耗费大量精力去探索并一一解决,在这里记录一下希望能够给没有接触过ClickHouse的同学提供一些方向上的指引避免多走弯路,如果文中有错误也希望多包含给出指点,欢迎大家一起讨论ClickHouse相关的话题。

你也能成为“黑客”高手-趣谈Linux Shell编程语言

我们看过很多诸如《盗梦空间》、《操作系统革命》、《代码》、《黑客帝国》等在电脑命令行敲一些命令并给观众展示很高科技画面感的电影,几乎令全场惊叹并膜拜,这里手把手给大家介绍实现方法;同时介绍其他几个都有十分酷炫效果的常用指令,快来get!

架构师日记-从数据库发展历程到数据结构设计探析

本文从数据库技术的发展史和概念开始,阐述了拉链表,位运算,环形队列等相关数据结构在软件开发领域的应用。

京东云RASP云原生安全免疫创新实践

本文主要介绍京东云RASP所解决的问题、工作原理、架构设计、应用场景以及最佳实践案例。

交易履约之产品中心实践

本文主要介绍交易履约产品中心系统发展历程,架构演进升级,平台技术亮点。通过系统架构和平台能力的不断升级,产品中心灵活的支持不同业务线产品差异化管理,可快速适配不同场景的产品配置、产品分发和产品售卖流程。

全文从系统建设背景、系统架构、平台技术亮点多方面进行阐述,文章后面介绍了系统基于元数据、模版动态维护产品表单数据,基于ES Mapping动态无缝切换索引等技术亮点,力求将系统性能和体验提升一个台阶。

Serverless冷扩机器在压测中被击穿问题

机器扩容后瞬间被高流量击穿,背后发生了什么,在冷启动的场景下我们如何保护系统被瞬间流量压垮?

架构师日记-从代码到设计的性能优化指南

服务性能是指服务在特定条件下的响应速度、吞吐量和资源利用率等方面的表现。据统计,性能优化方面的精力投入,通常占软件开发周期的10%到25%左右,当然这和应用的性质和规模有关。性能对提高用户体验,保证系统可靠性,降低资源使用率,甚至增强市场竞争力等方面,都有着很大的影响。

性能优化是个系统性工程,宏观上可分为网络,服务,存储几个方向,每个方向又可以细分为架构,设计,代码,可用性,度量等多个子项。本文将重点从代码和设计两个子项展开,谈谈那些提升性能的知识点。当然,很多性能提升策略都是有代价的,适用于某些特定场景,大家在学习和使用的时候,最好带着批判的思维,决策前,做好利弊权衡。

GPT大语言模型Vicuna本地化部署实践(效果秒杀Alpaca)

本文讲述了目前开源大模型里推理效果领先的,同时对中文支持较好的vicuna模型进行本地化部署和实践的过程。详细叙述了模型的基础环境准备,并从几个维度进行了推理测试,最后总结了后续需要进行的工作。

前端开发之函数式编程实践

函数式编程是一种编程范式,它将程序抽象为函数和数据结构,通过函数调用来实现程序的功能,并且函数可以作为参数传递给其他函数。

在 JavaScript 中,函数式编程可以实现面向对象编程的一些功能,比如抽象、封装、继承和多态等。

它还可以使用高阶函数、柯里化、组合和延迟计算来实现函数式编程的功能。

体验价值验证—C端用户体验度量模型3.0升级

本文通过介绍体验度量模型升级研究过程、研究方法及研究结果等内容,结合实际C端产品应用,观测新模型运行周期的表现,验证了其在高速发展的业务形态和日益变化的用户需求上的适用性和有效性。

GPT大语言模型Alpaca-lora本地化部署实践

本文讲述了基于Alpaca-lora模型进行模型本地化部署和推理的整个过程,部署环境为具有3块GPU显卡的服务器,详细叙述了模型的部署步骤和推理过程,对模型进行了推理测试,并总结了后续改进方案和相关工作。

使用Swift提高代码质量

京喜APP最早在2019年引入了Swift,使用Swift完成了第一个订单模块的开发。之后一年多我们持续在团队/公司内部推广和普及Swift,目前Swift已经支撑了70%+以上的业务。通过使用Swift提高了团队内同学的开发效率,同时也带来了质量的提升,目前来自Swift的Crash的占比不到1%。在这过程中不断的学习/实践,团队内的Code Review,也对如何使用Swift来提高代码质量有更深的理解。

URL短网址系统的算法设计及实践

自研专利:分布式无碰撞短码生成算法。链接不仅仅是短!

视觉叙事浅析——用视觉讲故事

什么是视觉叙事?指用图像讲故事(所以也被称为“视觉讲故事”/visual storytelling)。

mosn基于延迟负载均衡算法 -- 走得更快,期待走得更稳

这篇文章主要是介绍mosn在v1.5.0中新引入的基于延迟的负载均衡算法。首先会对分布式系统中延迟出现的原因进行剖析,之后介绍mosn都通过哪些方法来降低延迟,最后构建来与生产环境性能分布相近的测试用例来对算法进行验证。

一文讲透产品经理如何用好ChatGPT

ChatGPT,特别是4.0版本的出现,对各行各业产生了极为深远的影响。但人类不应该害怕机器,而是要想办法让机器为自己所用。作为产品经理,ChatGPT能帮我们做什么呢?本文作者对此展开了分析,与你分享。

- 위키
Copyright © 2011-2024 iteam. Current version is 2.137.3. UTC+08:00, 2024-12-17 17:41
浙ICP备14020137号-1 $방문자$