公司:shopee
虾皮购物(英语:Shopee),之前称为虾皮拍卖,是一个在线电子商务平台,总部设在新加坡。虾皮购物于2015年首次在新加坡推出。同时也有经营实体店与物流业务。
在马来西亚,虾皮于 2017 年第四季度成为访问量排名第三的电子商务平台,取代了 Lelong ,并取代 Lazada 成为 Google Play 和 App Store 中最好的 APP;在印度尼西亚,TheAsianParent 在 2017 年 12 月进行的一项调查显示:“对于印度尼西亚的妇女来说,Shopee 是首选购物平台(73%),其次是 Tokopedia (54%),Lazada (51%) 和 Instagram (50%)。”。
2018年,Shopee 与 YG娱乐 合作,邀请 BLACKPINK 担任有史以来第一个区域品牌大使;同年 10 月, GOT7 的 BamBam 也被任命为泰国品牌大使 。在 2019 年, Shopee 邀请全球足球偶像Cristiano Ronaldo成为地区品牌大使。
电商知识图谱建设及大模型应用探索
电商领域中,知识图谱与大型模型的结合方式有三种,并且可以应用于电商平台的AI助手。AI助手通过强大的搜索引擎和建模系统改变了平台和卖家之间的互动方式,但需要经过实践验证和用户反馈来不断迭代更新。此外,AI助手还能帮助卖家生成AI内容,如使用AI模特图来展示商品,甚至进一步升级到三维视频展示以提供更直观的展示效果。最近,多模态大语言模型如ChatGPT-4、Gemini、Sora、Claude 3也取得了爆发式增长。
seadt:金融级分布式事务解决方案(三)—— SAGA设计与实现
seadt 是 Shopee Financial Products 团队使用 Golang,针对真实的业务场景提供的分布式事务解决方案。
Shopee 多语言商品知识图谱技术构建方法和应用
Shopee 是一家服务于全球多个市场的电商平台,致力于为消费者提供更加便捷,安全,快速良好的消费体验。Shopee 深耕多种不同的语言和市场,在这种国际化的服务平台上,需要处理多语言和混合语言的复杂语料。我个人的工作主要聚焦于电商平台商品有关的图谱以及图谱算法的构建,也希望通过本次分享能给大家带来一些收获。其中就包含了:商品知识图谱在多元市场的构建经验,商品知识图谱最新的进展以及新的应用,以及如何构建技术模型和技术框架来实现满足电商复杂应用的诉求。
ShopeeVideo 多语言 OCR 系统设计与实现
OCR 技术,即 Optical Character Recognition(光学字符识别),用于提取视频或图像中的文字。在 Shopee 的多市场电商和视频业务中,OCR 有着广泛的应用价值。
例如,在短视频的推荐、搜索、供给和内容审核、视频字幕提取、广告 logo 识别、封面版面分析、IP 版权识别等方面都用到了 OCR 的能力;在电商图像视频理解中,也包含商品信息提取、订单识别、卡证识别、票据识别、店铺识别、文档内容提取等应用。
Shopee 的业务场景主要分布在东南亚多个市场,用户使用语言也非常多元化。ShopeeVideo OCR 团队基于行业前沿的深度学习技术,联合开发团队打造了一套完整的多语言文字识别系统,将图片和视频上的文字内容智能识别为可编辑的文本。
目前,该系统在图像文本检测和识别、视频文本理解、版面分析、文本合成、轻量级模型部署上都有了深厚的积累,经历了多次算法迭代,识别精度不断提升,取得了业界领先的识别水准。
ShopeePay 自研云原生高可用服务注册中心实践
自研云原生高可用服务注册中心,结合 sRPC 服务框架,满足服务不间断通信的需求。
高效资金路由决策引擎的设计与实践
资金路由决策引擎在资金对接平台中起到核心作用,本文介绍如何设计高效的资金路由决策引擎。
Flink Unaligned Checkpoint 在 Shopee 的优化和实践
Flink 做为大数据流计算的标杆,通过 Checkpoint 和 State 保证了 Exactly Once 语义。在生产实践中,Shopee 遇到了很多 Checkpoint 的问题,并尝试引入 Flink 的 Unaligned Checkpoint 去解决。但调研后发现效果与预期有一定差距,所以在内部版本对其进行了深度改进,并将大部分改进已经反馈给了 Flink 社区。
本文会介绍 Checkpoint 存在的问题、Unaligned Checkpoint 原理、Shopee 对 Unaligned Checkpoint 的改进、对 Flink 社区的贡献以及内部的实践和落地。
高性能延迟服务实现之路
在营销自动化业务场景中,经常存在一类事件发生后,延迟一段时间,再执行另一动作的需求。这需要我们在系统中引入延迟服务来管理这样的任务。随着我们的业务发展,系统对延迟服务的数据量和吞吐性能也不断提高,亟需一种高并发、高吞吐、大容量的延迟服务解决方案。
本文将介绍 Shopee Off-Platform Ads 延迟服务的技术架构和演进历程。首先,根据业务带来的技术挑战,我们分析了备选的技术选型,说明它们的优缺点和适用场景。然后,我们会介绍当前方案的整体架构,说明主要场景下的处理流程,以及分享实现过程中的调优经验。最后,我们将概述系统当前运行状况,并探讨系统未来的优化方向。
基于 Hudi 的湖仓一体技术在 Shopee 的实践
湖仓一体(LakeHouse)作为大数据领域的重要发展方向,提供了流批一体和湖仓结合的新场景。目前,企业许多业务中会遇到的数据及时性、准确性,以及存储的成本等问题,都可以通过湖仓一体方案得到解决。
当下,几个主流的湖仓一体开源方案都在不断迭代开发中,业界的应用也都是在摸索中前行,在实际的使用中难免会遇到一些不够完善的地方和未支持的特性。Shopee 内部在使用过程中基于开源的 Apache Hudi 定制了自己的版本,以实现企业级的应用和一些内部业务需求的新特性。
通过引入 Hudi 的 Data lake 方案,Shopee 的 Data Mart、推荐、ShopeeVideo 等产品的数据处理流程实现了流批一体、增量处理的特性,很大程度上简化了这一流程,并提升了性能。
Datav:从零开始的数据可视化大屏搭建系统
随着 Shopee 业务数据的不断扩大,仅通过表格这样的数据分析方式已经无法满足日常的数据分析需求,丰富的图表分析 Dashboard 就显得格外重要。但是,从事前端开发的同学都知道,这种 Dashboard 页面纯手工开发会耗费比较多的人力资源和时间资源,在量比较多的情况下,可能业务需求都没办法及时响应了。
如果能有一个可以自动生成这些 Dashboard 页面的工具平台,那么可以节省大量的人力和时间,效率提升将会非常显著。本文将分享如何从零开始创建一个数据可视化大屏搭建系统。
Apache Druid 在 Shopee 的云原生架构演进
Shopee Druid 为什么要演进到云原生架构?如果要实现云原生化,需要做哪些事情?在这个过程中,可能还会踩到哪些坑?
本次分享将围绕以上三点展开,从 Shopee Druid 物理机架构遇到的问题入手,探索云原生架构的优势,并重点介绍云原生架构设计的技术细节,以及一些落地的最佳实践。
Shopee 视频处理技术后台应用
东南亚各市场的网络环境复杂多变、差异极大,如何在有限网络条件下提供稳定、高清的视频体验是我们面临的一大挑战。基于此,本次分享将介绍 Shopee 在东南亚视频业务落地上的方案,在画质提升上做出的努力,以及一些性能提升成本控制方面的优化。
Shopee 卖家搜索系统的架构演进
与买家搜索不同,卖家搜索系统有着怎样独特的技术挑战?
Shopee 商家数字商品可配置系统设计与实现
本文介绍 Shopee Merchant Services 团队设计的低成本商品上架的可视化配置方案。
Shopee Games API 网关设计与实现
本文将介绍 Shopee Games 团队自研的 API 网关,包括 API 网关如何进行泛化调用,自定义切面功能,稳定性保障,工程化实践等内容。
客户端堆栈还原原理及实现
利用 MDAP 的堆栈还原服务还原海量堆栈数据。