公司:得物
得物,原名“毒”,是中华人民共和国上海市上海识装信息科技有限公司推出的一个电商手机应用。第三方商家和个人可以入驻得物平台与其他用户进行交易。
大语言模型系列—预训练数据集及其清洗框架
在参与得物大语言模型(Large Language Model, LLM)项目深度实践中,笔者亲历了预训练数据的搜集与清洗全过程。通过梳理现有预训练数据集及其清洗框架,旨在提供全面而实用的参考,为LLM训练提供快速有效的数据集落地方案。
得物云原生容器技术探索与落地实践
云原生容器技术在得物的落地开展还是比较快的,业务覆盖面也比较广泛。经过2年时间的实践落地,已经全面深入资源管理系统、预算/成本管理机制、应用服务发布流程、AI算法等管理体系和业务场景。
Jedis连接池究竟是何物
上述文章以Jedis为引,分析了GenericObjectPool连接池的底层原理以及Jedis是如何使用该连接池的,并且结合了Arthas分享了一个简单的排障方式,希望抛砖引玉,带大家对连接池的底层实现能有一个基本概念。
粗排优化探讨
粗排作为推荐中关键一环,可以做的内容丰富,对效率提升也很重要。后续将在多目标和多场景方向持续优化,争取进一步提升推荐效率。
一口气看完43个关于 ElasticSearch 的使用建议
在使用Elasticsearch时需要注意以下几点:1)设置分片数不要超过节点数的3倍;2)单个分片数据量不要超过50GB;3)单个索引的规模控制在1TB以内,单个分片大小控制在30-50GB,Docs数控制在10亿内;4)避免使用字段动态映射功能,指定具体字段类型、子类型和分词器;5)对于不需要分词的字符串字段,使用Keyword类型;6)ES默认字段个数最大1000,建议不要超过100;7)对于不索引字段,Index属性设置为False;8)避免使用Nested或Parent/Child;9)禁用Norms对于不需要进行评分排序的字段;10)对于不需要聚合和排序的字段禁用列存Doc_Values。此外,对于有频繁且较为固定的Range查询字段,可以增加一个Pre-Indexing字段来加快聚合速度。对于需要聚合查询的高基数Keyword字段,可以启用Eager_Global_Ordinals,它可以在Keyword字段上运行Terms聚合,并结合多个Segment的结果。
Flutter 全埋点的实现
基于 Dart AOP 实现的 Flutter App 全埋点功能不仅能够提升开发效率,还能够方便后期的维护工作,为项目的稳定性和可维护性提供了有力支持,希望以后可以通过 AOP 技术解决更多难题。
测试左移与提测流水线的应用实践
在自动化测试左移的基础上,我们将进一步完善和优化自动化测试流程,以提高测试的覆盖率和质量,扩大自动化测试范围和持续监控和优化,提升自动化测试范围,并且再进一步提高测试效率和质量。
一次性讲清楚「连接池获取连接慢」的所有原因
本文列举了几乎所有可能导致连接池获取连接慢的 case,相信看完的读者以后再遇到此类问题时,再也不会一头雾水了。学会自助排查,不光可以提升自己的排障能力,同时也能减轻各位中间件 & DBA 小伙伴的客服压力。
得物大模型平台,业务效果提升实践
由于大模型社区持续发展,未来必定会涌现出更先进的微调训练和量化部署技术。我们将密切关注这些进展,如果发现新方法在效果和性能方面优于目前支持的方法,我们将及时将其整合到平台的框架中。
得物商家域精准测试实践
通过在第三季度的实践中发现的一些问题平台也积极配合改进,相信后续在平台支持的基础上做需求维度的精准测试推荐,更多应用使用精准测试平台,每个迭代以需求维度推进会更高效精准的分析,当精准率提高到一定水准,能够为以后的测试工作提供依据和借鉴。
效率前端微应用推进之微前端研发提效
得物效率前端所在的效率工程为提升企业协作效率而生,面临大量的 PC 侧的中后台应用场景。这篇文章将着重介绍得物效率前端微应用推进中,微前端的研发效率遇到的挑战和解决方案。
得物商品状态体系介绍
目前得物的商品分为三种类型,分别是:新品、商品、草稿。但是只有商品是可售卖的,新品和草稿都不是可售卖的。
线程剖析 - 助力定位代码层面高耗时问题
线程剖析可以帮助开发人员提高应用程序的质量和性能,快速定位性能问题,以确保应用程序的顺畅运行,同时,也可以更有效地应对性能挑战,提高应用程序的可维护性和性能。
知识抽取简述
本文从标签词挖掘和标签词分类两个角度介绍了知识抽取的经典方法,可以为业界内容理解、Query理解的词典构造、NER等方向提供参考。
一文搞懂得物前端监控
前端监控确实是很有必要的,我们需要对线上的页面有个全面的把控,而至于怎么做监控,做数据上报,以及数据分析,如何针对监控数据分析出有用的核心链路的告警等也能有个全面的认识。本文主要是介绍得物针对监控做了哪些事情以及对前端底层监控手段做个总结。
虚拟线程原理及性能分析
在使用虚拟线程之后,一切都将改变,开发人员可以使用目前最习惯舒服的方式来编写代码,高性能和高吞吐由虚拟线程自动帮你完成,这极大地降低了编写高并发服务应用的难度。