知鸦日报2024-11-25

2024-11-24 16:30:00 ~ 2024-11-25 16:30:00

技术

How to Remove Silence from an Audio using Python

摘要

There are many ways available that remove the silence part or the dead spaces from an audio file but it’s time consuming to know which one is work best for you. Here in this article I’ll walk you through few commonly used techniques to remove the silence and its pro’s and con’s.

Though there are tools that only detects the silence and does not remove it from the audios implicitly. We can consider that also and use that information to remove the silence explicitly. Before we start lets understand few terminology that we are going to use later 1.Silence Time Threshold : Time duration for which there is no sound intensity (SI) or it is very low that can be consider as silence, most of the times it is fixed. For example if you keep Silence Time Threshold as 10 sec then your algorithm should detect dead/silence spaces greater than or equal to 10 sec. 2. Sound Intensity Threshold : Like time threshold, it is the threshold for sound intensity. For example if intensity threshold is 45db then the intensities those are less than 45db are considered as silent. We can keep it fixed throughout the audio or can make it dynamic based on the requirement. Lets begin …

京东技术:Taro 鸿蒙技术内幕系列(三) - 多语言场景下的通用事件系统设计

摘要

在鸿蒙生态系统中,虽然原生应用通常基于 ArkTS 实现,但在实际研发过程中发现,使用 C++ 可以显著提升应用框架和业务的性能表现。

Taro 鸿蒙技术内幕系列(三) - 多语言场景下的通用事件系统设计

Elasticsearch 查询限制有很多,你知道几个?

摘要

Elasticsearch 是一款功能强大的分布式搜索和分析引擎,被广泛应用于各种场景。

然而,在使用 Elasticsearch 进行查询操作时,可能会遇到一些限制。这些限制有的是为了防止性能下降和资源耗尽而设定的,有些则是由于软件本身的工作方式所固有的。深入了解这些查询限制,对于优化性能和确保系统的高效稳定运行至关重要。

本文将详细介绍 Elasticsearch 中的五大查询限制,并提供相应的解决方案和优化建议。

Elasticsearch 查询限制有很多,你知道几个?

文章相似度 - simhash 计算

摘要

比较两篇文章的相似度,传统思路是余弦相似度:先将两篇文章分别进行分词,得到一系列特征向量,然后计算特征向量之间的夹角余弦,从而判断两篇文章的相似度。缺点是文章量大了之后,要计算任意两篇文章之间的夹角余弦是不可想象的。

SimHash 是一种局部敏感哈希算法,它产生的哈希签名在一定程度上可以表征原内容的相似度。其主要思想是降维,将高维的特征向量转化成一个 f 位的指纹(fingerprint),通过算出两个指纹的海明距离(hamming distince)来确定两篇文章的相似度,海明距离越小,越相似。在文章量大了之后,可以通过设计减少海明距离的计算次数。

SimHash 的局限性:对短文本效果不显著,对 500 字以上的效果好一点,文本越长判断的准确率越高。

货拉拉技术:全链路压测自动化的探索与实践

摘要

在过去的几年里,货拉拉的用户和货运订单数量都实现了快速增长,现已发展成为全球最大的闭环物流交易平台。随着订单业务的飞速发展,系统稳定性的保障变得越来越重要,全链路压测在保证系统稳定性的过程中发挥了关键的验证作用,其目标是检验系统的稳定性。

全链路压测自动化的探索与实践

货拉拉技术:基于LLM的AI客服选车助手

摘要

本文阐述了大模型在货拉拉业务中的实践,我们结合货拉拉内部自研的货运大模型的能力,成功实现了基于LLM的AI客服选车助手。

基于LLM的AI客服选车助手

货拉拉技术:解决因主库故障迁移导致的核心服务不可用问题

摘要

8月30日,下午 15:50 左右,因阿里云 RDS 宿主机故障,我们部署在此宿主机上的一个核心订单库(mysql.order_sharding)因探活失败发生 HA 切换。随后,交易主链路上依赖该库的若干应用陆续出现了服务不可用问题,并又一次经历了漫长的恢复过程。之所以说是 “又一次”,是因为在过去这半年时间里,类似的问题已经不是第一次发生。

解决因主库故障迁移导致的核心服务不可用问题

货拉拉技术:货拉拉司机Android端内存治理实践

摘要

当我们谈论Android应用程序的性能时,内存管理是一个至关重要的方面。

货拉拉司机Android端内存治理实践

货拉拉技术:Photopshop 中的文字解析及其在前端的应用

摘要

在笔者负责的营销活动项目中,不同时间和场景需要不同的文案图片,传统方式下,设计需求需要多次沟通后设计师才能修改文案并提供图片。但借助 Photoshop 插件 (下面简称 CEP),设计师可以创建模板并将文字样式和背景图片解析,让运营人员在在线编辑器上修改文案,提高工作效率。本文将探讨如何利用 Photoshop 插件进行文字样式解析,实现精准的设计还原。

货拉拉技术:摩尔纹识别算法在货拉拉业务中的探索与实践

摘要

本文首先详细阐述了摩尔纹的相关理论知识,接着深入探讨了摩尔纹识别的相关算法,最后将这些理论知识和算法通过扩散模型技术成功地应用到货拉拉的实际业务场景中。

摩尔纹识别算法在货拉拉业务中的探索与实践

货拉拉技术:灵目平台-货拉拉地图领域流量回放体系的场景化探索

摘要

如何确保货主和司机位置的准确性和实时性、路线规划的合理性、预计到达时间的准确性以及封闭道路/限行道路规避的及时性,便成为了地图后端测试亟待解决的难题。

灵目平台-货拉拉地图领域流量回放体系的场景化探索

货拉拉技术:聊一次线程池使用不当导致的生产故障

摘要

关于线程池使用不当导致的生产故障分享。

聊一次线程池使用不当导致的生产故障

货拉拉技术:货拉拉大数据测试质效提升之路

摘要

随着货拉拉业务的高速发展,大数据在用户行为分析、广告定向投放、风险控制、用户画像、为公司管理层和运营团队提供决策帮助等方面,得到了越来越广泛的应用。

货拉拉大数据测试质效提升之路

货拉拉技术:多臂老虎机在推荐价策略中的应用

摘要

货运行业正处于迅猛发展的快车道上,其业务扩张之迅速与市场环境之多变令人瞩目。以货拉拉2023年的招股说明书为例,其年收入增长率达到了28.8%[6],凸显了持续加速的增长态势。另一方面由于市场价格波动大,用车需求非标,很难动态定准价格,议价是市场主流模式。议价虽然可以解决定价过高导致的用户不下单,但往往出价过低导致的司机响应低,因此需要引导司机加价来提响应。在此背景下,推荐价格策略在货运领域的应用面临着前所未有的挑战,即如何在外界环境波动频繁的情况下保持高效、稳定且适应性强,从而确保为用户和司机带来更加优化的体验。

针对这一挑战,我们创新性地设计了一套自适应遗传算法框架[5],旨在赋能货运业务,在成本可控的前提下,实现算法的自我进化与优化。该框架不仅促进了策略的动态调整,还保障了在不断变化的市场环境中,能持续收获稳定的高效益。通过这一智能化方法,我们力求构建出一个更为健壮、可靠且高度适应变化的解决方案生态系统,全方位提升货运动态价格建议的效率与质量。

多臂老虎机在推荐价策略中的应用

货拉拉技术:前端搭建平台进阶:低代码与零代码的结合

摘要

本文将介绍如何对现有的低代码平台进行升级,实现零代码开发。让后端同学或者非技术用户也能轻松参与到页面的构建中。

前端搭建平台进阶:低代码与零代码的结合

货拉拉技术:我们是如何建设5个9的服务化网关

摘要

在 LApiGateway 上线的两年多时间里,我们成功达成了 5 个 9 的高可用性指标。

我们是如何建设5个9的服务化网关

货拉拉技术:企业开放平台进阶之路

摘要

开放平台是一个公司对外的窗口,公司通过开放平台将内部的标准、数据和服务等以API的形式开放出来,供第三方开发者使用。简单概括就是:“聚集于核心竞争力的业务平台,采用面向大众开放的方式进行业务的整合,形成一种业务共建的模式”。

企业开放平台进阶之路

货拉拉技术:货拉拉营销自动化框架Mutation演变与升级之路

摘要

"架构设计的艺术在于找到最简单的解决方案来满足业务需求。" —— John Gall

“Mutation” :含义为“突变”,指基因序列的改变,这种改变可能导致生物体特性的变化。这个名称寓意着框架能够适应和应对营销领域不断变化的接口....

货拉拉营销自动化框架Mutation演变与升级之路

货拉拉技术:想象即现实:货拉拉 AI 应用开发体系揭秘

摘要

货拉拉大模型应用开发体系介绍与实践。

想象即现实:货拉拉 AI 应用开发体系揭秘

货拉拉技术:货拉拉iOS疑难Crash治理-系统键盘语音

摘要

我们业务一直存在着通过键盘语音进行语音转文字的一个系统崩溃, 具体崩溃时间点是在键盘语音输入结束之后,取消语音输入 UIDictationConnectioncancelSpeech发生崩溃。

货拉拉iOS疑难Crash治理-系统键盘语音

货拉拉技术:记一次TooManyRequestsException崩溃排查历程

摘要

4月份开始,公司的几个Android项目线上突然出现了很多华为鸿蒙的设备TooManyRequestsException的问题,在社区上也零零散散看到一些关于华为鸿蒙设备出现TooManyRequestsException的反馈,但是都没有明确的解决方案。

记一次TooManyRequestsException崩溃排查历程

货拉拉技术:前端性能优化之 LCP 指标提升

摘要

在实际的项目需求研发中,经常会得到测试或者业务同学反馈项目部分页面访问加载白屏时间比较长,或者页面呈现比较慢等体验问题。但是通过项目整体的评分数据分析又是比较正常的,这个时候我们不妨去看看所反馈具体页面的 LCP 指标,是不是得分偏低?以下则是针对项目页面 LCP 性能优化的一次探索。

前端性能优化之 LCP 指标提升

货拉拉技术:货拉拉用户iOS端基于MVP架构的深度优化

摘要

我们项目工程中常见的架构模式有MVC,MVP,MVVM,VIPER等,随着时间的推移和项目的不断迭代,iOS应用的代码规模往往会逐渐增长。这导致了代码的复杂性和维护成本的提高。在此背景下,对应用的架构进行深度优化成为必要的任务,优化架构的目的是提高代码的可维护性、可测试性和可扩展性,降低开发和维护的成本,同时提供良好的用户体验。在现有的架构中,可能存在以下问题:

  1. Massive View Controller(臃肿的视图控制器):由于大量的业务逻辑和视图相关的代码集中在视图控制器中,使得它变得庞大而难以维护。
  2. 低内聚和高耦合:不同模块之间的职责和关注点没有明确的划分,导致代码的耦合度过高,不易进行单独的开发和测试。
  3. 受UI框架限制的测试:由于视图和业务逻辑紧密耦合,导致单元测试变得困难,并且需要依赖UI框架进行测试。

架构优化方案的目标是解决这些问题,提高代码质量和开发效率。通过合理的架构设计,可以使代码更加模块化、可测试和可维护,同时提供灵活性和可扩展性。

本文将结合用户端首页和确认订单页的MVP架构模式,提出一种基于MVP的架构模式,即MVP+Context架构模式,希望对大家手中的MVP架构的优化提供一些优化思路和借鉴。

货拉拉用户iOS端基于MVP架构的深度优化

货拉拉技术:日志聚类引擎的探索

摘要

"事故的多数原因可以追溯到监管和防护机制的失败。"---詹姆斯·里森(James Reason)

日志聚类引擎的探索

货拉拉技术:大模型在货运取消单判责上的应用探索

摘要

货拉拉作为货运交易平台,需要对司机行为进行规范,提升服务质量。

大模型在货运取消单判责上的应用探索

货拉拉技术:Android-Native内存调试工具建设

摘要

随着移动App的发展,开发者也会面临着越来越多的底层需求,这些需求为了高性能或者涉及到底层的调度,通常会采取C/C++等可以直接与内存地址打交道的语言编写。虽然C/C++提供了出色性能与底层交互的能力,但是随着项目的复杂度不断提高以及业务逻辑的复杂,多线程等等,SIGSEGV 问题就会频繁遇见,它是最常见也是占比最多的Crash,不仅仅在APP中,甚至在Android系统中也有不少这些问题,这类问题通常表现在地址访问异常(地址不存在/地址访问权限异常/地址不属于当前进程可访问范围等等)。即使App业务不依赖so,但是也不可避免的依赖第三方的so,因此解决此类问题的手段就很关键。

Android-Native内存调试工具建设

货拉拉技术:货拉拉服务端质量保障之测试策略篇

摘要

服务端质量保障是确保服务器端应用程序在开发、部署和运行过程中达到预期性能和可靠性的关键步骤。一个全面的服务端测试策略不仅能提高系统的稳定性和安全性,还能提升用户体验和满意度。

货拉拉服务端质量保障之测试策略篇

货拉拉技术:前端H5白屏监控与实践

摘要

在前端开发中,页面白屏是一个关键指标。一方面,页面加载时白屏时间过长会显著影响用户体验;另一方面,异常场景下白屏更是系统稳定性的一大隐患。

本文将介绍前端项目白屏监测的一种轻量化实现,并探讨对应的治理思路。

通过技术手段监测并上报页面白屏现象,我们能够在用户反馈之前主动发现问题,从而提升用户体验、及时解决潜在隐患,并为系统稳定性提供了额外的保障维度。

前端H5白屏监控与实践

货拉拉技术:货拉拉在逻辑漏洞自动化检测的实践

摘要

随着纵深防御体系建设的越来越完善,通用漏洞的攻击一般都被被WAF 等拦截,而逻辑类漏洞的利用却无法被拦截,一旦被利用,可能泄露大量的敏感信息。

货拉拉在逻辑漏洞自动化检测的实践

货拉拉技术:线上应急之药到病除篇

摘要

本文主人公小白负责公司的一块重要业务,因业务所涉及的系统链路比较多且逻辑复杂,线上应急挑战压力大!当发生线上问题时,目前主要依靠TL小白以及团队中少部分核心人员支持应急。在节假日期间,小白也不敢懈怠,无论去哪都时刻背着电脑以应对随时可能发生的应急事件。

线上应急之药到病除篇

货拉拉技术:接口自动化测试平台的迭代是一个关于成长的故事

摘要

接口自动化测试平台的迭代是我们迈向技术成熟和高效开发的必经之路。在如今高速发展的互联网公司中,接口自动化测试平台已成为质量保障的核心支撑,特别是随着业务复杂度和规模的急剧增长,自动化测试成为保障项目稳定性和快速迭代的重要基石。本篇文章将重点讲述平台在迭代过程中遇到的挑战及我们是如何逐步攻克这些技术难题的。

接口自动化测试平台的迭代是一个关于成长的故事

货拉拉技术:货拉拉iOS疑难Crash治理-TTS problem iOS 17

摘要

我们司机端从 iOS17开始存在着一个文本转语音功能的崩溃,主要集中在司机导航、司机履约语音提醒等方面,因为这些方面都用到了文本转语音进行播报的功能,从崩溃收集版本信息来看,该崩溃集中在 iOS17.0-iOS17.2之间相关版本。

货拉拉iOS疑难Crash治理-TTS problem iOS 17

货拉拉技术:货拉拉客服工单服务流程化运营能力

摘要

介绍星汉系统的核心流程编排能力,以及该能力在货拉拉客服服务流程化运营中的实战应用。

货拉拉客服工单服务流程化运营能力

货拉拉技术:交易异构数据归档平台Filing1.0分享

摘要

Filing是一个异构数据源归档平台,致力于实现包括关系型数据库(MySQL)、Hbase、Hive、ES等各种异构数据源之间稳定高效的数据归档(迁移)功能;各领域无需编码即可实现数据归档的诉求。

交易异构数据归档平台Filing1.0分享

货拉拉技术:货拉拉机器学习平台-海豚

摘要

随着AI技术的不断成熟和广泛应用,已经逐渐成为各行各业用来提升生产力的重要工具。货拉拉作为互联网物流科技企业,过去几年不断深耕AI技术,推动物流行业的智能化发展,并在AI定价、AI营销、AI客服、AI安防等多个领域取得显著成就。

尽管AI技术已广泛应用于货拉拉的各大业务线,并显著提升了运营效率,但在实际的AI模型开发过程中,我们仍面临多重挑战:例如,如何加快模型的开发和交付、提升算力资源利用率等。针对这些问题,我们构建了一套覆盖数据处理、模型开发、训练、部署、在线推理的全链路AI开发服务体系,并通过算力资源的统筹管理,打造了一个低门槛、高性能的一站式云原生AI开发平台。

货拉拉机器学习平台-海豚

货拉拉技术:货拉拉云真机多机同步探索与实践

摘要

随着手机市场的多元化趋势的持续加剧,App测试领域所承受的考验愈发严峻,测试人员需要覆盖的品牌、操作系统、系统版本数量呈现爆炸性增长,这无疑极大的增加了测试工作的复杂度和工作量。

货拉拉云真机多机同步探索与实践

货拉拉技术:货拉拉微信小程序体验优化总结

摘要

2021 至 2022 年期间,随着货拉拉业务扩张,微信小程序用户规模激增,小程序的功能场景越来越复杂,货拉拉微信小程序承载着越来越重要的业务使命。然而,频繁的业务迭代也带来了代码复杂度上升、报错频发、小程序无法打开、页面切换卡顿等问题。2023 年初,团队抓住时机,成立小程序体验优化专项。经过一年多的持续优化,颇有成效,现总结出涵盖小程序各类优化方法的文章,与大家分享。

货拉拉微信小程序体验优化总结

货拉拉技术:货拉拉—实时对账系统(算盘平台)

摘要

随着业务发展,货拉拉资金交易规模日渐增长,日单量峰值超百万级,在线系统超过500个。这样的交易量采用传统的对账方式,很难在短时间内完成对账操作。因此我们急需实时对账平台,主动实时发现资损问题,实现更健壮可靠的资金履约。

货拉拉—实时对账系统(算盘平台)

货拉拉技术:货拉拉是如何实现symbolic demangle

摘要

货拉拉移动端拥有一套完善的稳定性监控系统,该系统在帮助我们打造行业一流的产品、问题告警和问题归因等方面起到了非常好的作用。今天,我们将该系统中symbolic demange方向的实践分享出来,同时也将demangle工具直接开放到Github,希望能够帮助到同样有诉求的同学们。

货拉拉是如何实现symbolic demangle

货拉拉技术:货拉拉消息中间件之Kafka架构演进

摘要

随着货拉拉业务的快速增长,Kafka集群流量和负载也呈现出明显的增长趋势。作为货拉拉业务核心的消息中间件,Kafka架构也做了相应架构演进。本篇文章将会重点介绍过去、现在kafka架构的演进历程。

货拉拉技术:JWT(JSON Web Token) 攻击面小结

摘要

JWT简介、JWT自身攻击面、JWT在业务场景的攻击面、JWT测试、相关工具。

货拉拉技术:多元消息融合分发平台

摘要

随着货拉拉业务的迅猛发展,我们的订单量不断攀升,随之而来的是用户消息量的激增。这些海量的用户消息需要得到及时而有效的处理和流转。为了应对这一挑战,我们构建了一个高效的消息融合分发平台。

多元消息融合分发平台

DataMesh SLA保障方案

摘要

DataMesh是一款缓存中间件产品,它代理服务对Redis等缓存产品的请求。它可以解决Redis用量一直增多的现状下,客户端不一致运维效率低、PHP短链接性能差等问题,规范使用标准,并为应用服务使用缓存提供坚实的稳定性保障。

DataMesh SLA保障方案

货拉拉技术:货拉拉专送司机iOS指纹及面容认证登录实践与总结

摘要

货拉拉专送司机端存在一个账号在多台设备之间切换登录的场景,登录的token凭证也有时效性,当切换设备登录或token凭证失效时,需要走手机验证码登录流程(目前暂只支持此登录方式),若碰到手机号临时被三大运营端限制的场景,将无法正常获取验证码进行登录。

为了解决上述极端场景的登录问题,以及在一定程度上缩减短信验证码的开销,特引入指纹/人脸认证的登录方式。

本文将简单阐述接入指纹/人脸认证进行登录的整个流程的探索过程及部分核心代码实现,以及分享此过程中碰到的一些问题。

货拉拉专送司机iOS指纹及面容认证登录实践与总结

货拉拉技术:货拉拉AI一站式测评平台设计

摘要

货拉拉AI一站式测评平台,搭建“出-测-评”三位一体化智评能力,打造物流行业的领先评测平台,覆盖公司评测全场景,加速数智化转型进程。

货拉拉AI一站式测评平台设计

货拉拉技术:遗传算法在动态定价领域中的应用

摘要

本文提出一种新的解决方案,旨在探讨遗传算法如何和因果推断算法相结合,优化货运价格策略,通过模拟自然选择过程找到最优解,增强企业市场竞争力和盈利能力。

遗传算法在动态定价领域中的应用

货拉拉技术:货拉拉导航路测平台的创新实践之旅

摘要

在如今的货运业务中,导航系统的重要性不言而喻。它不仅可以为司机提供准确的路线和路况信息,帮助他们降低运输成本、提高运输效率,同时其底层能力也在计价、交易等场景中发挥着重要支撑作用。然而...

货拉拉导航路测平台的创新实践之旅

货拉拉技术:探秘高并发异常背后的真相:一次排查实录

摘要

在实际的编程过程中,时常会遇到一些暂时难以理解的问题。此刻,分享一段关于线上问题定位的高潮部分,请跟着小编一起来看看我们是如何一步步剖析。

探秘高并发异常背后的真相:一次排查实录

货拉拉技术:企业自研CRM演进之路

摘要

企业业务生态也基本建设完成,后续将如何建设呢?能力往哪方面扩展,如何挖掘客户价值、创造更大的利润空间?

企业自研CRM演进之路

货拉拉技术:货拉拉专送指纹认证登录实践

摘要

指纹登录是一种很常见的登录方式,特别在各种金融类APP中,指纹登录的功能已成为标配。为了丰富我们的登录方式,提高我们的用户体验,降低我们的短信成本,我们最近在货拉拉专送司机Android端上线了指纹登录功能。Google从Android 6.0开始,提供了开放的指纹识别相关API,我们在基于指纹验证的基础功能上实现登录的业务场景,希望通过本次的分享能让你的app快速实现指纹登录能力。

货拉拉专送指纹认证登录实践

‹ 2024-11-24 日报 2024-11-26 日报 ›