中间件与数据库:Spark

唯品会SPARK3.0升级之路

这篇文章介绍了我们升级SPARK过程中遇到的挑战和思考,希望能给大家带来启发。

Spark向量化计算在美团生产环境的实践

Apache Spark是一个优秀的计算引擎,广泛应用于数据工程、机器学习等领域。向量化执行技术在不升级硬件的情况下,既可获得资源节省和加速作业执行。

基于SPARK的大规模网络表征算法及其在腾讯游戏中的应用

腾讯游戏社交算法团队开发了一种分布式网络表征算法,用于处理大规模图数据。他们提出了基于递归图分割的算法,将图分割为多个子图,并在每个子图上运行网络表征算法,然后将子图的表征进行融合。该算法已在超过5款游戏的多个业务场景中应用,并取得了显著的效果提升。

基于Spark的大规模推荐系统特征工程

特征工程在推荐系统中有着举足轻重的作用,大规模特征工程处理的效率极大的影响了推荐系统线上的性能。第四范式面向大规模特征工程问题开发了下一代离线在线一致性特征抽取引擎FESQL。

BIGO大数据计算引擎本地化-Apache Spark篇

Gluten的应用和ETL批处理的挑战及研发。

Apache Spark 在爱奇艺的应用实践

爱奇艺大数据平台架构升级过程中,对Spark服务进行改造,大幅提升效率,节省上千万成本。

爱奇艺大数据加速:从Hive到Spark SQL

从Hive到Spark SQL,加速67%,助力爱奇艺大数据业务提效增收。

Spark Analysers: Catching Anti-Patterns In Spark Apps

Apache Spark™ is a widely used open source distributed computing engine. It is one of the main components of Uber’s data stack.

Spark is the primary batch compute engine at Uber. Like any other framework, Spark comes with its own set of tradeoffs.

Hive 和 Spark 分区策略剖析

在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark,它们在分区策略方面有着一些相似之处,但也存在一些不同之处。

Hadoop 及 Spark 分布式HA运行环境搭建

工欲善其事必先利其器,在深入学习大数据相关技术之前,先手动从0到1搭建一个属于自己的本地 Hadoop 和 Spark 运行环境,对于继续研究大数据生态圈各类技术具有重要意义。本文旨在站在研发的角度上通过手动实践搭建运行环境,文中不拖泥带水过多讲述基础知识,结合 Hadoop 和 Spark 最新版本,帮助大家跟着步骤一步步实践环境搭建。

Spark AQE SkewedJoin 在字节跳动的实践和优化

一篇文章读懂Spark AQE SkewedJoin该如何使用。

Spark App 血缘解析方案

本文基于开源 spline 方案的调研,对如何丰富 Spark APP 的血缘解析, 提供了方案和深入的原理剖析。

推荐系统-协同过滤在Spark中的实现

要彻底搞懂一篇论文,最好的方式就是动手复现它,复现的过程你会遇到各种各样的疑惑、理论细节。

Spark离线开发框架设计与实现

本文介绍了Spark离线开发框架的设计与实现,让开发变得简单、易上手,同时也解决了日常工作中数据回溯的痛点问题。

How to Optimize Your Apache Spark Application with Partitions

We can control the way Spark partitions our data and us it to parallelize computations on our dataset.

Shuttle:高可用 高性能 Spark Remote Shuffle Service

Shuttle:一个高可用 高性能的Spark Remote Shuffle Service。支持AQE功能,为Spark引擎提供更稳定,更高效的计算保障。

首页 - Wiki
Copyright © 2011-2024 iteam. Current version is 2.130.1. UTC+08:00, 2024-07-24 16:25
浙ICP备14020137号-1 $访客地图$