B站S赛直播中的关键事件识别与应用

B 站 S 赛直播中的关键事件识别与应用

摘要

赛事直播视频信息相当密集，它包含了多种模态的数据，如文字、图标、语音等。这些信息以不同的形式呈现，例如实时比分、英雄信息、经济情况、击杀事件播报等。

这些数据静态呈现在直播画面中，为了能以互动的形式展现给观众，提高观赛沉浸感，我们首先要提取这些关键信息，通过算法对直播画面进行分析，识别出画面中的关键元素，并理解它们之间的相互关系。

对此，我们基于现有的AI技术开发了一套游戏识别系统，通过文字识别提取画面中的文字信息、通过目标检测定位关键图标、通过目标分类确定事件类型，并将这三种技术有效地串联起来，形成一套完整的技术链路。