• 服务架构思维，设计稳定、高效的系统服务，处理批量图像和视频任务。
• 流量控制与调度，确保服务在高并发和大流量下的稳定性和性能。
• 音视频处理知识储备，了解音视频的基本原理和处理方法。
• 编解码技术理解，深入掌握图片、视频相关的编解码技术，熟练使用和编译FFmpeg、libavif等工具。
• 扩展工程思维，以解决问题为导向，灵活运用各种工具和技术，创造业务价值。

应用层

动效转换的主流程分为以下6步：

1. 权限申请：业务接入进行租户权限申请。

2. 请求处理：业务方通过RPC接口请求服务，API服务进行权限校验和流控控制，并拆分批次和任务。

3. 任务调度：API服务将请求转发至调度服务，调度服务创建批次和任务表，并通过任务执行器进行业务逻辑编排和队列调度，发送Kafka生产消息。

4. 任务执行：转换服务接收Kafka消费信息，执行转换任务，完成后将结果上传至OSS，并通过Redis发布订阅回传结果。如果是异步交互任务，则会发送Kafka生产消息通知下游。

5. 状态流转：调度服务接收Redis订阅消息，处理任务状态流转和错误重试。

6. 结果查询：业务方通过同步轮询或异步Kafka消费方式查询和获取任务结果。

通过以上步骤，动效转换服务实现了从权限申请到结果获取的全流程管理，确保了任务的高效执行和结果的及时反馈。

import Ffmpeg, { FfprobeStream, FfmpegCommand, Formats } from 'fluent-ffmpeg';
@Injectable()
export class FfmpegService implements OnApplicationBootstrap {
  onApplicationBootstrap() {
  // ffmpegPath和ffprobePath指定ffmpeg和ffprobe的二进制文件路径
    Ffmpeg.setFfmpegPath(ffmpegPath);
    Ffmpeg.setFfprobePath(ffprobePath);
  }

  public buildCommand(options?: Ffmpeg.FfmpegCommandOptions) {
    return Ffmpeg(options);
  }

  public toPromise(input: FfmpegCommand) {
    return new Promise((res, rej) => {
      input
        .on('start', (commandLine) => {
    // ffmpeg输出命令
          logger.log('render: ', commandLine);
        })
        .on('end', (p) => {
          res(p);
        })
        .on('error', (err) => {
          rej(err);
        })
        .run();
    });
  }
}

// 查看编码器
ffmpeg -encoders
// 查看解码器
ffmpeg -decoders

• libx264：libx264是一个用于H.264编码的开源库，是一种广泛使用的视频压缩标准，兼容性较好，适用于各种视频应用，但压缩效率较低，需要更大的文件大小来达到相同的质量。
• libx265：libx265是一个用于H.265编码的开源库，它提供了更高的压缩率，适合高质量视频的传输，但部分低端机型可能不支持该格式的解码。
• lavfi：lavfi是FFmpeg中的一个滤镜库，用于处理视频和音频滤镜，可以用于生成黑色背景，抽取alpha通道等操作。
• libwebp_anim：libwebp_anim是用于Webp动画的编码和解码库，支持高效的图像压缩。

// 解码 PNG 图像
const image = PNG.decode(buffer);
 // 获取图像数据
const rgbaData = PNG.toRGBA8(image)[0];

• 使用lavfi滤镜生成一个与输入图像尺寸相同的黑色背景。
• 抽取alpha通道并进行叠加和堆叠，将处理后的RGB和Alpha通道分别放置在视频帧的左右两部分。
  
  

'[1:v]format=pix_fmts=rgba,pad=iw:ceil(ih/2)*2:0:0:black[padv1]

其中，[1:v]表示第二个输入视频流(第一个输入是黑色背景),然后通过format参数将视频流的像素格式转换为RGBA，pad=iw:ceil(ih/2)*2:0:0:black对视频进行填充，使其高度为偶数（必要时填充黑色），以确保后续处理的正确性。

'[0:v][rgb]overlay=shortest=1,pad=iw:ih:0:0:black,format=pix_fmts=yuv420p[left]'

ffmpeg -i original_file -i compressed_file -lavfi psnr="stats_file=psnr_result.txt" -f null -

ffmpeg -i original_file -i compressed_file -lavfi ssim="stats_file=ssim_result.txt" -f null -