如何建设高可用、高稳定、可观测的短信系统

// State 故障转移状态对象type State struct {    acquireStatus func() Status // 获取当前的故障状态     setMySQLFatalFlag func(context.Context) error // 打开 mysql 故障标志位    setRedisFatalFlag func(context.Context) error // 打开 redis 故障标志位     runMaster func() error // mysql 正常时，相关的执行函数    runBackup func() error // redis 正常时，相关的执行函数    recordSQL func()       // 当 mysql异常时，执行的函数; 如：大数据日志记录, sql 语句记录}  // Run 依据当前内存中开关状态，执行不同处理流程func (s *State) Run(ctx context.Context) error {    var fn func(context.Context) error    switch s.acquireStatus() {    case StatusHealthy:        fn = s.runFlow    case StatusMysqlFatal:        fn = s.runRedisFlow    case StatusRedisFatal:        fn = s.runMySQLFlow    default:        fn = s.runDBFatalFlow    }    return fn(ctx)}

// insertSmsCodeRecordProcess 验证码短信发送记录入库func (s *Service) insertSmsCodeRecordProcess(ctx context.Context, req *model.SmsSendReq, record *dao.SmsTable) error {    tableName := dao.GenMonthTable(record.MsgType, 0)    err := failover.Option{        AcquireStatus:     s.watcher.AcquireFailoverStatus,        SetMySQLFatalFlag: s.setMySQLFatalFlag,        SetRedisFatalFlag: s.setRedisFatalFlag,         RunMaster: func() error {            // SQL 语句            err := s.insertSmsCodeRecordToMySQL(ctx, tableName, record)            if err != nil {                return err            }            if s.watcher.AcquireFailoverStatus().GetRedisStatus() == model.SwitchON {                return nil            }            // redis 执行函数            errRedis := s.insertSmsCodeRecordToRedis(ctx, record)            if failover.IsRedisFatalErr(errRedis) {                s.setRedisFatalFlag(ctx)            }            return nil        },        RunBackup: func() error {            // redis 执行函数            return s.insertSmsCodeRecordToRedis(ctx, record)        },        RecordSQL: func() {            // redis 故障期间的日志记录            logging.Log(sendCodeLoggerName).Info(s.dao.MakeInsertUserAccountSQL(tableName, record))  // 记录对于的SQL语句            bigdata.BigData(model.SmsSendMysqlFatalTopic, req.AppKey, req.Atom, record.BigDataSendInfo(req.PhoneValid, req.Resend)) // 记录 bigdata 数据，确保SLA数据不受影响        },    }.New().Run(ctx)    if err != nil {        logging.Error(err)    }    return err}