Paddle.js & PaddleClas 实战 ——『寻物大作战』AI 小游戏

python convertToPaddleJSModel.py --modelPath=<fluid_model_file_path> --paramPath=<fluid_param_file_path> --outputDir=<paddlejs_model_directory

// 引入 paddlejs 和 paddlejs-plugin，注册小程序环境变量和合适的 backend

import* as paddlejs from'@paddlejs/paddlejs-core';

import'@paddlejs/paddlejs-backend-webgl';

const plugin = requirePlugin('paddlejs-plugin');

plugin.register(paddlejs, wx);



...



// 初始化

const runner = new paddlejs.Runner({modelPath, feedShape, mean, std});

await runner.init();

// 注册回调数 处理视频流帧

const listener = cameraContext.onCameraFrame(frame => {

// 推理

const weightArr = await runner.predict(frame);

// 获取置信度数组最大项的索引

const maxIdx = res.index0f(Math.max.apply(null, weightArr));

// 从物品列表中找到索引对应的物品

const result = mobilenetMap[`${maxItem}`];

// 结合业务场景选择结果使用方式

// ...

});



//开始捕获视频流

listener.start();