如何解决使用笔和纸捕获手写的实时视频,并用某些对象或光标替换视频中的手
我想处理捕获的视频。我将尝试捕捉纸上手写/纸上绘画的视频。但我不想在通过 p5.js 直播时在纸上展示手或笔。 这可以使用机器学习来完成吗? 知道如何实现这一点吗?
解决方法
如果我理解你是对的,你想检测图像中手的位置,在这个位置上画一个覆盖吗?
如果是这样,您可以使用 YOLO more information 来检测手的位置。
您可以下载一些经过训练的网络,也许它们已经足够好,也许您必须训练自己的网络以方便使用。
yolo 和 JS 也有一些自由https://github.com/ModelDepot/tfjs-yolo-tiny
,您可能不需要走完整的 ML 对象分割路线。
如果纸张的位置和光照是恒定的(或至少是可知的),您可以尝试一些简单的启发式方法,将当前帧中的像素与较短的历史进行比较,并使用最恒定的像素值。随着绘图的新部分“变得恒定”,可能会有一些滞后,因此也许您可以尝试对累积进行一些修改,例如像素是否为白色,然后变为黑色。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。