在OpenCV中随图像移动的增强现实线

如何解决在OpenCV中随图像移动的增强现实线

我想在openCV中做以下事情。我的问题陈述与瓶子有关，瓶子需要在图像上有一条直线，并且该直线需要根据瓶子的运动而旋转。

第一张图像必须以红线为边界并启动绿线

旋转瓶子时，第二个图像的中间需要有绿线。那是绿线必须跟随瓶子的旋转

最后，根据第三张图片，应用程序需要在绿线与红线对齐时杀死自己或保存图片

我尝试使用模板匹配在OpenCV中执行此操作。我尝试保留模板图像，然后使用模板匹配算法跟踪模板图像。但这在这种情况下似乎无法正常工作。

import cv2
from time import sleep
import numpy as np

vid = cv2.VideoCapture(0)
sleep(2)
line_show = False
save_reference = False
template_compare_method = cv2.TM_SQDIFF_NORMED
i = 0

while True:

    check,frame = vid.read()

    print(check)
    frame1 = cv2.line(frame,(500,0),720),(255,7)
    frame1 = cv2.line(frame1,(800,7)

    if line_show:
        h,w = frame1.shape[:2]
        if not save_reference:
            reference = frame1[200:500,780:790]
            cv2.imwrite("../../images/white_image.jpg",reference)
            save_reference = True
        if save_reference:
            reference_image = cv2.imread('../../images/white_image.jpg')
            result = cv2.matchTemplate(reference_image,frame1,template_compare_method)
            mn,_,mnLoc,_ = cv2.minMaxLoc(result)
            MPx,MPy = mnLoc
            trows,tcols = reference_image.shape[:2]
            frame1 = cv2.rectangle(frame1,(MPx,MPy),(MPx+tcols,MPy+trows),(0,255),2)

    cv2.imshow("image",frame1)
    key = cv2.waitKey(1)
    if key == ord('l'):
        line_show = True
    if key == ord('k'):
        cv2.imwrite("../../images/saved_image_"+str(i)+".jpg",frame1)
        i = i + 1
    if key == ord('s'):
        cv2.imwrite("../../images/saved_image.jpg",frame)
        vid.release()
        print("Image saved")
        break

    elif key == ord('q'):
        vid.release()
        cv2.destroyAllWindows()
        break

我可以使用任何其他算法，还是将其视为对象跟踪任务，从而在其中保存了一张小图像并通过模板匹配对其进行跟踪，从而以错误的方式解决了此问题？我可以使用其他一些算法，例如Meanshift，Frame Difference等来实现这一目标吗？

解决方法

如果我是您，我将使用line算法解决此问题。当然，您可以选择任何其他健壮的算法。我的想法是尽快解决问题。

假设我有以下带有左右边界（蓝色）的图像，并且我有一条绿线。

绿线通过左边界时，退出。

跟踪green-line

首先，您需要找到框架的功能，以有效地跟踪绿线。

while True:
    ret,frm = cap.read()
    frm_gry = cv2.cvtColor(frm,cv2.COLOR_BGR2GRAY)
    frm_cny = cv2.Canny(frm_gry,50,200)

样本输出：

第二，找到绿线的大致长度：
- 没有直接的方法可以找到长度并进行错误尝试计算。
- 确定后，初始化line算法。
```
lns = cv2.ximgproc.createFastLineDetector(_length_threshold=400).detect(frm_cny)
```

第三，获取坐标，然后检查绿线是否在边框中。

if lns is not None:
    for ln in lns:
        x1 = int(ln[0][0])
        y1 = int(ln[0][1])
        x2 = int(ln[0][2])
        y2 = int(ln[0][3])

if x1 <= 232:
    break

代码：

import cv2

cap = cv2.VideoCapture("sample.mp4")

while True:
    ret,frm = cap.read()

    if ret:
        rgt_bdr = cv2.line(frm,(794,250),1250),(255,0),7)
        lft_bdr = cv2.line(frm,(232,7)

        frm_gry = cv2.cvtColor(frm,cv2.COLOR_BGR2GRAY)
        frm_cny = cv2.Canny(frm_gry,200)

        lns = cv2.ximgproc.createFastLineDetector(_length_threshold=400).detect(frm_cny)

        if lns is not None:
            for ln in lns:
                x1 = int(ln[0][0])
                y1 = int(ln[0][1])
                x2 = int(ln[0][2])
                y2 = int(ln[0][3])

                cv2.line(frm,pt1=(x1,y1),pt2=(x2,y2),color=(0,255,thickness=3)

                print("({},{})-({},{})".format(x1,y1,x2,y2))

                if x1 <= 232:
                    break

                cv2.imshow("frm",frm)
                cv2.waitKey(1)

在OpenCV中随图像移动的增强现实线

如何解决在OpenCV中随图像移动的增强现实线

解决方法

相关推荐