背景图像上带有 Alpha 通道叠加的视频：Alpha 显示黑色

如何解决背景图像上带有 Alpha 通道叠加的视频：Alpha 显示黑色

我需要在场景中播放带有 alpha 通道的 .mov 视频 (ProRes4444)。该场景有一个背景图像，我需要使用视频的 alpha 通道，以便它覆盖在背景上。

如果我用QMediaPlayer正常打开视频，alpha通道显示为黑色。

带有黑色 alpha 的背景图片和视频的屏幕：

如何使 QMediaPlayer (QGraphicsVideoItem) 的输出尊重 alpha 并使叠加效果成为可能？

我最接近基于在线研究的答案是 cpp 中的代码，我发现它显示了创建 QAbstractVideoSurface 的子类的必要性，该子类接收视频帧转换为 ARGB，然后将它们转发到显示它们的 QLabel .

Displaying a video with an alpha channel using qt

我也尝试过，但没有成功。这是正确的课程还是我在当前代码中遗漏了一些简单的东西？

编辑：链接到文件（背景图像和视频 .mov） https://drive.google.com/drive/folders/1LIZzTg1E8wkaD0YSvkkcfSATdlDTggyh?usp=sharing

import sys
from PyQt5.QtMultimedia import *
from PyQt5.QtMultimediaWidgets import *
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtGui import *


class VideoWindow(QMainWindow):
     def __init__(self):
        super(VideoWindow,self).__init__()
        self.setWindowTitle('QMediaPlayer TEST')
        self.resize(1920,1080)

        self.vista = QGraphicsView(self)
        self.vista.setGeometry(QRect(0,1920,1080))

        self.scene = QGraphicsScene(self.vista)
        self.scene.setSceneRect(0,1080)
        self.vista.setScene(self.scene)

        self.graphvitem1 = QGraphicsVideoItem()

#SET BACKGROUND IMAGE ON SCENE
        self.tempImg = QPixmap("/Users/elemental/Desktop/pyvids/fons.jpeg")
        self.tempImg = self.tempImg.scaled(self.scene.width(),self.scene.height())
        self.graphicsPixmapItem = QGraphicsPixmapItem(self.tempImg)
        self.scene.addItem(self.graphicsPixmapItem)

#SET VIDEO 1 WITH LOOP
        self.mediaPlayer1 = QMediaPlayer(None,QMediaPlayer.VideoSurface)
        self.mediaPlayer1.setVideoOutput(self.graphvitem1)

        self.playlist1 = QMediaPlaylist(self)
        self.playlist1.addMedia(QMediaContent(QUrl.fromLocalFile("/Users/elemental/Desktop/pyvids/vida1.mov")))
        self.playlist1.setCurrentIndex(1)
        self.playlist1.setPlaybackMode(QMediaPlaylist.CurrentItemInLoop)
        self.mediaPlayer1.setPlaylist(self.playlist1)

        self.graphvitem1.setPos(500,100)
        self.graphvitem1.setSize(QSizeF(1000,500))
        self.scene.addItem(self.graphvitem1)

        self.mediaPlayer1.play()
        self.vista.show()


if __name__ == '__main__':
     app = QApplication([])
     window = VideoWindow()
     window.show()
     sys.exit(app.exec_())

解决方法

据我所知，QVideoWidget 默认不支持 alpha 通道，因此它退回到“基本”黑色背景。

但是，通过正确地继承 QAbstractVideoSurface，实现似乎是可能的。

考虑到以下代码是实验性的，我对 QMediaPlayer 和 Qt 视频表面的了解并不那么深（前者是多个平台和多个库的抽象，在不同的配置上可能表现得非常不同），我可以只在两个 Linux 平台上测试过，所以我不知道它在 Windows 和 MacOS 下的表现如何。

假设视频表面提供默认的专用 QWidget 子类 (VideoWidget)，除非提供了具有合适 setImage 的另一个类，并在媒体播放器需要时更新其 image。>

请注意，我仅使用几个视频（包括提供的视频）对其进行了测试，可能需要进一步测试。

from PyQt5.QtMultimedia import *
from PyQt5.QtMultimediaWidgets import *
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtGui import *

class VideoWidget(QWidget):
    image = QImage()
    def __init__(self,**kwargs):
        super().__init__(**kwargs)

    def setImage(self,image):
        self.image = image
        self.update()

    def sizeHint(self):
        return QSize(640,480)

    def paintEvent(self,event):
        qp = QPainter(self)
        # ensure that smooth transformation is used while scaling pixmaps
        qp.setRenderHints(qp.SmoothPixmapTransform)

        # provide compliancy with background set using stylesheets,see:
        # https://doc.qt.io/qt-5/stylesheet-reference.html#qwidget-widget
        opt = QStyleOption()
        opt.initFrom(self)
        self.style().drawPrimitive(QStyle.PE_Widget,opt,qp,self)

        # draw the image,scaled to the widget size; if you need fixed sizes
        # or keep aspect ratio,implement this (or the widget) accordingly
        qp.drawImage(self.rect(),self.image,self.image.rect())


class AlphaVideoDrawer(QAbstractVideoSurface):
    def __init__(self,videoWidget=None,widgetOptions=None):
        super().__init__()
        if videoWidget:
            if not hasattr(videoWidget,'setImage'):
                raise NotImplementedError(
                    'setImage() must be implemented for videoWidget!')
        else:
            if not isinstance(widgetOptions,dict):
                widgetOptions = {}
            elif not 'styleSheet' in widgetOptions:
                # just a default background for testing purposes
                widgetOptions = {'styleSheet': 'background: darkGray;'}
            videoWidget = VideoWidget(**widgetOptions)
        self.videoWidget = videoWidget

        # QVideoFrame.image() has been introduced since Qt 5.15
        version,majVersion,minVersion = map(int,QT_VERSION_STR.split('.'))
        if version < 6 and majVersion < 15:
            self.imageFromFrame = self._imageFromFrameFix
        else:
            self.imageFromFrame = lambda frame: frame.image()

    def _imageFromFrameFix(self,frame):
        clone_frame = QVideoFrame(frame)
        clone_frame.map(QAbstractVideoBuffer.ReadOnly)
        image = QImage(
            clone_frame.bits(),frame.width(),frame.height(),frame.bytesPerLine(),QVideoFrame.imageFormatFromPixelFormat(frame.pixelFormat()))
        clone_frame.unmap()
        return image

    def supportedPixelFormats(self,type):
        return [QVideoFrame.Format_ARGB32]

    def present(self,frame: QVideoFrame):
        if frame.isValid():
            self.videoWidget.setImage(self.imageFromFrame(frame))

        if self.surfaceFormat().pixelFormat() != frame.pixelFormat() or \
            self.surfaceFormat().frameSize() != frame.size():
                self.setError(QAbstractVideoSurface.IncorrectFormatError)
                self.stop()
                return False
        else:
            return True


class AlphaVideoTest(QMainWindow):
    def __init__(self):
        super().__init__()
        self.setStyleSheet('''
            QFrame#mainFrame {
                background: green;
            }
        ''')

        mainFrame = QFrame(objectName='mainFrame')
        self.setCentralWidget(mainFrame)

        layout = QVBoxLayout(mainFrame)
        self.playButton = QPushButton('Play',checkable=True)
        layout.addWidget(self.playButton)

        self.drawer = AlphaVideoDrawer()
        layout.addWidget(self.drawer.videoWidget)

        self.mediaPlayer1 = QMediaPlayer(self,QMediaPlayer.VideoSurface)
        self.playlist = QMediaPlaylist(self)
        path = QDir.current().absoluteFilePath('vida1.mov')
        self.playlist.addMedia(QMediaContent(QUrl.fromLocalFile(path)))
        self.playlist.setCurrentIndex(1)
        self.playlist.setPlaybackMode(QMediaPlaylist.CurrentItemInLoop)

        self.mediaPlayer1.setPlaylist(self.playlist)
        self.mediaPlayer1.setVideoOutput(self.drawer)

        self.playButton.toggled.connect(self.togglePlay)

    def togglePlay(self,play):
        if play:
            self.mediaPlayer1.play()
            self.playButton.setText('Pause')
        else:
            self.mediaPlayer1.pause()
            self.playButton.setText('Play')

import sys
app = QApplication(sys.argv)
test = AlphaVideoTest()
test.show()
sys.exit(app.exec_())

我基于以下来源编写了上述代码：

请注意，我限制了 supportedPixelFormats 输出，因为使用相关问题中提供的完整格式列表不起作用；这并不意味着无论如何这都行得通，但可能需要进一步测试，可能需要在不同的机器和不同的操作系统/系统配置和视频格式上：请记住，QMediaPlayer 完全依赖于底层操作系统和默认媒体后端。

最后，如果您只需要“有限”和预定义的动画，请考虑实现您自己的 QWidget 子类，该子类使用加载的 PNG 图像列表并通过实现 paintEvent() 来显示它们，该 <style> 将由基于更新调用在 QVariantAnimation 上。虽然这种实现可能会导致性能下降或不理想，但它的主要好处是提供跨平台兼容性。

背景图像上带有 Alpha 通道叠加的视频：Alpha 显示黑色

如何解决背景图像上带有 Alpha 通道叠加的视频：Alpha 显示黑色

解决方法

相关推荐