Android - 如何使用 Camera2 库将相机流传递给 ffmpeg？

如何解决Android - 如何使用 Camera2 库将相机流传递给 ffmpeg？

我正在尝试创建一个应用程序，在屏幕上显示设备的摄像头，并通过 srt 传输摄像头。为此，我使用了 Camera2 库和 ffmpeg（特别是我使用了 https://github.com/tanersener/mobile-ffmpeg，这是一个适用于 Android 的 ffmpeg 包装器）。

我的计划是使用 Camera2 获取相机流（使用 ImageReader.OnImageAvailableListener 类上的 onImageAvailable 方法），并将此流发送到 udp://localhost:1234。然后，我可以使用 ffmpeg 通过 udp 获取该流，并通过 srt 发送。

我已经解决了使用ffmpeg通过srt发送流的部分，并且工作正常。事实上，如果我将“android_camera”设置为我的 ffmpeg 命令的输入，我的应用程序就可以正常工作。这种方法的问题在于，如果我这样做，我会阻止对相机的访问，因此我无法在屏幕上显示相机和另一个库。

我还发现了一个代码，它使用 Camera2 通过 udp 传输相机，它可以工作，但此代码的问题是在通过 udp 发送之前将每一帧转换为位图，这使得它没有性能。

那么，我需要知道通过udp将数据传递给ffmpeg的最佳方式是什么，以便ffmpeg可以处理它并通过srt发送？

Camera2 让我配置我想在我的监听器上接收帧的格式：

ImageReader.newInstance(1280,720,ImageFormat.JPEG,/*maxImages*/2);

在这个例子中，我将 JPEG 设置为 ImageFormat，但在这里我让你使用我可以使用的所有可用格式：

UNKNOWN，RGB_565，YV12，Y8，Y16，NV16，NV21，YUY2，JPEG，DEPTH_JPEG，YUV_420_888，YUV_422_888，YUV_444_888，FLEX_RGB_888，FLEX_RGBA_8888，RAW_SENSOR，RAW_PRIVATE，RAW10，RAW12，DEPTH16，DEPTH_POINT_CLOUD，RAW_DEPTH，PRIVATE，HEIC

这是我要接收每一帧的方法，我需要知道的是在通过udp将帧发送到ffmpeg之前我必须做什么样的转换？：

@Override
public void onImageAvailable(ImageReader reader) {

}

预先感谢您阅读问题:)

解决方法

在相机方面，您可能希望使用 YUV_420_888，因为所有彩色相机都保证支持这种格式。这是一个 4:2:0 子采样的 YUV 缓冲区。

我不知道FFMPEG会通过udp接受什么；你必须阅读它的文档（或代码）才能弄清楚。但最有可能的是，FFMPEG 将支持某种 YUV 4:2:0 格式，如 NV21、YV12 等。理想情况下，它将支持可调整行和像素步幅的灵活内容，就像 Android 的 YUV_420_888 格式一样。但如果没有，您需要调整 YUV 数据以匹配 FFMPEG 所需的布局。