使用HoloLens 2获取空间坐标系的正确方法

如何解决使用HoloLens 2获取空间坐标系的正确方法

因此，我试图围绕通过MediaFrameReference类获取的帧进行的转换。我得到的是一张具有关联的空间坐标系和固有相机参数的图像。 为了计算图像（U，V）中像素的真实世界坐标（X，Y，Z），我认为访问代表从RGB相机到世界的转换矩阵的4x4Matrix就足够了。 >

为此，我找到了TryGetTransformTo（SpatialCoordinateSystem target）方法。如果我正确理解了文档，则会在图像上附加图像坐标系，以便致电

image.CoordinateSystem.TryGetTransformTo(worldCoordinateSystem)

• 但是我只是找不到正确的方法来掌握worldCoordinateSystem。 显然locatable camera文档中有一部分被删除了。

• 我检查了来自Microsoft（HolographicFaceTracking）的示例，但是我在解释c ++代码方面非常糟糕。所以这对我来说不是很有用。

• 在Sketchy Experiments with HoloLens，程序员使用了 var unityWorldCoordinateSystem = Marshal.GetObjectForIUnknown(WorldManager.GetNativeISpatialCoordinateSystemPtr()) as SpatialCoordinateSystem;，但已声明已过时。 利用这些信息和极好的google搜索技能，我找到了link。 还有一个类似的问题却从未得到回答。

我的问题是，获取我需要的空间坐标系的最有效方法是什么。 我正在使用Unity 2018.4.22f1和Visual Studio 2019。

非常感谢您的帮助。此致。

解决方法

建议使用PhotoCapture类来捕获图片，PhotoCaptureFrame的TryGetCameraToWorldMatrix方法将使在捕获照片时轻松获取要由Camera填充到世界Matrix的Matrix4x4成为可能。您可以参考以下链接，以了解有关使用方法的更多信息：UnityEngine.Windows.WebCam.PhotoCapture

按照指南进行操作，当您调用异步方法TakePhotoAsync(onCapturedPhotoToMemoryCallback)时，您需要传递一个函数作为参数，一旦将照片存储到内存中，就会调用该函数。在此函数中，您将获得一个PhotoCaputrerFrame实例作为参数。最后，在此参数上调用PhotoCaptureFrame.TryGetCameraToWorldMatrix，以获取要在拍摄照片时由Camera填充到世界Matrix的矩阵。

此外，对于早期版本的MR文档，它还演示了如何使用着色器代码在摄像机图像的特定3d位置上查找或绘制，您可以在GitHub提交历史记录上找到它：mixed-reality-docs/locatable-camera.md.