虚拟视点demo

2019年7月16日15:55:11

感觉虚拟视点也是视觉slam里头一个重要的需求和应该实现的功能，但是好像

没看到什么资料。

百度的全景地图，或者有些公司网站上的3d装修效果图，可以用鼠标拖动查看不同视角，但是

图片看起来很奇怪，那不是虚拟视点，只是对图片做了变换。

虚拟视点的一些资料：

https://www.cnblogs.com/riddick/p/8511960.html

https://www.zhihu.com/question/40793359/answer/130155294 

其他有点关联的方向：

https://zhuanlan.zhihu.com/p/73599241 

谷歌也有篇文章把短基线变成长基线的文章，也有点虚拟视点的意思。

这里利用sfmlearner的设施做了个简单的demo：

原始图：

相机沿着Z轴往前移动0.5m，注意红框处和上图的对比，的确是往前移动了，这里没做插值，所以

不是太好看  pose = np.array([0, 0,  -0.5,   0, 0, 0])   # tx, ty, tz,   rx, ry, rz -- [B, 6]  弧度制！！！

下面是pose = np.array([0, -0.5,  0,   0, 0, 0]，相机往下走了，y=-0.5

注意depth图红框处，原本从上往下拍时被桌面或者凳子挡住的部分现在看的到了，但是对应的深度图

在之前的角度是测不到的，相机往下移动之后这部分的深度图就显示为空缺了，对应的color1部分也

是黑色的。

下面是代码：

# -*- coding: utf-8 -*-
"""
Created on Tue Jul 16 11:57:48 2019

@author: scj

project test

https://pytorch.org/docs/stable/nn.html?highlight=f%20grid_sample#torch.nn.functional.grid_sample

https://blog.csdn.net/chamber_of_secrets/article/details/83512540

https://blog.csdn.net/houdong1992/article/details/88122682


"""

import torch

import numpy as np
import cv2
import matplotlib.pyplot as plt

#depth = cv2.imread('/media/scj/work/depth/joinMap/depth/1.pgm', -1)
depth = cv2.imread('D:\depth\joinMap\depth\1.pgm', -1)
depth = depth/1000

depth_copy = depth.copy()

#fig = plt.subplots(1)
#plt.imshow( depth_copy  )
#plt.title("depth") 


#color = cv2.imread('/media/scj/work/depth/joinMap/color/1.png')
color = cv2.imread('D:\depth\joinMap\color\1.png')

#fig = plt.subplots(1)
#plt.imshow( cv2.cvtColor(color, cv2.COLOR_BGR2RGB)  )
#plt.title("color") 

#####################
fig=plt.figure()

plt.subplot(121)
plt.imshow(cv2.cvtColor(color, cv2.COLOR_BGR2RGB))
plt.title("color") 

plt.subplot(122)
plt.imshow(depth_copy)
plt.title("depth") 

plt.show()

#####################

#color = np.transpose(color, (2, 0, 1))

# print(depth.shape, color.shape) # (480, 640)  (3, 480, 640)

depth = depth[np.newaxis, :].astype(np.float64)
depth = torch.from_numpy(depth)

#print(depth.size() ) # torch.Size([1, 480, 640])


cx = 325.5
cy = 253.5
fx = 518.0
fy = 519.0

intrinsics = np.array([
                         [fx, 0, cx],
                         [0, fy, cy],
                         [0,  0,  1],
                         ]).astype(np.float64)

intrinsics = intrinsics[np.newaxis, :]

intrinsics = torch.from_numpy(intrinsics)
#print( intrinsics.size() ) # (1, 3, 3)

##########
from inverse_warp import pixel2cam  # uv2xyz

cam_coords = pixel2cam(depth, intrinsics.inverse() ) 

#print(cam_coords.size() )

xyz1 = cam_coords.detach().numpy().squeeze()
#print(xyz1.shape)
#
#fig = plt.subplots(1)
#plt.imshow( xyz1[0, :, :]  )
#plt.title("x") 
#
#fig = plt.subplots(1)
#plt.imshow( xyz1[1, :, :]  )
#plt.title("y") 
#
#fig = plt.subplots(1)
#plt.imshow( xyz1[2, :, :]  )
#plt.title("z") 

#               tx, ty, tz,   rx, ry, rz -- [B, 6]  弧度制！！！
pose = np.array([0, -0.5,  0,   0, 0, 0]).astype(np.float64)
pose = pose[np.newaxis, :]
pose = torch.from_numpy(pose)

from inverse_warp import pose_vec2mat
pose_mat = pose_vec2mat(pose, rotation_mode='euler')  # [B,3,4]

print(pose_mat)

proj_cam_to_src_pixel = intrinsics @ pose_mat  # [B, 3, 4]  K*T_21
#print(proj_cam_to_src_pixel)

from inverse_warp import cam2pixel
# cam2pixel 多传了一个Z出来
src_pixel_coords, Z2 = cam2pixel(cam_coords,     # XYZ
                            proj_cam_to_src_pixel[:,:,:3],   # R
                            proj_cam_to_src_pixel[:,:,-1:],  # t
                            padding_mode='zeros')    # [B,H,W,2]

print(src_pixel_coords.size() )

uv2 = src_pixel_coords.detach().numpy().squeeze()

#fig = plt.subplots(1)
#plt.imshow( uv2[:, :, 0]  )
#plt.title("u2") 
#
#fig = plt.subplots(1)
#plt.imshow( uv2[:, :, 1]  )
#plt.title("v2")

#################
b = color[:, :, 0]
g = color[:, :, 1]
r = color[:, :, 2]

b = b.reshape(307200, 1)
g = g.reshape(307200, 1)
r = r.reshape(307200, 1)

u2 = uv2[:, :, 0].reshape(307200, 1)
v2 = uv2[:, :, 1].reshape(307200, 1)

color1 = np.zeros_like(color)

zz = Z2.detach().numpy().squeeze()  # (307200, )

#zz[133, 182] - depth_copy[133, 182] # 深度的确有变化 相差0.5

depth1 = np.zeros((480, 640))


for i in range(307200):
    uu = u2[i]
    vv = v2[i]
    
    if uu>-1 and uu < 1 and vv>-1 and vv<1:
        xx = int(0.5*(uu+1)*639)
        yy = int(0.5*(vv+1)*479)
        
        color1[yy, xx, 0] = b[i]
        color1[yy, xx, 1] = g[i]
        color1[yy, xx, 2] = r[i]
        
        depth1[yy, xx] = zz[i]

 
#fig = plt.subplots(1)
#plt.imshow( cv2.cvtColor(color1, cv2.COLOR_BGR2RGB)  )
#plt.title("color1") 
#
#
#fig = plt.subplots(1)
#plt.imshow( depth1  )
#plt.title("depth1") 
        
fig=plt.figure()

plt.subplot(121)
plt.imshow(cv2.cvtColor(color1, cv2.COLOR_BGR2RGB))
plt.title("color1") 

plt.subplot(122)
plt.imshow(depth1)
plt.title("depth1") 

plt.show()

 当然，上图的效果不行，还要做插值才能好看点。