使用unity3d和tensorflow实现基于姿态估计的体感游戏
前言
之前做姿态识别，梦想着以后可以自己做出一款体感游戏，然而后来才发现too young。但是梦想还是要有的，万一实现了呢。趁着paper发出去的这几天，做一个toy demo。研究了一下如何将姿态估计的结果应用于unity，参考了很多资料，最终决定使用UDP协议，让unity脚本接收python脚本的数据（关节点坐标），来达到控制object的目的，由于刚接触unity时间不长（c#也是刚接触的）,所以肯定有很多不足，欢迎交流。demo的代码和模型地址https://github.com/bBobxx/MyPoseWithUnity3d
python脚本
Recognition.py,需要安装tensorflow和opencv-python
python脚本这边就是普通的姿态估计的tensorflow程序，只不过要调用socket包，用来发送数据。这边我设定的是
UDP_IP = "127.0.0.1"
UDP_PORT = 5065
sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
端口可以更改，只要确定没占用就行。
后面的dataProcess函数是将图片处理成我的网络的输入，这边的姿态估计算法是我论文中的网络，识别率不是很高，但是凑活，相比于那些识别率很高的，速度也快点，在笔记本的cpu上能达到3FPS左右，勉强能用，我这边的模型使用的是cpu，gpu能不能用没测试过，当然这里完全可以换成别的姿态识别模型，最重要的地方是
string_send = 'st,'
for w in range(nr_joint):
string_send += str(x_c[w])+','+str(y_c[w])+','
string_send += 'end'
sock.sendto( string_send.encode(), (UDP_IP, UDP_PORT) )
一定要将数字转换成字符串，并且encode（），当然这里加不加开头和结尾没那么重要，但是加上可以在unity那边判断一下。
c sharp脚本
playerControllerScript.cs， move.cs前者放在Sphere上，后者放在Cube上。
在unity那边首先要建立关节点代表的sphere，我这边是这样设置的，注意sphere的层次关系和名字一定要跟我一样：
cube是为了玩加上去的，可以不用这些。看一下c#这边的接受函数
private void ReceiveData()
{
client = new UdpClient (port);
while (true)
{
try
{
IPEndPoint anyIP = new IPEndPoint(IPAddress.Parse("0.0.0.0"), port);
byte[] data = client.Receive(ref anyIP);
string text = Encoding.UTF8.GetString(data); //这边记得在解码，port是之前python脚本的端口
string[] strArray = text.Split(',');
int[] coord1 = new int[32];
for (int i = 1; i<strArray.Length-1;++i) {
int x = Int32.Parse(strArray[i]);
coord1[i-1] = x;
}
if (updateCoord) {
coord = coord1;
updateCoord = false;
}
} catch(Exception e)
{
print (e.ToString());
}
}
}
这部分的代码主要参考的这篇博客https://www.raywenderlich.com/5475-introduction-to-using-opencv-with-unity
然后将姿态估计的结果应用到每个小球上就可以了，这里我的demo中将小球和方块添加了刚体和碰撞属性，这部分如果不清楚就去查资料吧，我也是刚入门，就不误导了。这是update函数中干的事情：
void Update ()
{
if (!updateCoord){
for (int i=0; i<16;i++) {
string obj = "Sphere (" + Convert.ToString(i+1)+")";
GameObject spherei = sphere.transform.Find(obj).gameObject;
if (coord[2*i] >0 && coord[2*i+1]>0) {
int x = coord[2*i]-320;
int y = coord[2*i+1]-240;
spherei.transform.position = new Vector3(x, y, 0.0f);
}
else
spherei.transform.position = new Vector3(-1000.0f, -1000.0f, 0.0f);
updateCoord = true;
}
}
}
我的笔记本的相机拍出的图片大小是640*480的，所以上面将x，y坐标减了一半，这里可能需要改，或者直接不减也可以。这里的z坐标是0，是因为这是2d姿态估计，3d的以后如果有结果再实现。
效果图
小球太大的结果QAQ,所以有重叠，真人的话就好点了。编译了一个64位linux的执行文件，链接:[https://pan.baidu.com/s/19P5ebRN7dUXNcN2n7EQLXQ] (https://pan.baidu.com/s/19P5ebRN7dUXNcN2n7EQLXQ) 提取码: ju73。