说明文档:
https://berkeleyautomation.github.io/dex-net/code.html
=======================Dex-Net==========================
Dex-Net 2.0
是一个HDF5文件数据集,包含了1500个物体到模型,平行夹具抓取点,抓取鲁棒性矩阵。
Dex-Net Object Mesh Database v1.1
是物体网格类型文件数据集。
对于Dex-Net 1.0,一个3D物体多视角下拍摄到图片,输入到MV-CNN,输出后得到这是哪个物体,
一张物体图像,用传统方法标记出的抓取点,和力封闭可能性大小标签,考虑到手爪位姿不确定性、物体位姿不确定性,所以然后加了汤姆森采样,得到更新的鲁棒的力封闭可能性大小,按照更低的置信区间最大化进行排序,然后存储到数据库里面,形成了Dex-Net 2.0数据集
Dex-Net 2.0描述的是,将1.0得到到数据集(带抓取点的图片)和深度图像作为GQCNN的输入,输出是抓取质量好坏
用的时候,输入是深度图像,首先需要用传统的方法给出抓取点,然后把它输入GGQCNN得到每个抓取对应的抓取质量好坏,选择最好的质量进行抓取。
=======================INSTALLATION==========================
下载Dex-Net
https://github.com/BerkeleyAutomation/dex-net.git
运行安装文件
在Dex-Net文件夹目录下,打开终端,输入
sudo sh install.sh {cpu|gpu} {python|ros}
其中,cpu|gpu 只出现其一,python|ros 只出现其一,并且不要花括号,如下
sudo sh install.sh cpu python
测试安装
python setup.py test
=======================Overview==========================
运行python脚本
cd /path/to/your/dex-net
python apps/dexnet_cli.py
提示没有模块meshpy,需要进入/deps/meshpy下面安装,再次运行上面到脚本即可
输入0,
然后输入data/examples/example.hdf5
*******Note: databse 和 dataset 的区别:
程序中涉及的变量
database:是HDF5文件,包含物体的mesh,抓取点和抓取质量值。
dataset:是mesh文件
1)Database Manipulation
The Dex-Net CLI(数据集命令行交互)可用于打开、读取、写入3D物体模型、平行夹具抓取、抓取鲁棒性矩阵的HDF5数据集。
2)Point Cloud Dataset Generation
鲁棒的抓取规则是基于GQCNN(抓取质量卷积神经网络)的,对于新鲜物体的抓取规划有用,需要在Dex-Net 2.0数据集上对GQCNN进行训练。
=======================Examples==========================
需要安装mayavi模块,方法:
Mayavi requires at the very minimum the following packages:
VTK >= 5.0 with Python wrapper
numpy >= 1.1.1
setuptools (for installation and egg builds)
Traits >= 3.0 (Traits, TraitsUI and TraitsBackendWX or TraitsBackendQt, EnthoughtBase, AppTools)
参考帖子:https://stackoverflow.com/questions/41960672/how-to-install-mayavi-trait-backends
The following steps worked for me (in a python2 environment):
conda create -yn mayavitest
source activate mayavitest
conda install -yc menpo mayavi=4.5.0
conda install -y pyside
conda install qt
ETS_TOOLKIT=qt4 python /path/to/mayavi-example.py
结论:测试
运行generate_gqcnn_dataset.py,输入
python tools/generate_gqcnn_dataset.py adv_synth
安装OpenRAVE
https://scaron.info/teaching/installing-openrave-on-ubuntu-16.04.html
https://fsuarez6.github.io/blog/openrave-trusty/
https://fsuarez6.github.io/blog/workstation-setup-xenial/
Boost version: 1.58.0
安装FCL
删除文件命令:sudo rm -rf xx
/home/xiaoqing/anaconda2/lib/python2.7/site-packages/FCL
查看已安装的包:
pip list
在某一目录下递归[所有子目录]查找某一字串:
grep -r “字串” 目录名
就是加一个-r参数,请看man page:
-R, -r, –recursive
===============tensorboard使用=========================================
执行程序,tensorboard生成可视化
进入linux命令行,运行以下代码,等号后面加上summary日志保存的路径(在程序第一步中就事先自定义了)
tensorboard --logdir=