PointNetGPD: Detecting Grasp Configurations from Point Sets

解决的问题提出了一个端到端的抓取评估模型，能够从3D点云中输出机器人抓取配置。和基于手工设计深度特征和CNN的抓取评估方法相比，提出的PointNetGPD模型具有轻量化、能直接处理定位了夹持器配置的3D点云的特点。即使点云非常稀疏，也能很好地捕捉接触区域的几何结构。先前工作大多依赖2D输入或2.5D输入，很少考虑3D几何信息。论文的主要贡献：直接对3D点云进行集合分析评估抓取质量，和以前的基于C

早起多学习

1758人浏览 · 2021-08-20 21:02:44

早起多学习 · 2021-08-20 21:02:44 发布

1.解决的问题

提出了一个端到端的抓取评估模型，能够从3D点云中输出机器人抓取配置。
和基于手工设计深度特征和CNN的抓取评估方法相比，提出的PointNetGPD模型具有轻量化、能直接处理定位了夹持器配置的3D点云的特点。即使点云非常稀疏，也能很好地捕捉接触区域的几何结构。

先前工作大多依赖2D输入或2.5D输入，很少考虑3D几何信息。

论文的主要贡献：

直接对3D点云进行集合分析评估抓取质量，和以前的基于CNN的方法相比，文章所提方法能更好地利用深度图像的三维信息，不需要手工设计的特征，即使点云稀疏也能够work，在感知不精确和不充分的情况下有规划抓取的潜力。
建立了一个抓取数据集，包含力闭合和GWS分析的抓取质量分数。

2.相关工作

抓取配置检测：model-based, model-free
抓取质量指标：力闭合和GWS分析（Grasp Wrench Space analysis）
三维视觉与机器人抓取：挑战问题是处理感知的不确定性，DNN，Andy的6DOF抓取依赖多视角深度图、CAD模型；3D-CNN计算复杂度高；GPD需要复杂的手工设计的特征，而且当输入点云比较稀疏时，GPD容易过拟合。

2.方法

物体状态 $so=(Wo,Mo,γ)s_o = (W_o, M_o, \gamma)$
抓取配置 $r)\in{\mathbb{R}^6}$
变换后的点云包含N个点 $P∈R3×NP\in{\mathbb{R}^{3 \times N}}$
评价指标 $Q(s,g)→RQ(s,g)\rightarrow \mathbb{R}$
目标学习评价指标 $Qθ(P,g)∈{c0,c1,...}Q_\theta(P,g) \in{\{c_0,c_1,...}\}$ ，c为标签

采样

随机采样两个接触点 $p_1, p_2$ 和一个角度 $r∈(0,0.5π]r\in(0,0.5π]$ ，抓取为 $g((p_1+p_2)/2,r)$
去除不可行的抓取（闭合手指是否会和物体碰撞）
将剩下的可行抓取从mesh变换到点云坐标，变换矩阵通过mesh和配准点云的ICP获得

标注

力闭合指标： $Q_{fc}$ 输入摩擦系数 $γ\gamma$ ，输出二值标签；论文对输出进行了修改，取抓取为antipodal时的 $1γ\frac{1}{\gamma}$ ( $γ\gamma$ 从0.4开始，直观上 $γ\gamma$ 低score高，抓取更鲁棒)
GWS分析（Grasp Wrench Space analysis）： $Q_{gws}$ 采用GWS半径作为抓取质量定量指标。GWS可以是 $R3\mathbb{R}^3$ 或 $R6\mathbb{R}^6$ 空间，论文采用简化的无摩擦的 $R3\mathbb{R}^3$ 空间。
抓取质量分数： $Q(s,g)=\alpha Q_{fc}(s,g) + \beta Q_{gws}(s,g)$

网络结构

输入点云只是包含在抓手闭合区域的一小部分（N个点），先变换到统一的局部抓手坐标系，消除歧义性。X轴为接近方向，Y轴为平行方向，Z轴为正交方向。
在这里插入图片描述

PointNet 网络评估抓取质量
在这里插入图片描述
采样用的是 Using geometry to detect grasp poses in 3d point clouds 论文中的GPG方法，从点云中进行启发式采样，舍弃离支撑面近的点，移除远离支撑面的点，对于碰撞的抓取，将其向接近方向的反方向拉直至碰撞消失，如果此时抓取器闭合区域仍然存在一些点，将其标记为无碰撞抓取。