文章将grasp分类为Power Grasp和Precision Grasp，指出灵巧手很好的适配power grasp，但在precision grasp上应用夹爪多于灵巧手。并设计了一个可在power grasp与precision grasp两者间切换的系统。

文章的主要贡献点是针对灵巧手精确抓取的姿态优化方法和手部指尖几何优化方法，分别用于构建演示数据、遥操控制，和构建指尖装配件。

引言

给出了Grasp的一种分类方法的定义

• Power Grasp：用手掌和手指抓取。现有研究包括从仿真中学习策略，用点云作为观测以支持sim2real；用VR设备收集遥操数据。
• Precision Grasp：用拇指和另一个手指夹取。现有方法多关注设计更适合的硬件平台，和引入触觉等传感器。

多指灵巧手很适合power grasp，更多的接触点提供了更好的稳定性，适用于较大物体；夹爪则足以胜任precision grasp的精确接触点，并完成叠衣、安装插头这类任务，适用于较小物体和较薄物体。本文设计了在统一的控制策略和硬件平台上，无需重新设计灵巧手即可完成两种grasp的方法。

引言介绍的创新点：

• 针对precision grasp，简化成拇指和食指平行的动作；
• 通过neural switcher，根据物体在power grasp和precision grasp间切换；
• 通过从仿真中蒸馏得到的neural physics surrogate physics model，优化控制量和手指的几何，完成手部指尖的设计。

相关工作

• 前文所述Power Grasp和Precision Grasp的相关方法
• 计算设计和联合设计
  以往的机械设计计算方法通常利用基于梯度的优化以及针对几何或拓扑的任务感知规划，计算量大且泛化差。而可微仿真器通过在统一框架内实现形态与控制的联合优化，解决了这一问题。该文章使用后者，并将指尖的几何建模为接触平面。
• 模仿学习
  通过演示学习策略。本文应用遥操作数据进行real2real验证，应用仿真中优化得到的数据进行sim2real验证。

方法

整体是模仿学习框架，演示数据包含观测和动作$D=(O,A)$，通过优化方法构建演示数据训练策略$\pi$。

控制

在仿真中得到数据的方法是，先通过力闭合的目标进行优化，再应用运动规划，并结合仿真筛选。对大的物体进行power grasp，对tiny, thin物体进行precision grasp。

仿真数据

• Grasp Pose Optimization
  对于power grasp，通过优化force closure目标得到演示数据；
  对于precision grasp，固定食指和拇指以外的自由度，给定物体网格$O$和关节配置$q$，在拇指和食指分别采样n个接触，每个接触包含空间点的位置$x_i\in {\mathbb{R}}^3$和法向量$c_i\in {\mathbb{R}}^3$，定义$[x_i{]}_{\times }$为$x_i$的反对称矩阵（skew symmetric matrix），grasp map $G=\left[\begin{array}{ccc}{I}_3& ...& I_3\\ [x_1{]}_{\times }& ...& [x_{2n}{]}_{\times }\end{array}\right]$，$c=[c_1^T{c}_2^T...c_{2n}^T{]}^T$，最小化目标函数$E_p=||Gc|{|}_2$，来得到使得net wrench接近0的抓取姿态。
  注：反对称矩阵A满足$A^T=-A$，
  向量$x=[x_1,x_2,x_3{]}^T$的反对称矩阵$[x{]}_{\times }=\left[\begin{array}{ccc}0& -a_3& a_2\\ a_3& 0& -a_1\\ -a_2& a_1& 0\end{array}\right]$，这样定义是为了便于表征向量叉乘，$[a{]}_{\times }b=a\times b$。
  这里的假设应当是所有接触点都有相同大小的力，$Gc=\left[\begin{array}{c}{c}_1+c_2+...+c_{2n}\\ [x_1{]}_{\times }{c}_1+[x_2{]}_{\times }{c}_2+...+[x_{2n}{]}_{\times }{c}_{2n}\end{array}\right]$，矩阵中的两项分别是 合力 和 合力矩。
• Pre-Grasp & Overshoot-Grasp
  对于power grasp，参照Dex1B和DexGraspNet的方法，基于物体SDF将手指推向物体表面得到pre和overshoot grasp；
  在precision grasp采用平行夹爪动作，定义$d$为从拇指接触点到食指接触点归一化后的方向向量，pre-grasp时拇指和食指要移开一小段距离$\alpha$，需要的关节速度通过Jacobian pseudo-inverse $J^{†}$应用逆运动学方法计算得到$\Delta q_{thumb}=-\alpha J_{thumb}^{†}d$，$\Delta q_{index}=\alpha J_{index}^{†}d$
• 模型和仿真配置
  使用ManiSkill仿真，power grasp和precision grasp分别训练一个DexSimple策略，并用PointNet根据物体分类，选择Power Grasp/Precision Grasp，并将仿真中得到的策略直接部署至真机实验。

真实数据

实验设置包含两类grasp的组合任务和纯precision grasp任务，通过遥操作收集数据。
问题：基于位置的重定向在夹取螺母这类精确夹取任务上效果不好
方法：两个模式，普通retarget 和 pinch控制器。通过目标函数$E_{precise}=||Gc|{|}_2$优化手部姿态，此处c表示食指和拇指间的接触法向，而非手物间的接触法向，并使用和仿真数据中同样的平行夹爪动作，$\Delta q=J^{†}d$。并使用遥操数据训练ACT策略

指尖优化

这部分的目标是优化指尖几何来使灵巧手能更有效完成precision grasp。
通过优化，构建一个接触平面来进行precision grasp。
用平面点 $p$ 和平面单位法向 $n$ 来表征接触平面P。
优化$P$和关节位置$q$，最小化设计的三个能量项。

• geometric
  从空间点位置的角度设计。包含吸引项$E_{att}$，和惩罚手指表面点跨越平面P的排斥项$E_{rep}$
  。下式中$x_i$表示手指contact点，$d(\cdot ,P)$表示点到平面P的距离，${\varphi }_P(\cdot )$表示点到平面P的带符号距离，$[\cdot ]$为指示函数，$S(F)$为手指网格的表面点云。$$E_{att}=\sum _{i=1}^{N}d(x_i,P),E_{rep}=\sum _{v\in S(F)}[{\varphi }_P(v)<0]d(v,P)$$
• manipulability
  从平行夹爪操作能力的角度设计的能量项，使得平面满足手指能沿平面法向方向平行移动。$$E_{mani}=-(||J_{thumb}n|{|}_2+||J_{index}n|{|}_2)$$
• neural physics
  用其他项优化得到的参数进行仿真得到的数据训练PointNet+MLP得到的代理模型估算任务成功率，输入为平面参数P，关节角度q，物体点云o$$f:(P,q,o)\to \hat{s},\hat{s}\in [0,1]$$
  设计能量项$$E_{phys}=-f(P,q,o)$$

注：机器人的雅可比矩阵是末端执行器速度和关节速度之间的线性关系，末端执行器速度$V$，关节角度$q$，关节速度$q^{\prime }$，关节角度$q$下的雅可比矩阵$J(q)$，满足$V=J(q)q^{\prime }$，将关节空间速度映射到直角坐标空间。