note of Tactile Sensor Papers
Soft Bubble
硬件
- 深度相机：尺寸小，帧率高，支持USB等
- 气囊外壳：顺应性强，摩擦力大，便于抓取
应用案例
物体分类
使用深度神经网络ResNet作为对象分拣器。
输入
传感器受压时的深度图像
输出
施压物体属于某类别的概率
- 具体种类
- Cube
- Robot
- Frustum
- Triangular prism
- Bridge
- Hemisphere
- none
- 具体种类
算法
- lost function: cross-entropy loss（交叉熵损失？还没学到）
- optimizer: stochastic gradient descent（随机梯度下降？也还没学到）
纹理识别
在前一个实验的基础上添加三种具有不同表面纹理但具有同大小规格的立方体进行分类
结论
分辨成功率与图像分辨率正相关，但会有一些波动。
姿态估计与跟踪
输入信息
算法：Iterative Closest Point (ICP) algorithm
将两组曲线、两组曲面或两组点云进行配准
基本思想
输入为两组点和变换的初始估计，输出为两组点之间的最优变换。
（自己概括的，可能不全面）通过迭代的方式寻找初始点阵发生的变换矩阵，代入得出估计的变换后点阵，与真实点阵比较以寻找出误差足够小的变换。
基本流程
1）将当前估计的变换应用于第一组点；
2）对于第一组变换后的每个点，在第二组中找到最近的点；3）通过剔除异常值来更新点匹配；
4）使用更新后的点匹配计算变换，直到估计的变换收敛。
更多
姿态估计
物体的实际轮廓是已知的，作为目标点云；传感器得到的点云为初始点云，使用ICP算法找出两者之间的最优变换关系，便可得到物体的姿态。
从十二个不同方向分别匹配，寻找最合适的一个。
姿态跟踪
每一次处理中，深度图像即为传感器弹性膜的外表面的点云。使用ICP算法不断地迭代出各采样点的点云与上一个样本点云之间的变换矩阵，最终合并全部的变换矩阵，依此得出施压物体的轮廓与姿态。
以1-2Hz的频率运行，那么各个采样点之间由ICP迭代出的各个最优变换矩阵即为物体的运动轨迹
TacTip
硬件结构
- 仿生探针：在传感器内表面排列光学探针模仿生物皮肤下方的MCC（中间脊）
- 指纹：通过3D打印技术为传感器设计出特殊的指纹，一定程度上可以提高检测精度
Data processing
每一个点位的数据包括时间与维度数据，每个针脚的X，Y方向的偏移各自独立。
通过数据训练推测出各个探针的位置状态对应的位置。（这一块基本看不懂）
Tokyo University
这两篇文章所介绍的传感器大致框架不变，作者人员也有较多重合。但是二者也有所不同，第二篇文章更侧重于理论推导。
Measurement of force vector field of robotic finger using vision-based haptic sensor
硬件结构
- 透明硅胶：受力载体，同时提供有规律可循的形变
- 红蓝点阵：作为胶体形变参照物，由形变反推受力
- 摄像头：捕捉图像
数据处理
- 前提假设
- the sensor is a semi-infinite elastic body.
- the deformation of the elastic body is linear.
u=hf
某一维度上的作用力会在另一维度产生分力；
某一维度上的力可使标记在另一维度上产生位移；
h则为作用力与标记位移之间的转换矩阵。
通过观测标记的位移与施加的已知力的关系得到h矩阵。
便可通过位移u和转换矩阵h反推出施加于传感器的外力。
Vision-Based Sensor for RealTime Measuring of Surface Traction Fields
硬件结构
- Transparent elastic body：透明弹性介质
- black layer：遮光层
- Two layers of spherical markers：两层红蓝点阵标记物
- CCD camera：相机
公式推导
前提假设
elastic medium is linear, isotropic, and homogeneous.（线性、各向同性、均匀性）
推导出表面法向力Fn使作用点在三个维度发生的位移公式
推导出表面切向力Ft使作用点在三个维度发生的位移公式
公式包含材料的杨氏模量E和泊松比R，可适用于多种材料
根据线性假设，可以认为各作用力对标记物产生的位移作用也可线性叠加，可用H变换矩阵表示
图像处理
threshold：消除背景噪音的阈值，类似于提高水位以将丘陵分割为岛屿
精度：15微米
标记坐标的计算
这个P是pixels，这里是什么意思呢
GelSlim
基本原理
- incipient slip：初始滑移，指接触表面的一部分区域开始滑移（通常是外围区域）
- ICR：旋转中心（速度瞬心），类似于“基点法”求各点运动状态。
在没有发生滑移时，将接区域理想化为二维刚性模型，以此来计算出传感器上的标记位移的估计值；当估计值与实际值相差较大时，则可认为初始滑移开始发生。
因为将接区域理想化为二维刚性模型，接触区域的运动就理想化为平面刚体运动，由此方便预估姿态与判断。
具体步骤
检测并滤波处理得到接触区域
利用opencv库得到标记点在区域内的坐标。选取一个参考坐标系，由此计算各个时刻接触区域的位移。
去除接触区域的外部区域，使用内部区域的标记位移来代表刚体的位移，并计算速度。（因为外围更可能先发生初始滑移）
估计位移并由此计算或判断是否发生滑移
拧瓶盖实验
- 黄色箭头：真实位移
- 红色箭头：估计位移
相当于在拧瓶盖的过程中通过触觉传感器的滑移信息形成闭环控制。
GelSlim-application
Tactile-Based Insertion for Dense Box-Packing
这篇文章主要是上一篇文章中介绍的GelSlim在实际应用中的尝试
应用场景
在摄像机给出大致的空隙位置信息后，机械臂借助触觉传感器进行具有更高精度的物品放置。对周围物体与加持物体没有较多的了解，且机器人要在不破坏周围物体位置的情况下正确放置，允许试错与纠错。
- 角度误差阈值：5°
- 位置误差阈值：2.5mm
误差获取
误差被分为八个种类
角度正负误差与位移正负误差排列组合
由GelSlim获取碰撞时的触觉信息
物体在碰撞或接触过程中产生的触觉信息（实际上是图像信息）被捕获并且有序存储
误差类型的判断
卷积神经网络DirectionNN
- 输入：触觉传感器给出的接触信息
- 输出：属于各个误差类型的概率
误差大小的判断
即便是方向相同，误差大小的改变也会引起触觉信息的改变
递归神经网络MagnitudeNN
估计误差大小
控制策略
根据两个网络输出的结果一致性进行判断，更相信DirectionNN。
- 根据两个结果的差别大小制定不同的控制策略
迭代流程
- 尝试放置物品
- 若失败，则捕获触觉信息
- 两个神经网络分别根据信息估计误差
- 控制器根据误差进行运动决策
- 若失败，则重复2~4，直到成功
