应《国家中长期科学和技术发展规划纲要2006-2020年、》，服务机器人目前正处于快速上升阶段，而机器人的感知赋能因此慢慢的变成为一个研究热点。当前的服务机器人若要完成最基本的功能，主要的感知需求在于视觉算法的应用。

  针对家庭场景下的服务机器人，本论文基于深度学习网络设计了一个包含多个视觉任务，可应用在服务机器人上的视觉系统，并且以中国机器人大赛-助老服务机器人赛项作为落地场景，进行一定的介绍以及功能测试。

  1、以助老服务机器人比赛的规则为基础，针对该场景，设计并建立了一个可扩展的助老服务机器人基本架构及其子功能模块接入的模式。

  2、针对部署在服务机器人端的情况，对比目前流行的基于深度学习的特征提取模型以及目标检测模型，从而确定所采用的人体检测的基础模型。为加强家庭场景下的实际应用效果，对实际应用场景的图像数据来进行标注，生成本任务所用模型训练数据，加强人体检测的效果。针对该场景下的误检情况，提出一个快速的解决方案。

  3、针对基于单帧图像的模型目标检测模型、无法充分的利用视频的时序的问题，本文基于人体检测的结果进行人体姿态估计的任务推理，并且根据人体姿态估计任务所得人体关键点热图进行堆叠，引入多帧图像之间的联系，输入至动作识别模型中，通过推理最终得出人体动作的分类。

  4、从边缘端深度学习网络部署的方面出发，设计了一个整合上述任务的软件系统，完成从摄像头信息输入到最终结果，包括：人体检测、人体姿态估计、动作识别、行动轨迹跟踪，输出的整一个流程，并且根据硬件特性进行一定的系统设计。

  本文针对助老服务机器人及其应用场景，进行了相应的视觉模块研究，包括目标检测、人体姿态估计及动作识别，并依据这一些视觉模块，在一个适用于边缘AI计算的终端设备上进行相应系统的研发及部署。最终结果为，该系统取得了良好的视觉识别效果，在助老服务机器人比赛上，取得了优异的成绩。此外，该系统具有非常好的实用性，对于相似的场景能做到快速的应用部署。

  随着计算机、电子通信等技术的加快速度进行发展，机器视觉已在各个行业中得到了广泛的应用。其中，在航空航天、军事、助老助残以及家庭服务等领域，具备操作能力的服务机器人已成为研究热点，而三维物体的识别及抓取位置检测变得特别的重要。对机器人抓取操作任务来说，抓取位置检测具备极其重大的地位，是保证抓取成功的关键一环。近几年卷积神经网络在机器人抓取检测任务上取得了较好的检测效果。但是它们中大多数方法存在太多的计算参数，较为耗时，不够稳定。

  针对当前存在参数多耗时大且不够稳定等问题，本论文主要面向服务机器人的目标检测和抓取位置智能检测的轻量化卷积神经网络构建和性能分析展开研究。本课题的初步研究具备比较好的应用价值和前景。本论文的主要工作有：

  第一，未解决目标检测在实时性要求高的应用处理速度较慢的问题，结合轻量化MobileNetv1和YOLOv4网络的不同特点和优势，提出了一种面向服务机器人智能抓取任务的轻量化卷积神经网络YOLOv4-MN。未解决目标检测正负样本不平衡以及其难以区分等问题，采用基于RetinaNet模型的加权损失函数Focal loss进行优化学习。基于服务机器人智能抓取任务的需要，自建了基于办公室环境的小型数据集RobOff2021；经过实验对比分析，轻量化YOLOv4-MN卷积网络模型占用更少的内存，其检测精度高，检测速度更快。

  第二，未解决物体抓取位置检测卷积网络处理时间比较久的问题，基于轻量级MobileNetv2的特点和优势，结合经典YOLOv5边界框生成思想，给出了轻量化抓取检测模型YOLOv5-MN2。为经验测试抓取框的旋转角度，提出了一种D-anchor的锚框匹配策略。实验根据结果得出，在标准的Cornell抓取数据集上，本文提出的抓取模型优越于当前SOTA抓取方法，达到91.8%的准确率，平均检测速度快3倍。

  第三，给出了基于轻量化YOLOv5-Ef卷积网络的目标抓取位置学习。该模型保留了 YOLOv5-MN2的D-anchor锚框匹配策略来预测抓取角度，将主干网络MobileNetv2替换成EfficientNet-B0，并对EfficientNet-B0进行改进减少计算量。通过与YOLOv5-MN2网络对比实验和结果分析验证了本章提出的模型实时性和有效性。

  绳驱动仿人臂相比传统工业机械臂，其负载-自重比较高，柔顺性较好，在迎宾、教育、医疗等方面具有广泛的应用前景。为实现手臂轻量化和关节模块化，要求将驱动单元布置在基座，并且各关节需为独立的机电系统。而同时满足模块化和驱动单元后置对绳驱动机械臂来说是一项难点。为此，本文提出了一种利用鲍登线将驱动单元和关节机构分开布置的分体式模块化绳驱动仿人臂，使其同时具有轻量化和模块化特点，并对其关节机构、运动学等进行了深入研究。

  基于反平行四边形机构和鲍登线设计了分体式模块化绳驱动关节。分析了反平行四边形机构原理，分析和比较了反平行四边形机构和纯圆滚动机构的运动性能；

  基于反平行四边形机构提出了一种新型一自由度肘部关节，并扩展到空间设计出三自由度的腕部和肩部关节；

  采用鲍登线作为驱动单元与关节机构之间的力与运动的传动机构，实现了关节模块化和驱动机构后置的要求。

  进行了绳驱动仿人臂正逆运动学研究。基于指数积方法对具有非定轴转动的反平行四边形机构正运动学求解，解决了一自由度的反平行四边形机构具有两个转动轴而造成的变换矩阵复杂化问题；提出了基于牛顿-拉普森方法的二次迭代逆运动学求解算法，解决了一次迭代不足以满足反平行四边形机构两个转动轴转角相等的问题。

  进行了绳驱动仿人臂轨迹规划研究。研究了已知起始点、中间点和终止点的情况下建立仿人臂直线插补和圆弧插补轨迹方程、求解插补点位置的算法。利用四元数球面线性插值方法对姿态进行插补，实现了插补姿态的平滑变化。将插值点作为逆运动学求解的期望值，实现机器人末端执行器沿插补轨迹运动。绳驱动仿人臂样机研制及实验验证。

  研发了一套绳驱动仿人臂样机及其软硬件系统；对仿人臂本体制作和硬件选型等方面做了详细介绍；对上位机系统功能做了简要概述。基于仿人臂样机开展了装配速度、关节性能、典型迎宾动作、负载、关节刚度、重复性精度等实验测试，验证了手臂的各项性能，符合仿人臂的使用性能要求。

  本文所提出的分体式模块化绳驱动仿人臂设计与操控方法，有望应用于仿人迎宾机器人的双臂，对推动仿人服务机器人的发展具备极其重大意义。

  透明物体作为日常生活中常见的物体，对其做相关操作是机器人领域中具有挑战性且亟待解决的问题。其中，怎么来实现透明物体的6D位姿估计已成为一个关键技术难点。目前，主流的6D位姿估计方法主要面向于纹理丰富或不透明的物体。本文将以透明物体作为研究对象，结合透明的光学特殊性，开展了对透明物体基于RGB-D的6D位姿估计方法研究，提出了纹理与深度信息融合的透明物体6D位姿估计方法。本文的研究内容主要包括：

  1、针对6D位姿估计领域中缺少透明物体数据集，研究了数据集的制作的过程，包括对透明物体的三维建模、基于Blender的合成数据制作和基于Ar Uco的真实数据制作。同时，为了方便研究，定义了透明物体数据集的统一数据描述格式。

  2、未解决现有RGB-D相机不能正确地捕获透明物体深度的问题，提出了一种透明物体的深度重建方法，包含设计了基于Transformer的实例分割网络，将编码器——解码器引入分割网络中，提出了多特征联合损失函数，有效地利用底层的特征信息。实验根据结果得出，该方法对透明物体的像素级实例分割更为准确，并在Microsoft COCO公开数据集上AP评价指标上比Mask R-CNN高0.5%；提出了基于表面法线的深度重建，通过RGB-D和其透明物体掩码作为深度卷积神经网络的输入，推理出表面法线、边界类型的特征信息，使用该信息与初始深度作为全局优化的输入，最终输出对透明物体校正后的深度图像。实验表明，各项评价指标都优于Dense Depth。该方法能有效地对透明物体的深度进行重建，为后续基于RGB-D的6D位姿估计方法研究作了铺垫。

  3、为了估计更为准确的6D位姿，提出了基于关键点迭代细化的6D位姿估计方法。该方法通过最远点采样算法定义了3D模型中的关键点，利用RGB估计关键点的单位方向向量，并与实例掩码在随机抽样一致算法投票中生成关键点假设和空间概率分布，进而计算出关键点在图像中的2D坐标，将问题描述转化为Perspective-n-Point问题，求解其3D-2D对应点关系。

  对于位姿细化，与常用的迭代最近点算法不同的是，本文提出了一种基于神经网络的迭代细化模块，结合RGB中的透明纹理和校正后的深度，通过神经网络以迭代的方式校正其自身位姿估计误差。

  实验表明，本文方法在自建透明物体数据集上的精度比Dense Fusion高12.5%，解决了透明物体的6D位姿估计问题，同时具有一定的鲁棒性，适用于日常生活化的复杂场景中。

  本文针对透明物体的纹理复杂、无法捕获深度的问题，提出了纹理与深度信息融合的透明物体6D位姿估计方法，解决了透明物体的6D位姿估计问题，对服务机器人和工业机器人的智能化作出了一定的贡献，但是未来还需要对多种类型的透明物体进行研究与验证，并进一步提升6D位姿估计方法的准确性、泛化性。

  随着机器人技术的持续不断的发展，机器人应用场景逐渐从工业生产拓展到生活服务的方方面面。在仿人服务机器人领域，仿人臂是实现仿人交互的执行系统，可以在一定程度上完成绝大部分的交互动作。目前，仿人臂的设计面临着柔顺性差、通用性低以及维护成本高等问题，难以适用于复杂多变的仿人服务交互场景。

  本文结合绳驱动技术和模块化设计思想设计一款模块化绳驱动仿人臂，在满足仿人交互过程动作柔顺性的同时，提高仿人臂在不同应用场合的通用性，主要研究工作如下：

  仿人臂关节机构设计。首先进行了人体关节运动学分析，并将仿人臂关节分为平面和球面两类滚动关节进行设计。选用了反平行机构和张力放大机构进行平面滚动关节设计，并将平面滚动关节向空间拓展形成球面滚动关节。对平面和球面滚动关节分别进行了强度和刚度分析，分析根据结果得出，采用绳驱动张力放大机构的设计办法能够提高平面和球面滚动关节的强度和刚度。单自由度肘关节模块设计。

  其次从人体肘关节仿生设计方面出发，应用上述平面滚动关节设计了一款单自由度肘关节模块。对肘关节模块进行了总体方案设计、传动系统分析、驱动扭矩计算以及正逆运动学分析。三自由度腕关节与肩关节模块设计。

  再次从人体腕关节和肩关节仿生设计方面出发，应用上述球面滚动关节设计了一款三自由度串并混联腕关节模块。对腕关节模块进行了总体方案设计、传动耦合分析、驱动扭矩计算以及正逆运动学分析。对于肩关节模块而言，其与腕关节模块结构、原理相同，仅大小、尺寸不一，并结合腕关节和肘关节模块对肩关节模块进行了驱动扭矩计算。模块化绳驱动仿人臂研制与实验。

  最后完成了腕关节、肘关节和肩关节模块实物样机研制，并为各关节模块搭建了相应的控制管理系统。对腕关节、肘关节和肩关节模块进行了仿人运动测试、最大角速度测试以及关节负载测试，实验根据结果得出，各关节模块满足仿人运动的设计的基本要求，其摆动最大角速度分别为48°/s、84°/s和144°/s，且末端负载能力满足设计要求。

  本文研究主要面向仿人服务机器人领域，旨在提出一种新的仿人臂设计思路，并致力于促进仿人服务机器人早日走进千家百户。