个人简介

我的研究兴趣包括机器学习(ML)、人-机器人交互(HRI)和持续学习(Continual Learning)。我致力于研究如何使服务机器人在真实世界环境中实现长期适应与学习。我的博士论文题目为 “服务机器人的交互式持续学习研究”,力求通过人-机器人交互支持用户参与到服务机器人的自适应学习中,提高服务机器人在新任务和未知环境下的适应性和灵活性。

教育经历

同济大学

设计创意学院 - 设计学 博士

2019 - 2024

导师:孙效华 教授

论文题目: 服务机器人交互式持续学习研究

华东师范大学

计算机科学与软件工程学院 - 软件工程 硕士

2016 - 2019

导师:严骏驰 教授

论文题目:基于深度学习的实时手势识别算法研究与交互系统实现

中南大学

地球科学与信息物理学院 - 测绘工程 本科

2010 - 2014

研究经历

同济大学数字创新中心

博士研究生

九月 2019 - 现在

  • 提出服务机器人的交互式持续学习系统框架,通过持续学习、小样本学习和主动学习提高机器人交互式持续学习的性能, 使机器人能够通过人机交互不断从人类中学习
  • 提出一种基于小样本持续学习的视频理解方法,在 2023 Intel Indoor Robot Learning Grand Challenge 感知赛道上获得一等奖
  • 提出了一种基于交互式机器学习和少量学习的服务机器人物品所有权关系的交互式学习框架
  • 提出了一种基于可穿戴传感器数据和光学运动跟踪系统的多变量时间序列回归模型来估计肩部运动,检测康复运动中的代偿现象

同济大学-麻省理工上海城市科学实验室

研究助理

五月 2019 - 六月 2020

  • 基于Multi-stream结构开发 Human-Object Interactive 深度学习模型,用于分析视频中的人与人交互行为,从而评估城市活力,达到了这一任务的 state-of-the-art
  • 与 麻省理工学院媒体实验室(MIT-Media Lab)共同开发了支持城市决策的CityScope平台,以评估和促进城市活力和创新

IBM中国研究院

研究助理(实习生)

七月 2018 - 九月 2018

  • 独立负责基于YOLOv3 & Tensorflow & Swift & CoreML的移动端车辆损伤检测系统开发
  • 比较并改进不同目标检测模型以提升车辆损伤检测的有效性与实时性

北京因时机器人科技有限公司

算法工程师(实习生)

十月 2017 - 一月 2018

  • 独立负责基于Nvidia Jetson TX2和Tensorflow & Qt & OpenCV 人-机械手交互的手势识别的算法研究和游戏开发
  • 该项目参加了多个知名展会,如2017年家电及电子世界博览会(AWE 2017)、2017年上海机器人展(RS 2017)和2017年国际创新创业博览会,并被人民网等多家媒体报道

论文发表

  • Jiang, S., Cai, Q., Hu, Y. and Zhong, X., 2023, November. Enhancing Camera Position Estimation by Multi-view Pure Rotation Recognition and Automated Annotation Learning. In International Conference on Neural Information Processing (pp. 543-557). Singapore: Springer Nature Singapore.
  • Zhang, R., Hu, Y., He, Y., Fang, S., Yu, B., Sun, X. and Wang, Q., 2023, October. A Tailored Textile Sensor-based Wrap for Shoulder Complex Angles Monitoring. In Adjunct Proceedings of the 2023 ACM International Joint Conference on Pervasive and Ubiquitous Computing & the 2023 ACM International Symposium on Wearable Computing (pp. 137-141). (co-first authors)
  • Zhang, R., Chen, L., Hu, Y., Zhang, Y., Chen, J., Liang, T., Sun, X. and Wang, Q., 2023. Textile-Sensing Wearable Systems for Continuous Motion Angle Estimation: A Systematic Review. International Journal of Human–Computer Interaction, pp.1-21
  • Hu, Y., Ge, Y., Yang, T. and Sun, X., 2023. An Interactive Learning Framework for Item Ownership Relationship in Service Robots. Human Factors in Robots, Drones and Unmanned Systems, 93(93).
  • Ge, Y., Hu, Y. and Sun, X., 2023. Co-Design of Service Robot Applications Using Virtual Reality. Human Factors in Virtual Environments and Game Design, 96(96).
  • Zhang, Y., Zhou, X., Wang, W., Hu, Y. and Sun, X., 2023. Keeping in the lane! Investigating drivers’ performance handling silent vs. alerted lateral control failures in monotonous partially automated driving. International Journal of Industrial Ergonomics, 95, p.103429.
  • Hu, Y., Sun, X. and Zhang, H., 2020. Interaction design in human-in-the-loop hybrid intelligence. Packaging Engineering, 41(18), pp.38-47.
  • Hu, Y., Xu, J., Ma, Z. and Cao, G., 2018, August. Predictive hand gesture classification for real time robot control. In Proceedings of the 10th International Conference on Internet Multimedia Computing and Service (pp. 1-5).

获奖荣誉

  • Intel 室内机器人学习全球挑战赛 一等奖 (2023)
  • 瑞森可智能机器人开放应用挑战赛 优秀项目奖(2023)
  • 第四届“中科星图杯”高分遥感图像解译软件大赛 飞机目标检测 二等奖(2020)

教学经历与受邀报告

  • NexTus可持续发展青年创新日报告
    • 报告题目:让机器人走进千家万户——用户参与式机器人自适应学习与能力评测
  • 《开源人工智能》研究生课程助教 (2021-2023)
  • 《交互设计》本科生课程助教 (2020-2023)

专业技能

  • 编程语言: Python, C/C++, UNIX shell, MATLAB 等
  • 库: PyTorch, TensorFlow, OpenCV, ROS, Qt 等
  • 操作系统: Linux (Arm/x64), Windows, Mac OS X
  • 语言: 普通话(母语), 英语(六级)