[发明专利] 一种基于脑电和视觉的水下机械手控制系统及方法 – CN114161414A 全文链接一   全文链接二

 
基本信息
申请号
CN202111464217.4
申请日
20211203
公开(公告)号
CN114161414A
公开(公告)日
20220311
申请(专利权)人
中国科学院沈阳自动化研究所
申请人地址
110016 辽宁省沈阳市沈河区南塔街114号
发明人
佟以轩;徐东岑;封锡盛;赵洋 专利类型 发明专利
摘要
本发明涉及水下机器人人机交互技术领域,尤其涉及一种基于脑电和视觉的水下机械手控制系统及方法。包括:脑电采集装置、视觉采集装置、刺激诱发模块、脑电处理模块、视觉处理模块、脑电视觉融合模块、机械手驱动模块以及多个液压机械手;脑电采集装置,用于采集脑电信号;视觉采集装置,用于实时捕捉瞳孔图像;脑电处理模块,用于处理脑电数据,判断出当前操作人员注视的色块图像;视觉处理模块,用于判断出当前操作人员视线焦点对应的色块图像;脑电视觉融合模块,用于将脑电处理模块与视觉处理模块的判断结果对比,得到机械手操作指令;本发明使用脑电和视觉信息完成命令选择及命令确认和撤销,提高了控制结果的正确率,保证可靠性。
主权项
1.一种基于脑电和视觉的水下机械手控制系统,其特征在于,包括:脑电采集装置、视觉采集装置、刺激诱发模块、脑电处理模块、视觉处理模块、脑电视觉融合模块、机械手驱动模块以及多个液压机械手;所述脑电采集装置,用于采集操作人员带有时间标记的脑电信号,当操作人员注视显示屏中的某一色块图像时,产生与该色块闪烁频率相同特征的脑电信号,并发送给脑电处理模块;所述视觉采集装置,用于实时捕捉操作人员当前的瞳孔图像,发送至视觉处理模块;所述脑电处理模块,用于处理脑电采集装置发送的脑电数据,获取脑电数据的频率特征,进而判断出当前操作人员注视的色块图像,并分别发送至刺激诱发模块和脑电视觉融合模块;所述视觉处理模块,用于处理视觉采集装置发送的瞳孔图像,根据瞳孔图像进行处理,获取当前操作人员在显示屏上的视线焦点,进而判断出当前操作人员视线焦点对应的色块图像,并分别发送至刺激诱发模块和脑电视觉融合模块;所述脑电视觉融合模块,用于将接收到的脑电数据的频率特征和视线焦点进行对比融合,得到机械手操作指令、对比结果信号,并分别发送至机械手驱动模块、以及刺激诱发模块;所述刺激诱发模块,用于在显示屏上显示按照不同频率闪烁的色块图像,不同色块图像对应不同的机械手控制指令、以及接收脑电视觉融合模块对比结果信号;并根据对比结果信号在显示屏上显示对应的色块图像;所述机械手驱动模块与液压机械手连接,用于根据接收到的机械手控制指令控制机械手不同关节处的液压阀,进而实现机械手动作。

 

 
IPC信息
IPC主分类号
B25J9/16
B 作业;运输

B25 手动工具;轻便机动工具;手动器械的手柄;车间设备;机械手

B25J 机械手;装有操纵装置的容器

B25J9/16 程序控制(全面生产控制,即集中控制多台机器入G05B19/418)〔4〕

 

 
法律状态信息
法律状态公告日
20220311
法律状态
公开 法律状态信息
CN202111464217 20220311 公开 公开

 

 
代理信息
代理机构名称
沈阳科苑专利商标代理有限公司 21002
代理人姓名
王倩