想象有个超智能的 “贴心小管家”，专为老年人和需要监护的人群服务，这就是超酷的 “声动护理” 智慧护理系统！
它基于 RDK X3 开发，像个聪明的小脑袋，用物联网技术把所有功能串起来。通过神奇的 Avahi 技术，能让本地设备和机器人 “勾肩搭背”，一起干活；ros1 bridge 技术则像翻译官，让不同版本的 ROS 系统顺利交流，实现语音控制机器人动起来。还用腾讯云搭了个 “云端小基地”，Vue3 设计的前端页面，让本地和云端随时 “唠嗑”，为以后更多指令控制打好基础。
这个系统技能点满格！急救报警、跌倒报警、智能呼叫、自动取药取餐、实时监控、手动控制机器人…… 样样精通。——济往开来团队
一、特色与创新
相比市面上的智慧医疗和家居产品，我们的 “声动护理” 智慧护理系统有这些超亮眼的特色创新：
精准服务特殊群体：专为老年人设计，用物联网技术打造超方便的交互方式。不用复杂操作，挥挥手做个 “V 字手势” 就能召唤取药、点餐服务，对帕金森等行动不便的老人超友好，让服务又贴心又好上手。
智能警报快人一步：老人不小心跌倒，系统秒变 “安全卫士”！立刻拉响警报，云平台同步弹出警示，通知家属和附近邻居。不用怕老人说不清状况，及时救援有保障。
全能服务一站配齐：不止能实时监控、语音聊天，还把智能报警、手势控制、环境监测全打包！语音指令一说，系统立刻回应，还能陪空巢老人唠嗑。摄像头画面、环境数据全上传云端，家属打开网页就能随时 “云守护”。紧急时刻云端直接报警，远程遥控机器人也不在话下，真正实现万物互联！
二、功能设计
2.1 设计环境
作品主要基于 RDK X3 处理器、开发板及语音转换模块进行设计。RDK X3 开发板是一款高性能人工智能计算开发板，搭载高性能 AI 处理器，采用先进的异构计算架构，能在低功耗下高效完成 AI 推理任务。
开发板配备丰富外设与通信接口，方便连接外部设备和云服务；支持 TensorFlow、PyTorch 等多种开发框架，便于快速部署 AI 模型。
软件环境方面：
Node.js：基于 Chrome V8 引擎，采用事件驱动、非阻塞 I/O 模型，适合搭建高并发网络应用，支持 WebSocket 协议实现实时双向通信。
Vue3：渐进式 JavaScript 前端框架，通过虚拟 DOM、组件化等技术，高效构建交互式界面，组件可复用，代码易维护。
2.2 设计内容
我们利用 RDK X3 开发平台及模块，设计方案、编写程序和网页，打造出专为老年人的智慧监控系统。系统基于物联网技术，用 Node.js 搭建服务器，Vue3 设计前端，核心功能如下：
急救报警：老人跌倒时，摄像头通过人体姿态检测自动报警，向家属和医护人员发送求助信号，提升紧急情况下的安全性。
手势求助：系统识别摄像头捕捉的指定手势，老人挥挥手就能 “呼叫取药、点餐或医生”，系统语音回应，操作超方便。
语音交互：老人问 “今天天气如何” 等问题，系统实时识别并语音回复，像个贴心小助手。
实时监控：网页实时显示摄像头画面，医护人员和家属能远程查看病房，接收报警信号。老人还能用手势、姿态发送请求，实现远程智能管控 。
这套系统整合物联网、前端设计和服务器技术，既提升生活品质 —— 实时监测老人健康，让家属随时掌握情况；也优化医疗场景 —— 自动传输患者数据，减轻医护负担，让服务更高效精准。
三、系统实现
3.1 设计方案
我们基于RDK X3开发平台，融合物联网技术，打造出专为老年人服务的智能监控系统，实现自动取药、取餐、紧急呼叫、跌倒报警等功能。
- MIPI摄像头模块
采用OV5647摄像头，500万像素，支持1080p高清拍摄，自带自动曝光、白平衡调节，通过I2C接口传输数据。
手势识别：用深度学习模型（hand_gesture_detection-develop），分四步工作：摄像头抓拍→图像预处理→CNN提取手势特征→模型识别“V字（取药）、手掌（取餐）、OK（呼叫医生）”手势，最后网页和语音同步反馈。
跌倒检测：基于hobot_falldown_detection模型，摄像头拍视频→预处理→CNN定位人体→分析姿态判断是否跌倒，一旦确认，网页弹窗、语音报警。
- 音频转接板模块
使用微雪电子Audio Driver HAT REV2转接板，支持4麦克风录音、双声道播放。
语音识别：HBAudioCapture类负责采集音频→智能算法识别→发布语音消息，涵盖初始化、数据捕获、处理全流程。
语音合成：HobotTTSNode类接收文本指令→转换为PCM音频→驱动设备播放，订阅“/tts_text”话题即可触发。
- 设备通信模块
上下位机：树莓派（上位机）通过USB串口给小车STM32控制器发指令，控制运动。
机器人与本地端：树莓派+小车组成机器人，与RDK X3用avahi服务共享ROS节点，实现远程控制。
本地端通信：RDK X3用ros1_bridge连接ROS1和ROS2，让语音指令能操控机器人。
云端交互：本地端与腾讯云服务器用WebSocket双向通信，实时上传温湿度、手势数据，云端渲染网页。
- 网页展示模块
在腾讯云搭建网页（http://101.32.194.5:8080/），核心功能：
中间显示摄像头实时画面，用transfer.py程序转发图像数据；
右侧记录语音对话日志；
下方分区展示温湿度、手势指令、跌倒报警，数据由RDK X3实时传输。
- 温湿度传感器模块
DHT11传感器集成温湿度检测，单总线协议传输40位数据，Hobot.GPIO库解析后校验、保存，再通过WebSocket发往云端。 - 语音交互模块
AudioSmartToTTS节点订阅“/audio_smart”接收语音数据→提取命令词→WebSocket问服务器要回复→发布“/tts_text”实现语音输出，搭配音频转接板提升识别和播放效果。 - 机器人控制模块
语音控制：麦克风收音→语音算法处理→发布“/audio_smart”消息→hobot_audio_node.py转发指令→controller.py控制小车移动。
App控制：手机App用平移、旋转、缩放手势操作视图，通过ROS和avahi技术自动连接设备，语音或触屏操控机器人。
- 手势与跌倒功能强化
手势识别：检测到特定手势后，音频播报确认、网页显示详情、机器人执行任务，代码分初始化、数据处理、状态重置三步。
跌倒检测：检测到跌倒时，语音报警、网页弹窗，设5秒定时器防误报，状态消失后自动重置。
3.2 设计展望
未来计划升级系统：
健康监测：增加心率、血压传感器，实时预警健康风险；
智能咨询：语音对话获取医疗建议，加强医患沟通；
远程医疗：视频连线实现远程问诊；
环境智控：自动调节灯光、温度；
人体跟踪：搭载跟踪小车，消除监控盲区。通过这些优化，让系统更智能、更贴心。
四、开源
