AidLux · 2023年02月13日 · 四川

皮影跟随萌妹跳宅舞!玩花样还得看开发者

近年来,“国潮”文化备受青睐,因为“国潮”作品中不仅蕴含着丰富的传统文化之美,还涌动着历史与当下生活、科技结合在一起的全新生命力。

为了让更多传统文化与当代年轻人“破圈”相拥,人工智能也贡献出了科技智慧,AI还原古画场景、AI“复活”古代人物等创意层出不穷。
c8b112ee985f388b1195f13490e187ac.jpg

最近,有开发者在AidLux平台上实现了皮影跟随萌妹破次元跳宅舞的创想,玩出了AI盘活非遗文化的新花样!
beb7d61f9a9c6accd33666c6786f838b.jpg

AidLux致力于持续降低AI应用开发和落地技术门槛,专注解决AIoT异构及碎片化问题。

作为跨生态融合与AI能力优势兼备的强大平台,AidLux不仅为AI项目开发、部署、落地提供了全流程的工具链支持,还能有效增强芯片性能——验证发现,搭载AidLux的高通芯片性能提升效果能够超越官方数据30%以上。

一般皮影的构造由头、躯干、2条腿、2只胳膊和2只手组成,这和人体构造基本一致。

其模型控制点位置与人体关节点分布具有极大重合性,这就意味着皮影戏的动作表演控制与人关节控制肢体动作也会具有极大相似性。
3d19123d107850449123833f97914adb.png

因此,利用基于人体关键点检测的AI技术能够实现一种新的皮影戏表演方式。beb7d61f9a9c6accd33666c6786f838b.jpg

首先在AidLux上开启Jupyter服务,使用Cloud_ip进行远程连接。
55ce357e76ca09044d798660387be5b6.png
a6dc74793b671fd165ff874906382208.png!

在电脑端实现单张人物图片的人体关键点检测:

通过AI算法解析人体肢体动作,提取出头部、肩膀、手脚等16个人体关键点位置信息,将人体骨骼关键点进行连接,获取到人体的肢体骨骼。
image.png

再通过关节点的信息,计算皮影的肢体位置和旋转方向,从而达到皮影与人体肢体动作同步:

以2个骨骼关键点确认肢体的长度和旋转角度,根据长度对素材进行缩放,根据旋转角度对素材进行中心旋转。
52b4beb5a3283e5849cb30a4b7b1332c.png

计算旋转后图片的位移信息,得到最终映射骨骼关键点位置。

随后将各个素材映射到对应的肢体上,并把动作映射到“皮影”上。

当然,在此过程中还需要在AidLux中打开VSCode:

将视频进行逐帧处理,按帧存放图片,把抽帧之后的视频按照逐帧分析关键点信息;
816bf1096d302114854ce604397c97f7.png

并在系统分析结束后合成处理后的帧,转换视频中的连续帧。

最终得到皮影跟随人物肢体动作同步舞蹈的结果。
e730f81263a401ee06de167c8f2537d4.jpg

当然,在AidLux平台能力的支持下用AI盘活非遗皮影戏仅是科技推动文化传承的一种尝试,也仅是AidLux开发者们的万千灵感创意之一。

欢迎大家在AidLux开发者社区发帖分享更多好玩、好用的AI应用创意,成为AidLux认证开发者,免费领取7T算力的边缘计算设备。

还有更多认证开发者的专属权益,等着大家来解锁哦~
fc1b2148f0fe8f6f7d66d786d2cc822e.png

期待在AidLux的帮助下,每个人都能轻松落地AI应用。下期见!
https://www.bilibili.com/vide...

本期感谢:AidLux开发者 暴龙战士
用于DEMO演示的实拍视频来源于网络,仅用于技术验证

推荐阅读
关注数
5
内容数
54
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息