转眼,今年的第八个月份也已接近尾声。回首上半年,ChatGPT在技术圈点燃了一把火,其后Midjourney、谷歌MusicLM等音视频领域的AIGC工具亦层出不穷;6月,苹果MR强势“刷屏”,一时间头显设备能否再创“IPhone”时刻成为关注的焦点。
热点带给人目不暇接的新奇,也带来眼花缭乱的疲惫。
还好,我们在上海多雨的7月迎来了LiveVideoStackCon。作为音视频技术人的驿站,技术大会是个可以“慢下来”的机会。这里不再如信息洪流中的碎片化内容那样杂乱无章,而是技术专家打磨数月的倾囊以授。志同道合的朋友来这里碰面,聊聊天,也充充电。
过去一个月LiveVideoStackCon组委会,对于上海站大会进行了全面的复盘工作,认真梳理了参会的朋友们提供的宝贵建议。令我们惊喜的是,视频编解码和音频技术仍然是各位技术人最想在大会中聆听的内容。一些朋友建议我们:音频技术设置到一个短专题不够听,最好可以扩充内容以涵盖到音频技术中细分的方方面面……
因此,在即将开始的11月LiveVideoStackCon 深圳站,「音频新体验」、「视频编解码与AI」两个专题都将以长专题的形式和大家见面!现在,我们要剧透一些演讲内容,以飨读者。一场视听的技术盛宴,不能没有它的菜单,相信你能从中体味到“食材”和“做法”的匠心。
Part.01
音频新体验
申厚拯
维沃移动通信有限公司(vivo) 音频算法组总监
《手机外放增强(Super Audio®)算法》
智能手机是人们使用最多的智能设备。声音作为试听体验的重要组成部分,提升外放音质及沉浸式立体声效果能显著提升用户使用手机时体验。由于手机尺寸小及追求极致的外观,喇叭尺寸小,存在外放声音小,低频缺失,钢琴曲声音杂音大,频响性能差,喇叭容易非线性失真。扬声器间距小,声场宽度窄,扬声器上下不对称,导致声音左右不均衡等问题。vivo通过对喇叭腔体及消费者喜好长期的研究,开发出虚拟低音,响度自适应控制,多段动态范围控制,自适应均衡,振幅及温度控制,非线性补偿,立体声增强算法。
”
陈超
百度 YY直播技术专家
《YY直播超低延时音效算法设计与开发》
当下,元宇宙和VR技术的发展正在为在线直播业务带来新的机遇和挑战,音频的超低延时是保证直播体验的关键因素之一。对于需要低延迟的场景,例如在线K歌合唱、合奏等场景等,常见音效模块可能会带来几十毫秒的延迟,这是一个非常大的挑战。
我们对直播中常见音效算法仔细分析后,以“零延时”为指导,结合信号处理和深度学习方法,将YY直播音效模块的延迟降到了最低,顺利支持YY直播超低延时场景上线。同时我们还推出一套VST版本音效插件,方便独立使用。
”
马金龙
趣丸科技 媒体算法负责人
《智能音频能力移动端落地实践》
随着泛娱乐社交的持续火热和AIGC的兴起,越来越多了的场景需要用到智能语音处理技术来辅助内容理解和智能交互,因此打造端上智能语音技术显得尤为重要且迫切。例如,用户可以通过端上音频事件检测和端上语音识别对内容进行实时标定,为理解用户意图提供了技术保障。同时,端上语音识别为我们打造基于AIGC的智能交互助手提供了低成本方案。
”
Part.02
视频编解码与AI
王诗淇
香港城市大学 副教授
《基于深度学习的视频编码》
视频编码是数字视频应用的核心技术,推动了多媒体产业的快速发展。随着超高清视频、虚拟现实技术的进步,亟需高效视频编码技术以应对海量视频数据量的挑战。此外,随着智慧城市相关技术的应用,针对面向机器视觉的高效视频编码的需求与日俱增。
”
范志兴
shopee视频编解码tech leader
《shopee视频编码技术与极速高清最佳实践》
上一期LVS上海大会,我们介绍了shopee内部音视频相关的业务,以及如何开发落地的。随着经济增长放缓,各大互联网公司都喊出了降本增效的口号,shopee也不例外。近2年,如何在降低带宽、算力成本的同时提高或者至少不降低用户的画质体验成了shopee 音视频技术团队最大的挑战。
本分享将带大家深入了解一下,shopee如何做到端到端的画质提升,以及带宽/算力成本节省的。我们结合了AI增强,采集端编码策略优化(软硬编码结合),后台转码优化(编码器bdrate提升,编码效率提升),播放端增强等技术达到了这一目的。
”
李礼
中国科学技术大学 特任教授
《端到端图像视频编码及其标准化》
传统图像视频编码基于混合编码框架,经过数十年的发展,其性能提升已经进入瓶颈。端到端图像视频编码作为一种新的编码框架,短短几年的发展,就达到了和传统图像视频编码相匹配的性能。本分享拟介绍端到端图像视频编码的基本思想,并介绍其用于图像、视频、三维生物医学图像等多个模态的发展现状和标准化情况。
”
以上仅为专题中的部分内容,更多精彩欢迎您持续关注。也欢迎作为“食客”的你,为这场音视频技术的饕餮盛宴提供建议。如果您也有一手的音视频技术实践想要分享,如果您热衷于感受技术交流与思维碰撞的乐趣,欢迎您成为讲师,与我们共同打造一流的音视频技术内容。
作为深耕线下的技术大会,我们坚信“百闻不如一见”。深圳站八折购票火热进行中,限时优惠截止至9月3日!同时,我们为在校学生争取了六折购票的特别福利(购买学生票,请联系小秘书,微信号:LVSgogo)。
准备好了吗?和诸多资深的音视频技术者一起,去见未来。
8折优惠购票,倒计时12天。