IT大嘴巴 · 2023年11月17日 · 天津市

简洁高效,腾讯云向量数据库让大模型应用更方便

要说如今最火爆的数据库,非向量数据库莫属。

其实向量数据库这个名词本身并不是一个新概念,早在几年前业界就有不少相关核心业务的公司,比如 Zilliz、Pinecone和Weaviate等等,都在这个领域深耕了几年。但之所以今年向量数据库成为整个IT产业甚至投资界的焦点,自然还是要归功于那个名字——生成式AI大模型。是的,就当所有人都从算力角度观察AIGC,进而不断炒作算力和芯片的时候,这背后真正推动AIGC发展的也有向量数据库的一份功劳,甚至对于不少从业者来说,向量数据库才是决定AIGC能走多远的核心动力。

1700179967945.png

日前,在腾讯举行的Techo Day腾讯技术开放日活动中,腾讯云携手中国信通院共同发布了向量数据库标准,随后腾讯云向量数据库负责人罗云也进行了名为《腾讯云向量数据库,为AI应用插上腾飞的翅膀》的主题演讲,向大众详细介绍了腾讯云向量数据库的技术发展与应用实践。这也是继11月2日腾讯云向量数据库正式全量开放公测之后,官方第一次对其进行公开介绍与解读,这不仅向行业彰显了腾讯云在这里领域的技术积淀与信心,更为未来的AIGC相关应用提供了切实的生产力工具。

AIGC的火爆与向量数据库的背后支撑

今年伊始,AIGC成为了整个IT产业关注的焦点,其智能化的表现也获得了全社会的认可。但许多人不知道的是,支持AIGC应用发展的背后正式向量数据库,正是向量数据库的精准匹配与数据分析支撑,才让AIGC的发展一日千里,也才有了当前的火爆。

众所周知,AIGC需要大量的数据进行训练,以获取丰富的语义和上下文信息,也就需要海量数据的支撑,也直接导致了数据量的爆发式增长。而向量数据库作为数据的管理者,能够高效的帮助用户管理数据。其次,AIGC生成的文本往往需要进行相似性搜索和匹配,以提供准确的回复、推荐或匹配结果,只有这样才能进行精准的训练。而传统基于关键词的搜索方法可能无法满足复杂的语义和上下文要求,相反向量数据库则可以妥善解决这个问题。

第三,AIGC的应用也不仅限于处理文本数据,包括图像、语音等多模态非结构化数据成为了应用的重点,比如现在火爆的AI画图就是利用这一技术实现的;而向量数据库作为一种能够存储和处理多种数据类型的系统,能够有效地支持多模态数据的存储、索引和查询,由此也得到了用户的青睐。

1700179999854.png

因此,从应用的角度来说,AIGC的发展并不是单纯的暴力计算就能够实现的,这其中很大一部分得益于向量数据库对海量多模态数据进行的处理,比如标签化的索引和查询等等。换句话说,如果没有向量数据库的处理,AIGC的发展或许没有这么快,或许将会成为另外的样子。由此看来,向量数据库与AIGC应用高度绑定,而谁能够掌握向量数据库,谁就能更好的运用AIGC。

腾讯云向量数据库,让大模型应用触手可及

这也是腾讯云推出向量数据库的重要原因。作为云计算行业巨头,腾讯云一直引领者行业发展的潮流,而面对AIGC应用的爆炸式增长,腾讯也有自家的混元大模型,通过超千亿参数规模、强大的中文理解与创作能力、逻辑推理能力赢得了行业的认可。而如今,腾讯云将大模型能力释放出来,通过全量开放公测的方式,可以赋能更多用户,也让更多人享受到AIGC应用带来的便捷与高效。

那么问题来了,如今业界已经有提供向量数据库的品牌,腾讯云的加入对整个行业又会带来哪些不同呢?其实结合AI应用场景就能发现,这一次腾讯云推出的向量数据库主要具备两大特征——企业级能力与智能化。所谓企业级能力就明确了它的定位,与不少面向个人的大模型应用不同,腾讯云更希望通过向量数据库实现对于行业客户的赋能,也实现从AI1.0时代单一的行业应用、单一系统算力、标量数据转变为AI2.0时代的集群性能、向量数据、自动运维等全新特性,提供更灵活、更自由、更高效的云基础设施底座。

1700180020019.png

这其实也体现了AIGC应用发展近一年的变化。对于一件新生事物来说,迭代的速度非常快,而用户的覆盖范围也会出现显著的提升。在1.0时代,AI应用还局限于某个场景、某个解决方案中,整个模型的参数和性能都比较低,只能满足初步的需求;但是到了现在,尤其是当AIGC已经被越来越多的行业所接受的时候,用户对其要求也在不断提升,更多的参数模型、更强的算力性能、更多场景和应用的覆盖,这就是2.0时代的AIGC需求。基于这些变化,我们也需要从数据库层面进行转变,这就是腾讯云向量数据库推出的核心价值所在。

作为国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库,腾讯云向量数据库实现核心能力的跨越式提升——架构层面采用云原生分布式架构,达到企业级稳定性要求;独家集成Embedding功能,对齐传统数据库的使用体验,用户无需关注向量生成过程,就可以实现超高配速快速处理数据,助企业轻松拥抱AGI生态;此外,集合DMC可视化管理工具,快速执行数据库操作,让测试、运维更简单。

1700180035369.png

信通院测实测数据也证明了腾讯云向量数据库的强大性能——无论是128维度还是768维度上,腾讯云向量数据库都遥遥领先于行业平均标准,其中128维度领先四倍以上,768维度也有两倍以上的优势。而具体到单QPS成本方面,腾讯云向量数据库却远低于行业平均水平,其中128维度只有行业的八分之一,768维度只有行业的四分之一。强大的性能、超低的成本,成就了腾讯云向量数据库出色的性价比,也奠定了它“遥遥领先”的行业地位。

1700180044018.png

除了性能之外,如何快速上手应用也是用户关注的话题,不少用户更是担心在这个快速发展的AI时代落伍。为此,腾讯云向量数据库也提供了一站式的AI套件整体解决方案,从早期的文档预处理到向量化模型的选择,再到索引自动构建,以及最终的结果排序,提供了全流程的端到端解决方案。这样对于那些知识库构建、知识检索的应用场景来说,就可以最大化降低检索时间、优化了命中率,也帮助不少客户的燃眉之急和后顾之忧,大大降低了向量数据库的应用门槛;同时该方案还可以提升30%的召回率,也让用户应有游刃有余。

如今,无论是文本的语义搜索,还是对图像、音频、视频等非结构化数据进行分类标签,亦或是搜索推荐排序,都是向量数据库应用的核心场景。尤其对于大模型的训练场景,数据预处理环节更可以帮助大模型客户提升10倍的数据清洗效率。对于AI应用企业而言,基于腾讯云向量数据库的内置AI算子也可以将原本需要1个月的工作缩短到3天完成,同样效率提升的同时,其共享资源池的服务形式也可以大幅优化成本。

多场景赋能,腾讯云向量数据库让大模型应用更简单

正如我们在文章开篇提到的,向量数据库已经有了多年的发展,即便对于腾讯云来说,也早在2019年就走上了自研向量数据库之路,迄今为止也在腾讯内部的多项业务中取得了应用。据罗云介绍,目前腾讯云向量数据库已经接入了腾讯集团40多个业务中,每天的请求调用超过1600 亿次;而在今年开通公测之后,更有千余家外部企业客户接入其中。比如我们熟悉的腾讯文档、腾讯会议等日常应用都基于向量数据库接入了大模型,构建了自己的AI业务,而在外部,也有诸如百川智能、好未来教育、销售易等企业基于腾讯云向量数据库完成了基于自身业务的智能化升级。

“腾讯云向量数据库提供了一站式的完整端到端技术栈。我们每天的数据量大约是2亿,在没有向量数据库之前,处理会比较慢,因为只能单线程序去做;第二比如数据的导入,包括数据的批量的更新,腾讯云向量数据库也相比之前好了很多……QPS、延迟等各方面都能达到一个最佳的性能”,在谈到腾讯云向量数据库使用感受的时候,百川智能相关负责人介绍说。

1700180066192.png

好未来教育同样是腾讯云向量数据库的受益者。作为一家以内容能力与科技能力为基础的教育企业,大众熟知的“学而思”就是其旗下品牌,而好未来教育也正通过智能化的手段帮助更多的用户和家庭创造价值。在使用腾讯云向量数据库之前,好未来教育多采用ES检索,这是一种偏文本的检索方式,对当下流行的非结构化数据不太合适。而在使用腾讯云向量数据库之后,就可以“通过语音Embedding来解决语音方面的召回,在语义方面存在比较泛化的优势”,并且“它的流程改查其实都是在线可以实时操作的,维护成本也会也会比较低”。

熟悉智能CRM的用户对于销售易不会陌生,它也同样是该行业内的领军品牌。而在谈到如何使用的腾讯云向量数据库的时候,相关负责人表示目前的应用更多在智能客服与潜在用户搜索领域。比如智能客服机器人可以回答用户提出的诸多问题,这种基于自然语言的方式相比以往的数据查询更为智能化;而在客户推荐方面,则可以大大简化特征检索,“对销售来说使用简单且检索的结果会更真实、准确,智能化效果明显”。

另一组数据更能够体现腾讯云向量数据库的价值。某客户原本需要40名客服人员进行产品售后服务,但是在接入了具备腾讯云向量数据库的大模型之后,智能机器人可以回复绝大多数的问题,最终将客服人员的数量压缩到了原本的十分之一;与之相应的,之前企业每年在这方面的投入高达千万元,如今成本只要10万元,只有原来的百分之一。可以说,腾讯云向量数据库帮助大模型应用更好的实现了智能化,也推动了企业的降本增效。

从内部自用到外部赋能,腾讯云向量数据库如今已经走出了一条符合自身特色的发展之路。以往我们在使用大模型的时候,总会遇到与自然语言应用不匹配的难题,或者因为后台数据库的时限、能力问题难以回答最新的问题,比如大名鼎鼎的GPT4.0就公开表示数据只能支持到2023年4月,后续的问题无法回答。但是如今有了向量数据库,我们就可以通过最简单的自然语言理解更快速的让数据库升级与迭代,这样可以紧跟AIGC发展的大潮,也让未来的应用变得随心所欲、无所不能。

向量数据库带来的,并不只是单一的某项应用,而是智能化的星辰大海。

推荐阅读
关注数
1943
内容数
252
专注开放计算、大数据应用、人工智能、企业数字化转型、云计算等领域产业观察及产学研合作。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息