导语自 2015 年 TensorFlow 开源以来，伴随着深度学习的迅猛发展，通用深度学习框架经历了 10 年的高速发展，大浪淘沙，余者寥寥。曾几何时，也有过性能与易用性之争，也有过学术界和工业界之分，但随着本轮大模型应用的推波助澜，PyTorch 无疑已经成为事实上的大模型“标准框架”。时至今日，PyTorch AOTCompile 特性的发...
导语：随风潜入夜，润物细无声，TencentOS 内核团队今年 4 月在 Linux 社区提交的 2 个 commit，在社区正式重视 Page Cache 问题前的几个月前，默默完成了 Bug 的修复并优化了性能。TencentOS 内核团队的 Patch 被公认为最佳修复， Linus Torvalds 更评价其"不明觉赞，祝顺利" 。本文将由浅入深解析底层原理，厘清问题的...
导语:Linux 下开发者习惯在物理机或者虚拟机环境下使用 top 和 free 等命令查看机器和进程的内存使用量，近年来越来越多的应用服务完成了微服务容器化改造，过去查看、监控和定位内存使用量的方法似乎时常不太奏效。如果你的应用程序刚刚迁移到 K8s 中，经常被诸如以下问题所困扰：容器的内存使用率为啥总是接近 99%？ma...
golang 的一大特色就是 goroutine，它是支持高并发程序的重要保障；通过 go 关键字我们就能轻易创建大量的轻量级协程，但它和我们认知中的线程有什么区别呢，轻量在哪里，具体是如何进行调度的..... 本文将从涉及到的一些基础知识开始，逐步介绍到 go 协程调度的核心原理，希望你能有所收获~
单体和微服务谁是毒瘤？单体、分布式、微服务、SOA 到底是什么关系？我的系统该用什么架构？最近终于下定决心研究这个问题并且有所收获，欢迎一起讨论。
在现代软件开发中，多线程编程已成为提升应用程序性能和响应速度的关键技术之一。尤其在C++领域，多线程编程不仅能充分利用多核处理器的优势，还能显著提高计算密集型任务的效率。然而，多线程编程也带来了诸多挑战，特别是在性能优化方面。本文将深入探讨影响C++多线程性能的一些关键因素，比较锁机制与原子操作的性能...
本文主要分享我们近期在Embedding模型训练上的工作「Conan-Embedding」。目前，Conan-Embedding已在最全面、最大规模的中文语义向量评测榜单C-MTEB上达到SOTA，超越了阿里、百川、OpenAI等众多Embedding模型。
TCP协议是一个大家好像都熟悉，又好像都不熟悉的协议。说熟悉，是因为我们基本每天都要用到它，所有人似乎对三次握手、四次挥手、滑动窗口、慢启动、拥塞避免、拥塞控制等概念好像都有些了解。说不熟悉，是因为TCP协议相当的复杂，而且在运行过程中网络环境会变化，TCP的相关机制也会因为不 同的变化而产生相关的适应行...
消息队列是重要的分布式系统组件，在高性能、高可用、低耦合等系统架构中扮演着重要作用。可用于异步通信、削峰填谷、解耦系统、数据缓存等多种业务场景。本文是关于消息队列（MQ）选型和常见问题的精心整理。在这篇文章中，我们将详细介绍消息队列的概念、作用以及如何选择适合自己需求的消息队列系统。
内存不是无限的，总有不够用的时候，linux内核用三个机制来处理这种情况：内存回收、内存规整、oom-kill。
最近做了一些服务性能优化，文章池服务平均耗时跟p99耗时都下降80%左右，事件底层页服务平均耗时下降50%多左右，主要优化项目中一些不合理设计，例如服务间使用json传输数据，监控上报处理逻辑在主流程中，重复数据每次都请求下游服务，多个耗时操作串行请求等，这些问题都对服务有着严重的性能影响。
C++因其高性能仍然是许多关键应用的首选语言，但其复杂的内存管理也带来了诸多挑战。虽然使用现代C++能够有效解决大部分问题，但掌握常用的内存问题排查方法仍然十分必要，特别是在维护一些历史系统时。本文分为上下两篇：上篇（1~5）按照问题分类介绍和比较常用工具，下篇（6~7）通过两个具体案例展示这些工具的组合使...
「迷思」是指经由人们口口相传，但又难以证明证伪的现象。由于 GPU 硬件实现、驱动实现是一个黑盒，我们只能通过厂商提供的 API、经过抽象的架构来了解并猜测其原理。因此坊间流传着各种关于与 GPU 打交道时的性能迷思。比如「移动端的瓶颈是带宽」、「移动端不需要太在意 Overdraw」、「植被需要做 PrePass」等等。这些...
很多应用都属于数据密集型应用，而非计算密集型；对于这类应用，CPU往往不是第一限制性因素，关键在于数据量 、数据复杂度 和 数据的快速多变性；因此数据库的选型在应用系统设计中就显得比较重要。 数据库（数据引擎）最核心的任务就是"读到写入的值"，我们尝试从"最简单的脚本文件数据读写" 一步一步扩展讨论到"分布式...
本文将分三个部分阐述如何实现 Android Native 内存泄漏监控，包括代理实现的三种方案（Inline Hook、PLT/GOT Hook、LD_PRELOAD）及其优缺点，以及如何检测Native内存泄露和获取Android Native堆栈的方法。本文将提供一套比较全面的解决思路，帮助大家更好地检测 Android Native 内存泄漏问题。
过去的一年多，大模型风起云涌，不断迭代，作为一个多年 NLP 产品方向的从业者，可以说是享受其中，惊喜连连。记得22年底，那时疫情放开，身边的人全部病倒，在身体冷热交加中看到了 ChatGPT 的发布，马上在病榻上完成了注册，那时的感觉就仿佛黑暗中看到了曙光。当时我在一家物联网公司的 AI 研究院工作，基于 ChatGPT ...
大语言模型很强大，就像人类的大脑一样拥有思考的能力。如果人类只有大脑，没有四肢，没有工具，是没办法与世界互动的。如果我们能给大模型配备上四肢和工具呢？大模型是不是就会打破次元壁，从数字世界走向现实世界，与现实世界实现梦幻联动呢？
导语：【大模型安全初探】是由腾讯朱雀实验室推出的，针对大模型AI安全前沿风险的系列研究。本文主要解读分析OpenAI最新推出的大型模型GPT-4o可能存在的越狱风险。
本文从技术应用架构以及AI大模型赋能角度介绍腾讯文档AI智能助手的探索和实践之路。作为一款集多功能为一体的AI产品，腾讯文档全品类与AI进行了深度融合，全面提升用户生活和办公中的效率。通过腾讯文档AI，你脑海中灵光一现的Idea可以快速转化为详细的内容，在各种类型的文档中同源流转。同时，面对纷繁复杂的信息，腾...
我们的业务需要使用公司内部的一个平台做报表展示，公司内部的一个平台支持的数据库都是正式环境或者IDC环境，这使得我们的业务逻辑也需要部署到正式环境或者IDC环境。自从自研资源上云后，鹅厂内部使用IDC资源时不再推荐使用方单独申请IDC资源，而是推荐使用容器服务进行资源的申请和使用。具体来说，就是我们需要把我...
