自 “Prompt 工作手册” 发布以来，我持续研究大模型能力的应用及研发方法，结合产业发展，在研发框架和模型应用上有了新的思考，并形成了新的方法论，希望我们的能力不仅仅停留在模型研发的某一阶段，而能贯穿在研发全流程之上。本文介绍了我们近半年的工作成果，通过对研发框架的工程化，我们大幅降低了模型应用研发的成...
2024 年 1 月，腾讯朱雀实验室和腾讯安全科恩实验室，联合清华大学江勇教授/夏树涛教授团队、香港理工大学罗夏朴教授研究团队、上海人工智能实验室 OpenCompass 团队发布行业首个网络安全大模型评测平台 SecBench：[链接]
老者摸着胡须，目光炯炯望着我：刚刚我看路边有人弄丢了几把铲子，想必是你弄丢的，那让我来考考你，你丢的是这把金铲子，还是这把银铲子呢？
多线程环境下，读写锁是一种常用的同步原语，适用于多读者-多写者的经典问题；合理的使用可以在保证数据一致性的前提下，大幅提升读性能，但不合理的使用可能会导致死锁。本文从一次协程泄露问题入手，分析 golang 读写锁可能产生死锁的场景，希望读者可以避坑。
我们在聊 DDD 的时候到底在说什么？DDD 为什么这么难落地？8 年 DDD 实战经验，4700 字带你解读。
从自然语言问题（文本到 SQL）生成准确的 SQL 是一个长期以来的挑战，因为用户问题理解、数据库模式理解和 SQL 生成中的复杂性。传统的文本到 SQL 系统，包括人工工程和深度神经网络，已经取得了实质性进展。随后，预训练的语言模型（PLMs）已被开发并用于文本到 SQL 任务，取得了有希望的性能。随着现代数据库变得越来...
支持中间件 传入的 HTTP 请求可以由一系列中间件和最终操作来处理，例如：Logger，Authorization，GZIP，最终操作 DB。
导语自 2015 年 TensorFlow 开源以来，伴随着深度学习的迅猛发展，通用深度学习框架经历了 10 年的高速发展，大浪淘沙，余者寥寥。曾几何时，也有过性能与易用性之争，也有过学术界和工业界之分，但随着本轮大模型应用的推波助澜，PyTorch 无疑已经成为事实上的大模型“标准框架”。时至今日，PyTorch AOTCompile 特性的发...
导语：随风潜入夜，润物细无声，TencentOS 内核团队今年 4 月在 Linux 社区提交的 2 个 commit，在社区正式重视 Page Cache 问题前的几个月前，默默完成了 Bug 的修复并优化了性能。TencentOS 内核团队的 Patch 被公认为最佳修复， Linus Torvalds 更评价其"不明觉赞，祝顺利" 。本文将由浅入深解析底层原理，厘清问题的...
导语:Linux 下开发者习惯在物理机或者虚拟机环境下使用 top 和 free 等命令查看机器和进程的内存使用量，近年来越来越多的应用服务完成了微服务容器化改造，过去查看、监控和定位内存使用量的方法似乎时常不太奏效。如果你的应用程序刚刚迁移到 K8s 中，经常被诸如以下问题所困扰：容器的内存使用率为啥总是接近 99%？ma...
golang 的一大特色就是 goroutine，它是支持高并发程序的重要保障；通过 go 关键字我们就能轻易创建大量的轻量级协程，但它和我们认知中的线程有什么区别呢，轻量在哪里，具体是如何进行调度的..... 本文将从涉及到的一些基础知识开始，逐步介绍到 go 协程调度的核心原理，希望你能有所收获~
单体和微服务谁是毒瘤？单体、分布式、微服务、SOA 到底是什么关系？我的系统该用什么架构？最近终于下定决心研究这个问题并且有所收获，欢迎一起讨论。
在现代软件开发中，多线程编程已成为提升应用程序性能和响应速度的关键技术之一。尤其在C++领域，多线程编程不仅能充分利用多核处理器的优势，还能显著提高计算密集型任务的效率。然而，多线程编程也带来了诸多挑战，特别是在性能优化方面。本文将深入探讨影响C++多线程性能的一些关键因素，比较锁机制与原子操作的性能...
本文主要分享我们近期在Embedding模型训练上的工作「Conan-Embedding」。目前，Conan-Embedding已在最全面、最大规模的中文语义向量评测榜单C-MTEB上达到SOTA，超越了阿里、百川、OpenAI等众多Embedding模型。
TCP协议是一个大家好像都熟悉，又好像都不熟悉的协议。说熟悉，是因为我们基本每天都要用到它，所有人似乎对三次握手、四次挥手、滑动窗口、慢启动、拥塞避免、拥塞控制等概念好像都有些了解。说不熟悉，是因为TCP协议相当的复杂，而且在运行过程中网络环境会变化，TCP的相关机制也会因为不 同的变化而产生相关的适应行...
消息队列是重要的分布式系统组件，在高性能、高可用、低耦合等系统架构中扮演着重要作用。可用于异步通信、削峰填谷、解耦系统、数据缓存等多种业务场景。本文是关于消息队列（MQ）选型和常见问题的精心整理。在这篇文章中，我们将详细介绍消息队列的概念、作用以及如何选择适合自己需求的消息队列系统。
内存不是无限的，总有不够用的时候，linux内核用三个机制来处理这种情况：内存回收、内存规整、oom-kill。
最近做了一些服务性能优化，文章池服务平均耗时跟p99耗时都下降80%左右，事件底层页服务平均耗时下降50%多左右，主要优化项目中一些不合理设计，例如服务间使用json传输数据，监控上报处理逻辑在主流程中，重复数据每次都请求下游服务，多个耗时操作串行请求等，这些问题都对服务有着严重的性能影响。
C++因其高性能仍然是许多关键应用的首选语言，但其复杂的内存管理也带来了诸多挑战。虽然使用现代C++能够有效解决大部分问题，但掌握常用的内存问题排查方法仍然十分必要，特别是在维护一些历史系统时。本文分为上下两篇：上篇（1~5）按照问题分类介绍和比较常用工具，下篇（6~7）通过两个具体案例展示这些工具的组合使...
「迷思」是指经由人们口口相传，但又难以证明证伪的现象。由于 GPU 硬件实现、驱动实现是一个黑盒，我们只能通过厂商提供的 API、经过抽象的架构来了解并猜测其原理。因此坊间流传着各种关于与 GPU 打交道时的性能迷思。比如「移动端的瓶颈是带宽」、「移动端不需要太在意 Overdraw」、「植被需要做 PrePass」等等。这些...
