YASDB内存占用简介

参数配置：

默认参数配置：DBMS_PARAM高级包生成配置参数

数据库内存配置，使用默认参数步骤：

1、DBMS_PARAM.OPTIMIZE(); //生成默认参数，使用总内存的80%

2、SELECT DBMS_PARAM.SHOW_RECOMMEND() FROM dual; //查看生成的参数

3、EXEC DBMS_PARAM.APPLY_RECOMMEND(); //应用参数，需要重启yasdb

内存占用计算参数：

DATA_BUFFER_SIZE VM_BUFFER_SIZE SHARE_POOL_SIZE LARGE_POOL_SIZE SCOL_DATA_BUFFER_SIZE COLUMNAR_VM_BUFFER_SIZE 主要是上面这些参数配置内存的总和 + 256M(其他小块内存)

问题：VIRT超过RES十几个G

如下图所示，yasdb满负荷运行后，0任务跑的情况下，virt内存:31.2g，实际内存:21.7g，虚拟内存比实际内存大了10g左右，虚拟内存远大于实际使用内存。

YASDB内存使用情况

yasdb参数配置，如下图：

按照yasdb主要内存占用计算：

DATA_BUFFER_SIZE(18306M) + VM_BUFFER_SIZE(2382M) + SHARE_POOL_SIZE(512M) + LARGE_POOL_SIZE(1G) + SCOL_DATA_BUFFER_SIZE(128M) + COLUMNAR_VM_BUFFER_SIZE (128M) = 22480M(21.95g)

RES 21.7g的内存使用和yasdb内存总占用数相符合。

VIRT内存为什么远远大于RES

VIRT：SWAP+RES（虚拟内存大小，包括进程使用的库、代码、数据等，如果申请100M，则增加100M大小）

RES：进程使用的，未被换出的物理内存（包括共享内存大小，如果申请100M，使用10M，则实际为10M）

mmap查看yasdb使用情况

如下图：

strace -f -e "brk,mmap,munmap" -p 2051595

yasdb没有使用mmap等映射接口。

pmap工具，查看进程内存映射信息

pmap命令用于报告进程的内存映射关系(查看进程的内存映像信息)

选项：

-x, --extended：显示扩展格式
-d, --device：显示设备格式
-X：显示比 -x 选项更多的详细信息。注意：格式根据 /proc/PID/smaps 更改
-p, --show-path：在映射列中显示文件的完整路径
-h, --help：显示帮助信息并退出
-V, --version：显示版本信息并退出

扩展格式和设备格式域：

Address: start address of map 映像起始地址
Kbytes: size of map in kilobytes 映像大小
RSS: resident set size in kilobytes 驻留集大小
Dirty: dirty pages (both shared and private) in kilobytes 脏页大小
Mode: permissions on map 映像权限: r=read, w=write, x=execute, s=shared, p=private (copy on write)
Mapping: file backing the map , or ‘[ anon ]’ for allocated memory, or ‘[ stack ]’ for the program stack. 映像支持文件,[anon]为已分配内存 [stack]为程序堆栈
Offset: offset into the file 文件偏移
Device: device name (major:minor) 设备名

pmap -d ${pid}

glibc分配内存机制

导致这种问题的原因是使用glibc的Arena内存池分配了大量的虚拟内存。
glibc大于2.1.1版本时，在glibc分配内存的时候，大内存从从中央分配区分配，小内存则在线程创建时，从缓存区分配。
为了解决分配内存的性能的问题，就引入了这个叫做arena的memory pool。而恰好，在64bit系统下面，它的缺省配置为64M。
一个进程可以最多有cores 8个arena，假如服务器是4核的，那么最多有4 8=32个arena，也就是32 * 64 = 2048M内存

参考文档：

[
](https://www.cnblogs.com/sky-h...)

https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/6.0_release_notes/compiler

glibc版本：

内核数 cores：

MALLOC_ARENA_MAX：

环境变量，控制arena内存池个数。

查看状态：

cat /proc/pid/status

测试arena内存池代码程序：

#include <string.h>
#include <stdlib.h>
#include <stdio.h>
#include <stdbool.h>
#include <pthread.h>
 
bool kill_th = false;
 
void *th_func(void *arg){

        int s = 0;
        //int size = 1024*1024*139;
        int size2 = 1024;
        //char *pbuf;
        while(!kill_th){
                if(s == 0){
                   //pbuf = (char *)malloc(size);
                  // free(pbuf);
 
                   char *pbuf2 = (char *)malloc(size2);
                   free(pbuf2);
                   s = 1;
                }
 
                sleep(1);
        }
        //free(pbuf);
}
 
void create_thread(){
    pthread_t tid;
    int nums = 256;
    for(int i = 0; i< nums;i++){
        pthread_create(&tid,NULL,th_func,NULL);
        pthread_detach(tid);
    }
         
    while(getchar()){
        kill_th = true;
        getchar();
        break;
    }
    return ;
}
 
int main(int argc,const char **argv) {
    create_thread();
    return 0;
}

超过64M大小的空间不从arena内存池申请。

编译：gcc test.c -lpthread