前言

首届YashanDB「迁移体验官」开放后，陆续收到「体验官」们的投稿，小崖在此把优秀的投稿文章分享给大家~今天分享的用户文章是《基于YMP工具实现Oracle迁移YashanDB》（作者：kawaa1），满满干货，不要错过！

号外！新的征文活动已开启，点击此处或戳一戳下方图片即可跳转活动链接，最高可获千元大奖！

1. YMP简介

1.1 YMP工具概述

崖山迁移平台（YashanDB Migration Platform，YMP）是YashanDB提供的数据库迁移产品，支持异构RDBMS与YashanDB之间进行迁移评估、离线迁移、数据校验的能力。YMP提供可视化服务，用户只需通过简单的界面操作，即可完成从评估到迁移整个流程的执行与监控，实现低门槛、低成本、高效率的异构数据库迁移。

1.2 YMP工具架构图

核心服务介绍：

对象评估：提供多源异构RDBMS与YashanDB之间对象兼容的评估能力。支持多种异构数据库源、SQL文件、XML文件作为输入源，提供SQL转换、DDL改写和SQL自动验证等功能。
元数据迁移：提供元数据迁移能力。支持对迁移范围的灵活选择，支持不同情景下的对象冲突策略选择，迁移前风险检查和实时展示迁移进度和对象级迁移结果。
数据迁移：提供表数据迁移能力。支持数据冲突处理选择，基于数据库原生高性能导入导出能力，采用多表并行、分表并行架构，实现原厂级高性能数据迁移。
数据校验：提供多源异构RDBMS与YashanDB之间的数据校验能力。包括全量校验和统计校验功能，满足迁移后数据一致性的强力支持。

1.3 YMP工具规格

2. 环境说明

3. YMP工具部署

3.1 安装前准备

3.1.1 下载安装包

YashanDB数据库软件和YMP迁移工具都可以在这个地址下载：

https://download.yashandb.com...

3.1.2 创建ymp操作系统用户

# useradd ymp
# passwd ymp

3.1.3 上传软件安装包并解压

## 上传YMP安装包到/home/ymp下并解压
# su - ymp
$ cd /home/ymp/
$ unzip yashan-migrate-platform-x86-64.zip

3.1.4 操作系统参数配置

## 注意：max user processes最大用户线程数不小于65535
## 执行执行如下命令将最大用户线程数写入/etc/security/limits.conf文件，重启后参数永久生效
echo "
 * soft nproc 65536
 * hard nproc 65536
 " >> /etc/security/limits.conf

3.1.4 关闭防火墙

## 关闭防火墙
# systemctl stop firewalld 

## 关闭开机自启
# systemctl disable firewalld

3.1.5 jdk环境配置

注意：YMP仅支持在JDK8或JDK11的环境下安装

## 以JDK安装路径为/usr/tools/jdk8为例
# vi /etc/profile

## 在文件结尾添加如下
export JAVA_HOME=/usr/tools/jdk8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

## 重新载入配置文件
# source /etc/profile

## 安装成功后查看JDK版本信息
# java -version

3.1.6 libaio依赖准备

## 确认是否已安装libaio动态库，已安装即可忽略
# rpm -qa | grep libaio

3.1.7 OCI环境准备

注意：迁移Oracle到YashanDB时，需提前安装oci环境，需要特别注意的是YMP现仅支持OCI Version 19.19.0.0.0及以上版本。

（下载来源：https://www.oracle.com/databa...）

## 修改安装包所属用户及用户组为ymp用户
# chown ymp:ymp instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip

## 从root用户切换至ymp用户
# su - ymp

## 切换至安装路径
$ cd /home/ymp

## 解压OCI安装包
$ unzip instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip

3.1.8 调整安装参数

ymp安装包解压后，可以根据具体环境更改配置文件，如服务端口、内置库字符集等。

## 内置库配置文件
$ vi /home/ymp/yashan-migrate-platform/conf/db.properties
YASDB_PASSWORD=ymppw602.
YASDB_PORT=8091
YASDB_CHARACTER_SET=UTF8 # 默认内置库字符集，还可选择ASCII, ISO88591, GBK

## YMP配置文件
$ vi /home/ymp/yashan-migrate-platform/conf/application.yml
server:
  port: 8090 # YMP启动占用的端口
...
spring:  
...
  datasource:
    schema: classpath:db/createTable.sql
    driverClassName: com.yashandb.jdbc.Driver
    url: jdbc:yasdb://127.0.0.1:8091/yashan # 评估数据库的JDBC URL，可以更换为自定义内置库，同时修改IP和端口号
    username: YMP_DEFAULT # 评估数据库要连接的schema名称
    password: ymppw602 # 评估数据库要连接的schema的密码
migration:
...
  parallel:
    query: 20 # 元迁移过程中源端、目标端查询视图连接数。在元迁移过程中会有分批量的查询的动作，需要开启多个查询连接并行查询。该参数配置元数据迁移的源端、目标端查询的并行线程数，决定了对数据库的查询最大连接数，默认20。
    execute: 20 # 元迁移过程中目标端执行创建连接数。在元迁移过程中会并行把对象在目标端的执行，以提升迁移效率。该参数配置元数据迁移的目标端DDL执行的并行线程数，决定了连接数据库的执行最大连接数，默认20。migration.parallel.query和migration.parallel.execute的连接总和，是最终迁移过程中所有的目标端数据库连接数。
    createIndexUseParallel: true # 创建索引是否使用并行参数，true/TRUE：使用；false/FALSE：不使用。
    index: 5 # 索引创建的并行度，需要考虑migration.parallel.execute。例：migration.parallel.execute：10，migration.parallel.index: 5，表示，同时10个连接在并行建索引，每个索引的并行度是5（CREATE INDEX XXX PARALLEL 5）。不填默认CPU核数。
checkTask:
  #  校验任务的配置
  datasource:
    max-connection: 500    #限制每个数据源支持的最大连接数
    connection-timeout: 300000  #单位: ms
    minimum-idle: 1
  logFile:
    path: ${ymp.home}/logs/ydc_log/
  task:
    parallel:
      max-num: 20        #校验任务的最大并行任务数
  subTask:
    parallel:
      max-num: 200        #校验任务的子任务的最大并行任务数, 即一个任务多少个表在同时校验
task:
  parallel:
    max-num: 500        #最大并行任务数, 依据自己的配置修改
commons:
  dataMigrateSpeed: 51200 # 预计数据迁移速度，Mb/s。修改会影响评估结果预计迁移时间的大小
  objMigrateSpeed: 200 # 预计对象迁移速度，number/s。修改会影响评估结果预计迁移时间的大小
shiro:
  session:
    timeout: 900 # 用户登录后空闲过期时间，单位秒（s），默认15分钟
...
assessment:
  ddlCount: 50 # 评估任务单个会话获取DDL的数量，如果Oracle性能较差，则需要降低该值
  maxThreadCount: 20 # 评估任务最多同时拥有的会话数，如果Oracle性能较差，则需要降低该值
isLscTable: false # 评估的目标库是否为LSC表，如果用默认内置库，则设置为默认内置库的属性，默认非LSC表会影响创建的表空间
setNoLogging: false # 数据迁移前是否将表设为nologging，默认为false
DEFAULT_TABLE_TYPE: HEAP
ymp_memory: 2 # YMP使用的最大内存，单位: GB
ymp_direct_memory: 4 # YMP使用的最大对外内存，单位: GB
export:
  csv:
    exportRowsEveryFile: 2000000
    isRemoveCsvFileInSuccess: true
  table:
    splitCount: 5
    splitConditionCount: 10000000
    splitConditionSize: 5
  lobTable:
    splitCount: 5 
    splitConditionCount: 1000000 
    splitConditionSize: 5 
...
import:
  degree_of_parallelism: 16
  batch_size: 2048
  mode: BATCH
schemaBlackList:   #系统schema过滤黑名单
  oracle: ANONYMOUS,APEX_030200,APEX_PUBLIC_USER,APPQOSSYS,BI,CTXSYS,DBSNMP,DIP,EXFSYS,FLOWS_FILES,HR,IX,MDDATA,MDSYS,MGMT_VIEW,OE,OLAPSYS,ORACLE_OCM,ORDDATA,ORDPLUGINS,ORDSYS,OUTLN,OWBSYS,OWBSYS_AUDIT,PM,SCOTT,SH,SI_INFORMTN_SCHEMA,SPATIAL_CSW_ADMIN_USR,SPATIAL_WFS_ADMIN_USR,SYS,SYSMAN,SYSTEM,WMSYS,XDB,XS$NULL
  mysql: information_schema,mysql,performance_schema,sys
  dm: SYS,SYSDBA,SYSSSO,SYSAUDITOR,CTISYS
ympVersion: v23.1.1.1
checkService:
  ip: 127.0.0.1
  port: 8090

3.2 执行安装

这里使用默认内置库进行安装，也可以用自定义创建库作为内置库。

## 执行安装命令，安装成功后服务会自动启动
$ cd /home/ymp/yashan-migrate-platform/
$ sh bin/ymp.sh install --db /data/db/yashandb-23.2.1.0-linux-x86_64.tar.gz

3.3 检查运行情况

[ymp@yashandb1-test bin]$ ./ymp.sh status
YMP is running, pid is 32275.
Built-in database is used, pid is 32125.

3.4 常见操作说明

## 查看版本信息
[ymp@yashandb1-test bin]$ ./ymp.sh -v
Yashan-migrate-platform version: Release v23.2.1.2
YashanDB SQL Personal Edition Release 23.2.1.100 x86_64
YashanDB Loader Personal Edition Release 23.2.1.100 x86_64 2d13f1d

## 启动ymp
 $ cd /home/ymp/yashan-migrate-platform/
 $ sh bin/ymp.sh start

## 停止ymp
 $ cd /home/ymp/yashan-migrate-platform/
 $ sh bin/ymp.sh stop

## 重启ymp
 $ cd /home/ymp/yashan-migrate-platform/
 $ sh bin/ymp.sh restart

## 卸载ymp
 $ cd /home/ymp/yashan-migrate-platform/
 $ sh bin/ymp.sh uninstall
 加上-f可以强制清理：
 $ sh bin/ymp.sh uninstall -f