代码之家 › 专栏 › 技术社区 › vinni_f

并行运行多个flyway迁移的最佳策略

flyway

vinni_f · 技术社区 · 7 年前

我想在一个mysql实例上运行的遗留系统上升级多个模式。

在开发中,我使用一个简单的bash循环来启动 flyway migrate 对于每个模式:

schemas=$(echo "SET SESSION group_concat_max_len=8192; select GROUP_CONCAT(SCHEMA_NAME SEPARATOR ' ') from information_schema.SCHEMATA where SCHEMA_NAME like 'FOO_%'" | mysql -h$DB_URL -P$DB_PORT -u$DB_USER -p$DB_PASSWORD -sN)
for schema in $schemas; do
    echo "Starting Migration for :  $schema"
    flyway -configFile=src/flyway.conf -user=$DB_USER -password=$DB_PASSWORD -url="jdbc:mysql://$DB_URL:$DB_PORT" -schemas=$schema -locations=filesystem:src/schema/ migrate 2>&1 | tee $schema.log &
done

这个策略在开发中运行得很好。在生产中,我很快将运行 flyway迁移

在您看来,在不增加ram的情况下,尽快实现数据库迁移的最佳方法是什么?

1 回复 | 直到 7 年前

Hamish Carpenter 6 年前

看起来需要限制并行运行的进程数。目前,您将运行与模式一样多的进程,在prod中,您有100个进程,因此会耗尽所有ram。实现这一点的方法有很多,包括 pexec parallel 甚至 xargs . 我假设你可以访问 参数代换

mklement0 great answer 通过示例介绍如何将xargs与-P选项一起使用:

    -P, --max-procs=MAX-PROCS    Run up to max-procs processes at a time

编辑:在使用-P进行实验后使用示例进行更新。

此命令演示-P:

echo -e "a\nb\nc\nd\n" | xargs -i -P 2 sh -c 'touch {}.log; sleep 3;'
ls --full-time

$(echo "SET SESSION group_concat_max_len=8192; select GROUP_CONCAT(SCHEMA_NAME SEPARATOR ' ') from information_schema.SCHEMATA where SCHEMA_NAME like 'FOO_%'" | mysql -h$DB_URL -P$DB_PORT -u$DB_USER -p$DB_PASSWORD -sN) | xargs -i -P 10 sh -c 'echo "Starting Migration for :  {}"; flyway -configFile=src/flyway.conf -user=$DB_USER -password=$DB_PASSWORD -url="jdbc:mysql://$DB_URL:$DB_PORT" -schemas={} -locations=filesystem:src/schema/ migrate 2>&1 | tee {}.log'

推荐文章

Zomono · 未使用Spring Boot执行Flyway脚本

6 年前

Tymur Berezhnoi · FlyWay迁移策略

6 年前

Aliaksei · FlyWay版本

7 年前

L42 · 我应该如何构造这些gradle任务依赖关系?

7 年前

vinni_f · 并行运行多个flyway迁移的最佳策略

7 年前

p.purr · 使用Flyway和从Eclipse插件构建的RCP

7 年前

HSingh85 · Flyway Oracle部署

7 年前

Max N. · 设置新基线后更改飞行路线迁移文件

7 年前

Luke Xu · 新的Flyway迁移打破了现有的jOOQ生成的代码

8 年前

Seyyed Jamal · 如何控制飞行路线可重复脚本的执行顺序

8 年前