【Java教程】聊聊如何利用Testcontainers进行集成测试

2024 年 6 月 11 日14:42:48Java教程评论99字数 8919阅读29分43秒阅读模式2024 年 6 月 11 日

前言

1、何为Testcontainers？

Testcontainers是一个库，它为引导本地开发和测试依赖关系提供了简单而轻量级的API，并将真实的服务封装在Docker容器中。使用Testcontainers，您可以编写依赖于您在生产中使用的相同服务的测试，而不需要mock或内存服务。文章源自灵鲨社区-https://www.0s52.com/bcjc/javajc/15737.html

用比较直白的话就是testcontainers 能够让你实现通过编程语言去启动Docker容器，并在程序测试结束后，自动关闭容器文章源自灵鲨社区-https://www.0s52.com/bcjc/javajc/15737.html

2、Testcontainers有哪些优势？文章源自灵鲨社区-https://www.0s52.com/bcjc/javajc/15737.html

每个Test Group都能像写单元测试那样细粒度地写集成测试，保证每个集成单元的高测试覆盖率。
Test Group间是做到依赖隔离的，也就是说它们不共享任何一个Docker容器。
保证了生产环境和测试环境的一致性，代码部署到线上时不会遇到因为依赖服务接口不兼容而导致的bug 。
Test Group可以并行化运行，减少整体测试运行时间。相比较有些 in-memory的依赖服务实现没有实现很好的资源隔离，比如端口，一旦并行化运行就会出现端口冲突。
得益于Docker，所有测试都可以在本地环境和 CI/CD环境中运行，测试代码调试和编写就如同写单元测试。
支持市面上主流的语言以及平台，比如java、go、python等

3、使用Testcontainers有哪些注意点文章源自灵鲨社区-https://www.0s52.com/bcjc/javajc/15737.html

Testcontainers基于Docker，所以使用Testcontainers前需要依赖Docker环境。
Testcontainers 提供的环境不能应用于生产环境、只能用于测试环境等场景

4、Testcontainers连接docker的策略文章源自灵鲨社区-https://www.0s52.com/bcjc/javajc/15737.html

复制代码

Testcontainers在运行时将会尝试按如下顺序使用以下策略连接到 Docker 守护程序：

环境变量： – DOCKER_HOST – DOCKER_TLS_VERIFY – DOCKER_CERT_PATH文章源自灵鲨社区-https://www.0s52.com/bcjc/javajc/15737.html

每个变量的作用：文章源自灵鲨社区-https://www.0s52.com/bcjc/javajc/15737.html

DOCKER_HOST to set the url to the docker server.
DOCKER_CERT_PATH to load the tls certificates from.
UseDOCKER_TLS_VERIFY to enable or disable TLS verification.

默认值 – DOCKER_HOST=https://localhost:2376 – DOCKER_TLS_VERIFY=1 – DOCKER_CERT_PATH=~/.docker文章源自灵鲨社区-https://www.0s52.com/bcjc/javajc/15737.html

我们可以通过环境变量修改以上值，示例文章源自灵鲨社区-https://www.0s52.com/bcjc/javajc/15737.html

java

复制代码

System.setProperty("DOCKER_HOST","tcp://192.168.0.1:2375")

注：通过程序修改，我们必须确保System.setProperty，在Testcontainers启动容器之前就已经设置，否则无法生效文章源自灵鲨社区-https://www.0s52.com/bcjc/javajc/15737.html

以上内容可以在官网java.testcontainers.org/supported_d…查到更详细的介绍

下面就以Testcontainers集成redis，并通过junit5进行单元测试为例进行演示

示例

1、项目中pom引入junit5 gav

xml

复制代码

 <properties>
        <junit-platform.version>1.9.2</junit-platform.version>
        <junit-jupiter.version>5.9.2</junit-jupiter.version>
    </properties>

  <dependency>
            <groupId>org.junit.jupiter</groupId>
            <artifactId>junit-jupiter-engine</artifactId>
            <version>${junit-jupiter.version}</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.junit.jupiter</groupId>
            <artifactId>junit-jupiter-api</artifactId>
            <version>${junit-jupiter.version}</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.junit.vintage</groupId>
            <artifactId>junit-vintage-engine</artifactId>
            <version>${junit-jupiter.version}</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.junit.platform</groupId>
            <artifactId>junit-platform-commons</artifactId>
            <version>${junit-platform.version}</version>
            <scope>test</scope>
        </dependency>

注：如果使用高本版的springboot，则可以直接引入

xml

复制代码

<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
          <dependency>
            <groupId>org.junit.platform</groupId>
            <artifactId>junit-platform-commons</artifactId>
            <version>${junit-platform.version}</version>
            <scope>test</scope>
        </dependency>

即可

2、项目中pom引入testcontainers gav

xml

复制代码

<properties>     
<testcontainers.version>1.17.3</testcontainers.version>
    </properties>
  <dependency>
            <groupId>org.testcontainers</groupId>
            <artifactId>testcontainers</artifactId>
            <version>${testcontainers.version}</version>
        </dependency>
        <dependency>
            <groupId>org.testcontainers</groupId>
            <artifactId>junit-jupiter</artifactId>
            <version>${testcontainers.version}</version>
            <scope>test</scope>
        </dependency>

当然也需要引入redis客户端 gav，因为这个大家应该都知道，就不介绍了

3、在我们的单元测试中，让testcontainers运行redis容器

示例代码如下

java

复制代码

  @Container
    private static GenericContainer<?> redis = new GenericContainer<>(DockerImageName.parse("redis:6.2.6"))
            .withExposedPorts(6379);

上面的代码的意思是创建镜像为redis:6.2.6容器，并将6379端口暴露出来

同时在测试类上，需要添加@Testcontainers(disabledWithoutDocker = true) 注解

java

复制代码

@Testcontainers(disabledWithoutDocker = true)
public class RedisTest {
 @Container
    private static GenericContainer<?> redis = new GenericContainer<>(DockerImageName.parse("redis:6.2.6"))
            .withExposedPorts(6379);
}

4、将我们业务程序能和容器集成

java

复制代码

private Jedis jedis;

    @BeforeEach
    public void setUp() {

        int port = redis.getMappedPort(6379);
        jedis = new Jedis(redis.getHost(), port);
    }

5、运行单元测试

java

复制代码

@Testcontainers(disabledWithoutDocker = true)
public class RedisTest {

    @Container
    private static GenericContainer<?> redis = new GenericContainer<>(DockerImageName.parse("redis:6.2.6"))
            .withExposedPorts(6379);


    private Jedis jedis;

    @BeforeEach
    public void setUp() {

        int port = redis.getMappedPort(6379);
        jedis = new Jedis(redis.getHost(), port);
    }

    @AfterEach
    public void tearDown() {
        if (jedis != null) {
            jedis.close();
        }
    }

    @Test
    public void testRedisConnectionAndSetAndGet() {
        // 测试连接和简单存取
        String key = "testKey";
        String value = "testValue";

        jedis.set(key, value);
        String result = jedis.get(key);

        assert result.equals(value);
    }

我们可以先观察一下docker容器，可以发现redis容器已经成功运行【Java教程】聊聊如何利用Testcontainers进行集成测试再观察一下单元测试结果，和我们预期一样单元测试结束后，我们再看下容器发现容器已经销毁

上述的例子在官网也有详细教程，可以查看如下链接 java.testcontainers.org/quickstart/…

目前我们项目基本都是和springboot集成，接下来我们简单演示一下testcontainers、springboot、redis集成

完整例子如下

java

复制代码

@SpringBootTest(classes = TestcontainersApplication.class,webEnvironment = SpringBootTest.WebEnvironment.NONE)
@Testcontainers(disabledWithoutDocker = true)
public class RedisContainerByDynamicPropertySourceTest {

    @Autowired
    private StringRedisTemplate redisTemplate;

    @Container
    private static GenericContainer<?> redis = new GenericContainer<>(DockerImageName.parse("redis:6.2.6"))
            .withExposedPorts(6379);

//    @BeforeEach
//    public void setUp() {
//
//        System.setProperty("spring.redis.host", redis.getHost());
//        System.setProperty("spring.redis.port", redis.getMappedPort(6379).toString());
//    }

    /**
     * Spring TEST 5.2.5才引入DynamicPropertySource
     * @param registry
     */
    @DynamicPropertySource
    private static void registerRedisProperties(DynamicPropertyRegistry registry) {
        registry.add("spring.redis.host", redis::getHost);
        registry.add("spring.redis.port", () -> redis.getMappedPort(6379)
                .toString());
    }

    @Test
    public void testRedisConnectionAndSetAndGet() {
        // 测试连接和简单存取
        String key = "testKey";
        String value = "testValue";
        redisTemplate.opsForValue().set(key, value);
        String result = redisTemplate.opsForValue().get(key);

        assert Objects.equals(result, value);
    }
}

核心的代码是

java

复制代码

  @DynamicPropertySource
    private static void registerRedisProperties(DynamicPropertyRegistry registry) {
        registry.add("spring.redis.host", redis::getHost);
        registry.add("spring.redis.port", () -> redis.getMappedPort(6379)
                .toString());
    }

这个注解是spring5.2.5之后才有，当你事先不知道属性的值时，通过@DynamicPropertySource和DynamicPropertyRegistry 搭配可以实现动态属性绑定。详细介绍可以查看spring官网 docs.spring.io/spring-fram…

注：如果springboot版本比较低，则需要在项目pom引入如下gav，才能使用DynamicPropertySource

xml

复制代码

  <spring.version>5.2.15.RELEASE</spring.version>
  <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-test</artifactId>
            <version>${spring.version}</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-core</artifactId>
            <version>${spring.version}</version>
            <scope>test</scope>
        </dependency>

查看单元测试结果【Java教程】聊聊如何利用Testcontainers进行集成测试

在使用Testcontainers踩到的坑

注：因为我window没开启虚拟化，因此没法安装docker desktop。因此我的示例都是连接远程服务器进行测试

因为要连接到远程的docker服务器，因此需要开启2375端口。开启步骤如下

xml

复制代码

vim /usr/lib/systemd/system/docker.service
将默认的
ExecStart=/usr/bin/dockerd -H unix://var/run/docker.sock 

修改为如下

ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock -H tcp://0.0.0.0:2375

直接追加就行，很多网上都是写

xml

复制代码

ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix://var/run/docker.sock

这么写会报错。修改后，执行

xml

复制代码

 systemctl daemon-reload
 service docker restart

通过

xml

复制代码

ps -ef | grep docker

查看2375端口是否开启【Java教程】聊聊如何利用Testcontainers进行集成测试被挖过矿的朋友应该会知道，很多宿主机就是因为公网暴露2375端口，结果被当成矿机。因此可以通过ssh工具创建隧道，通过隧道访问。示例不过我这边也是因为通过隧道访问，导致后面非常繁琐

开始讲解坑点

坑一：Testcontainers无法连接到远程docker

一开始我是通过

java

复制代码

System.setProperty("DOCKER_HOST","tcp://192.168.0.1:2375")

进行设置，因为我设置的点比Testcontainers创建容器的时间晚，因此导致Testcontainers连接的是本地docker，因为我本地没安装docker，导致无法连接上。

我们可以通过在idea上设置【Java教程】聊聊如何利用Testcontainers进行集成测试不过有个博主更厉害，他直接通过代码修改。修改代码内容如下

注：项目的pom需引入如下GAV

xml

复制代码

<dependency>
            <groupId>com.github.docker-java</groupId>
            <artifactId>docker-java</artifactId>
            <version>3.2.13</version>
        </dependency>

java

复制代码

/**
 * testContainer的docker自定义连接策略
 */
@Slf4j
public class MyDockerClientProviderStrategy extends DockerClientProviderStrategy {

    private final DockerClientConfig dockerClientConfig;

    private static final String DOCKER_HOST = "tcp://127.0.0.1:2375";

	/**
	* 初始化的时候配置dockerClientConfig，我们通过docker-java来连接docker
	*/
    public MyDockerClientProviderStrategy() {
        DefaultDockerClientConfig.Builder configBuilder = DefaultDockerClientConfig.createDefaultConfigBuilder();
        configBuilder.withDockerHost(DOCKER_HOST);
        //通过如下配置：关闭RYUK，解决Could not connect to Ryuk at localhost
        System.setProperty("TESTCONTAINERS_RYUK_DISABLED","true");
//		// 开启dockerTLS校验
//        configBuilder.withDockerTlsVerify(true);
//        // 密钥所在文件夹，换到你的项目目录中即可
//        configBuilder.withDockerCertPath("C:UsersAdministratorDesktopdocker");

        dockerClientConfig = configBuilder.build();
    }

	/**
	* 这里定义docker连接配置
	*/
    @Override
    public TransportConfig getTransportConfig() {
        return TransportConfig.builder()
                .dockerHost(dockerClientConfig.getDockerHost())
                .sslConfig(dockerClientConfig.getSSLConfig())
                .build();
    }

	/**
	* 对应上面第二个filter，固定返回true即可。
	*/
    @Override
    protected boolean isApplicable() {
        return true;
    }

    @Override
    public String getDescription() {
        return "my-custom-strategy";
    }
}

在src/main/resources创建META-INF/services/org.testcontainers.dockerclient.DockerClientProviderStrategy 文件内容如下

java

复制代码

com.github.lybgeek.testcontainers.MyDockerClientProviderStrategy

其实就spi机制。那个博主的文章内容如下，感兴趣的朋友可以看看 blog.csdn.net/LHFFFFF/art…

坑二：Could not connect to Ryuk at localhost

我也不懂这个是啥，通过官方的issue github.com/testcontain… 设置

java

复制代码

TESTCONTAINERS_RYUK_DISABLED=true

禁用RYUK 【Java教程】聊聊如何利用Testcontainers进行集成测试关了貌似也没啥影响

坑三：Timed out waiting for container port to open (localhost ports: [] should be listening)

一开始我是通过隧道访问，后面发现每次启动，testcontainer创建的容器端口会变。示例

【Java教程】聊聊如何利用Testcontainers进行集成测试比如是端口32788，再启动会变成32789。后面我就设置一段随机端口的安全组，比如允许30000-40000端口段可以访问。于是问题就暂时解决

历史上的今天

6 月

【Java教程】聊聊如何利用Testcontainers进行集成测试

前言

示例

在使用Testcontainers踩到的坑

历史上的今天

Excel Export 踩坑注意点+导出方案设计

Spring Boot集成canal快速入门demo

Java 8 中 20 个高频面试题及答案

通过 GraalVM 将 Java 程序编译成本地机器码后，效率能和rust比吗？

常见的分布式ID解决方案

reduce规约：深入理解java8中的规约reduce

深入剖析Java继承机制：父类与子类的加载与初始化顺序

传输对象模式（Data Transfer Object Pattern）：电商平台商品信息传输实战案例分析

一文理解RSA算法

使用ThreadLocal存储用户登录信息

加载中...

发表评论

热门搜索

前言

示例

在使用Testcontainers踩到的坑

历史上的今天

发表评论