测试专题系列

单元测试

test-00-测试知识系统学习,如何设计一个测试框架?

test-01-java 单元测试框架 junit 入门介绍

test-02-java 单元测试框架 junit5 入门介绍

test-03-java 单元测试框架 testNG 入门介绍

junit5 系列

基于 junit5 实现 junitperf 源码分析

Auto generate mock data for java test.(便于 Java 测试自动生成对象信息)

Junit performance rely on junit5 and jdk8+.(java 性能测试框架。性能测试。压测。测试报告生成。)

断言

test assert-00-单元测试中的断言

test assert-01-Google Truth 断言

test assert-02-power-assert-js 断言

test assert-03-assertj AssertJ - Fluent Assertions for Java 断言

test assert-04-Java (and original) version of Hamcrest 断言

测试用例生成

test-01-test case generate 单元测试用例代码生成

test-02-test case generate 测试用例生成 EvoSuite 介绍

test-03-test case generate 测试用例生成 Randoop 介绍

test-03-test case generate 测试用例生成 Randoop 快速开始入门例子

test-04-test case generate 测试用例生成 tcases A model-based test case generator

test-04-test case generate 测试用例生成 tcases 快速开始

MOCK

test mock-01-什么是 mock? Mockito/EasyMock/PowerMock/JMockit/Spock mock 框架对比

test mock-02-easymock 入门介绍

test mock-03-wiremock 模拟 HTTP 服务的开源工具 flexible and open source API mocking

test mock-04-hoverfly Easy Creation of Stub Http Servers for Testing

test mock-05-mockserver mock-server/hoverfly/wiremock 对比

test mock-06-mountebank Over the wire test doubles mock-server/hoverfly/wiremock/mountbank 对比表格

ui 测试

test ui-01-UI 页面测试概览 overview

test ui-01-UI 测试组件之 Selenium 入门介绍

test ui-02-UI 测试组件之 Appium 入门介绍

test ui-03-cypress 入门介绍

test ui-04-testcomplete 入门介绍

性能测试

test perf-01-性能测试之 JMeter

test perf-02-性能测试之 LoadRunner

test perf-03-性能测试之 Gatling

test perf-04-性能测试之 locust

格局

不要拘泥于语言、软件,可以推广到硬件。

不要拘泥于软件、硬件,可以推广到一切的产品。

功能、性能、极端压测

核心

测试最本质的工作:编写测试用例,验证程序的功能正确性。

所以整个测试平台应该围绕着这个核心,进行增强核监控等。

面向客户:可以是产、研、测

核心模块

test framework

assert

mock

性能perf: jmeter

UI 测试

DBUnit

覆盖率:jacoco

变异测试

fuzz testing

属性测试

gen-symbol-exec

gen-case

对应的代码生成插件: maven/idea junit/jmockit plugins


包依赖分析

链路分析: 应用内链路 + 应用间链路

接口文档 + 文档

一体化测试平台

开源

造数:data-factory

性能测试报告

系统的知识

每个人都接触过测试,单是测试的水其实很深,很难把握得住。

单元测试:junit/junit5/testNG。乃至于不拘泥于 java 语言的。

集成测试:可以一个请求触发 http/rpc/dubbo/schdule 等触发方式,触发一个全链路的测试用例。

性能测试:可以对一个接口进行压力测试,对一个接口进行并发测试,对一个接口进行吞吐量测试。

安全测试:可以对一个接口进行安全测试,对一个接口进行安全性测试。

功能测试:可以对一个接口进行功能测试,对一个接口进行功能性测试。

UI 测试:可以对前端页面录制回放+组件触发回溯?

功能

用例生成:基于模版 + idea 插件等方式生成,乃至于 AI

造数平台:可以按照一定规则,或者用户的自定义,生成测试数据

覆盖率:基于 jacoco 比较成熟的方式

MOCK:需要模拟返回测试数据 + 比如 chaosBlade

链路分析:每一次代码修改,造成的变化。影响的链路。

接口文档:基于 rpc/http 等协议的请求接口文档维护

常用插件:其他各种插件能力。

跨应用的联动

效能分析:测试用例和具体的任务分配流转结合。

QA:功能和质量,比如结合 sonar 等质量扫描工具

依赖包分析:一个 java 项目依赖了哪些包版本?是否存在类冲突?是否存在 snapshot?

代码仓库:代码仓库的联动

文档管理:文档的设计 + 测试用例等彻底的打通

安全平台:应用网络拓扑是否合理?是否依赖不安全的 jar?是否存在 DB/日志 等敏感数据?

chat

详细介绍一下集成测试?

集成测试是软件测试的一种阶段,其目标是验证系统的不同组件在联合工作时是否正常。

在软件开发生命周期的阶段中,集成测试通常位于单元测试之后,系统测试之前。

它专注于测试不同模块、组件或子系统的交互和整体性能,确保它们协同工作以满足系统设计和需求。

以下是集成测试的一些关键特点和步骤:

特点:

  1. 测试范围: 集成测试的主要焦点是测试系统的集成部分,而不是独立的单元。这包括测试模块、类、子系统或服务之间的交互。

  2. 交互测试: 集成测试侧重于验证系统组件之间的交互是否正确。这包括接口测试、数据流测试、调用关系测试等。

  3. 整合环境: 集成测试通常在模拟或使用类似于生产环境的整合测试环境中进行。这确保了测试可以在实际部署的条件下进行。

  4. 模块联合: 在集成测试中,模块或组件通常是联合在一起进行测试的,而不是独立测试。

  5. 故障定位: 集成测试有助于发现和定位系统级别的缺陷,如接口问题、数据传递问题、调用顺序问题等。

步骤:

  1. 制定集成测试计划:
    • 确定集成测试的范围、测试目标、测试环境和资源需求。定义测试计划以指导整个集成测试过程。
  2. 设计集成测试用例:
    • 基于系统设计和需求,设计测试用例来验证系统组件之间的正确交互。考虑各种场景,包括正常操作和异常情况。
  3. 准备测试数据:
    • 准备测试数据,确保系统在集成测试期间有足够的输入来测试各种情况。
  4. 配置测试环境:
    • 配置集成测试环境,包括设置模拟生产环境所需的硬件、软件和网络条件。确保测试环境与实际部署环境相似。
  5. 执行测试用例:
    • 执行设计好的集成测试用例,确保系统的各个组件在集成环境中能够正确协同工作。
  6. 收集和分析结果:
    • 收集测试结果,并分析是否符合预期。定位和报告任何发现的缺陷或问题。
  7. 修复和重新测试:
    • 针对发现的问题进行修复,然后重新执行集成测试,确保修复不引入新的问题。
  8. 验证系统性能:
    • 在集成测试的过程中,也可以验证系统的性能,包括响应时间、吞吐量、并发性等方面。
  9. 记录和报告:
    • 记录集成测试的执行过程、结果和发现的问题。生成测试报告,以便开发人员和其他相关团队了解系统的集成情况。

集成测试是确保软件系统各个组件协同工作的关键步骤,它有助于发现在组件之间交互时可能存在的问题,并提高整体系统的质量和稳定性。

java 测试的话,通常包含哪些领域的知识?

在进行Java测试时,通常需要涉及以下几个领域的知识:

  1. 测试框架:
    • 了解并熟练使用常见的Java测试框架,如JUnit、JUnit 5、TestNG等。这包括框架的基本概念、注解、断言、测试生命周期等方面的知识。
  2. 单元测试:
    • 掌握编写和执行单元测试的基本原则和技巧。理解单元测试的概念、目的,以及如何通过模拟和桩(mocking and stubbing)来隔离被测试的单元。
  3. 集成测试:
    • 了解集成测试的概念,包括测试不同模块或组件之间的集成。熟悉集成测试的工具和技术,确保系统的不同部分可以协同工作。
  4. 功能测试:
    • 理解功能测试的概念,包括测试应用程序的整体功能和用户交互。了解如何设计和执行功能测试用例,以确保应用程序符合预期的业务需求。
  5. 自动化测试:
    • 学习如何编写和维护自动化测试脚本,使用自动化测试工具(如Selenium、Appium等)进行Web、移动应用和接口的自动化测试。了解自动化测试的最佳实践和模式。
  6. 性能测试:
    • 了解性能测试的概念,包括压力测试、负载测试和性能基准测试。学习使用性能测试工具(如JMeter、Gatling等)来评估应用程序在不同负载下的性能表现。
  7. 数据库测试:
    • 熟悉数据库测试的基本原理,包括编写SQL查询、验证数据完整性、事务处理等。了解如何使用工具(如DbUnit)进行数据库单元测试。
  8. 安全性测试:
    • 了解安全性测试的基本原则,包括识别和防范常见的安全漏洞。学习使用安全性测试工具(如OWASP ZAP)来评估应用程序的安全性。
  9. 持续集成和持续交付:
    • 了解持续集成(CI)和持续交付(CD)的概念,包括使用CI/CD工具(如Jenkins、Travis CI等)进行自动化构建、测试和部署。
  10. 软件开发生命周期:
    • 理解软件开发生命周期,包括需求分析、设计、编码、测试、部署和维护等阶段。了解在每个阶段如何进行有效的测试。
  11. 版本控制系统:
    • 熟悉版本控制系统(如Git),了解如何协作进行代码管理、合并和分支。
  12. 问题跟踪和管理:
    • 了解问题跟踪和管理工具(如Jira、Bugzilla等),学习如何报告、跟踪和解决软件缺陷。
  13. Linux/Unix基础:
    • 了解基本的Linux/Unix命令,因为在部署和运行测试时可能会涉及到命令行操作。
  14. 编程语言和开发技能:
    • 对于Java测试,深入了解Java编程语言,包括面向对象编程(OOP)原则和Java API。熟悉被测试应用程序的代码,以便更好地编写测试用例和识别潜在的问题。

这些领域的知识可以帮助测试人员更全面、有效地执行测试任务,确保软件质量和可靠性。

详细展开说一下 模拟和桩(mocking and stubbing)

模拟(Mocking)和桩(Stubbing)是测试中常用的两个概念,用于隔离测试单元并模拟外部依赖的行为。它们通常用于单元测试,以确保在测试过程中对被测单元的依赖进行控制,使测试更加可控和可靠。

模拟(Mocking):

模拟是一种用于替代真实对象的行为的技术,以模拟外部依赖的行为。在测试中,有时候我们希望控制和验证与外部组件的交互,而不是依赖真实的组件。模拟对象可以模拟外部依赖的行为,使测试更加独立和可控。

使用场景:

  1. 外部服务调用: 当被测单元涉及调用外部服务(如数据库、Web服务)时,可以使用模拟来模拟这些服务的响应,而不是依赖实际服务。
  2. 复杂对象: 当被测单元需要与复杂对象进行交互时,可以使用模拟对象来简化对象的行为,使测试更容易编写和维护。

例子:

假设有一个服务类 PaymentService,它依赖于一个外部的支付网关。在测试中,我们可以使用模拟对象来模拟支付网关的行为,而不是实际调用真实的支付网关服务。

public class PaymentService {

    private PaymentGateway paymentGateway;

    public PaymentService(PaymentGateway paymentGateway) {
        this.paymentGateway = paymentGateway;
    }

    public boolean processPayment(double amount) {
        // 实际的支付处理逻辑
        // 调用外部支付网关
        return paymentGateway.charge(amount);
    }
}

在测试中,可以使用模拟对象替代 PaymentGateway 的实际实现:

import org.mockito.Mockito;

public class PaymentServiceTest {

    @Test
    public void testProcessPayment() {
        // 创建一个 PaymentGateway 的模拟对象
        PaymentGateway mockPaymentGateway = Mockito.mock(PaymentGateway.class);
        
        // 设置模拟对象的行为
        Mockito.when(mockPaymentGateway.charge(100.0)).thenReturn(true);

        // 使用模拟对象进行测试
        PaymentService paymentService = new PaymentService(mockPaymentGateway);
        boolean result = paymentService.processPayment(100.0);

        // 验证结果
        assertTrue(result);
        
        // 验证模拟对象的方法是否被调用
        Mockito.verify(mockPaymentGateway).charge(100.0);
    }
}

桩(Stubbing):

桩是一种用于提供预定行为的技术,以模拟外部依赖的输出。

桩用于模拟外部依赖的返回值,确保测试单元对于这些返回值的处理是正确的。

桩对象通常用于模拟方法的返回值。

使用场景:

  1. 模拟方法的返回值: 当被测单元调用某个方法,并且该方法的返回值对于测试是重要的时候,可以使用桩对象提供预定的返回值。
  2. 异常处理: 可以使用桩来模拟外部依赖抛出的异常,以测试被测单元对异常的处理是否正确。

例子:

假设有一个服务类 AccountService,它依赖于一个外部的账户数据库。

在测试中,我们可以使用桩对象来模拟账户数据库的返回值,以确保 AccountService 对于不同情况的返回值正确处理。

public class AccountService {

    private AccountDatabase accountDatabase;

    public AccountService(AccountDatabase accountDatabase) {
        this.accountDatabase = accountDatabase;
    }

    public double getAccountBalance(String accountId) {
        // 实际的获取账户余额逻辑
        return accountDatabase.getAccountBalance(accountId);
    }
}

在测试中,可以使用桩对象来模拟 AccountDatabase 的行为:

import org.mockito.Mockito;

public class AccountServiceTest {

    @Test
    public void testGetAccountBalance() {
        // 创建一个 AccountDatabase 的桩对象
        AccountDatabase stubAccountDatabase = Mockito.mock(AccountDatabase.class);
        
        // 设置桩对象的行为
        Mockito.when(stubAccountDatabase.getAccountBalance("123")).thenReturn(100.0);

        // 使用桩对象进行测试
        AccountService accountService = new AccountService(stubAccountDatabase);
        double balance = accountService.getAccountBalance("123");

        // 验证结果
        assertEquals(100.0, balance, 0.01);
        
        // 验证桩对象的方法是否被调用
        Mockito.verify(stubAccountDatabase).getAccountBalance("123");
    }
}

总的来说,模拟和桩是在单元测试中非常有用的技术,它们使得测试更加独立、可控,并且有助于隔离测试单元,确保测试的可靠性。

模拟和桩有什么区别吗?感觉差不多

虽然模拟(Mocking)和桩(Stubbing)在测试中经常一起使用,它们都是用于隔离测试单元和模拟外部依赖的概念,但它们在目的和应用上有一些区别。

模拟(Mocking):

模拟是一种用于替代真实对象的行为的技术,目的是捕获对模拟对象的调用并允许验证这些调用。在模拟中,我们关心的是测试单元与外部依赖的交互。通过模拟对象,我们可以:

  1. 验证方法调用: 我们可以验证测试单元是否正确地调用了外部依赖的方法,以及方法调用的次数等信息。
  2. 捕获参数: 我们可以捕获测试单元传递给外部依赖的参数,以便进行验证或进一步处理。

桩(Stubbing):

桩是一种用于提供预定行为的技术,目的是模拟外部依赖的输出。在桩中,我们关心的是测试单元对于外部依赖返回值的处理。通过桩对象,我们可以:

  1. 模拟返回值: 我们可以为外部依赖的方法提供预定的返回值,以模拟不同的场景和条件。
  2. 模拟异常: 我们可以模拟外部依赖抛出的异常,以测试测试单元对于异常的处理是否正确。

区别总结:

  1. 关注点不同: 模拟主要关注于验证测试单元与外部依赖之间的交互行为,而桩主要关注于模拟外部依赖的返回值或异常,以确保测试单元对于这些情况的处理是正确的。

  2. 使用场景: 模拟通常用于检查调用和交互,而桩通常用于模拟返回值和异常。

  3. 验证方式: 模拟可以用于验证方法是否被调用,而桩更关注于提供预定的行为。

虽然在实践中这两者常常一同使用,但了解它们的区别有助于更好地理解在测试中如何使用这些概念。

在某些情况下,一个对象可能既充当模拟又充当桩,具体取决于测试场景和需求。

如果要设计一个测试一体化平台,你觉得要包含哪些功能?越多越好

设计一个全面的测试一体化平台需要考虑多个方面,以确保支持各种测试活动,并提高整体的测试效率和质量。

以下是一些可能包含的功能,越多越好,具体取决于平台的使用场景和需求:

1. 自动化测试支持:

  • 脚本化工具集成: 集成各种自动化测试框架(如Selenium、Appium、JUnit、TestNG)以支持不同类型的自动化测试。
  • 脚本编辑器: 提供一个友好的脚本编辑器,支持多种脚本语言,如Java、Python、JavaScript等。
  • 测试脚本管理: 管理和组织测试脚本,支持版本控制和协作。

2. 测试管理和计划:

  • 测试用例管理: 提供一个测试用例管理系统,支持创建、编辑和组织测试用例。
  • 测试计划和进度: 创建测试计划,跟踪测试进度,记录测试结果。
  • 测试数据管理: 管理测试中使用的测试数据,支持数据驱动测试。

3. 执行和监控:

  • 并发执行: 支持并发执行测试,提高测试效率。
  • 实时监控: 实时监控测试执行,提供详细的执行日志和结果。
  • 执行报告: 自动生成详细的测试执行报告,包括成功、失败和跳过的测试用例。

4. 自动化部署和配置:

  • 自动化部署环境: 提供自动化部署和配置测试环境的工具。
  • 虚拟化技术: 集成虚拟化技术,支持创建和管理测试环境的快照。

5. 集成和扩展性:

  • 第三方工具集成: 集成其他开发和测试工具,如版本控制系统、CI/CD工具、缺陷跟踪系统等。
  • 插件支持: 提供插件机制,支持用户自定义插件和扩展。

6. 性能和负载测试:

  • 性能测试工具: 集成性能测试工具,如JMeter、LoadRunner等。
  • 分布式负载测试: 支持分布式负载测试,模拟真实的用户负载。

7. 安全性测试:

  • 集成安全性测试工具: 集成安全性测试工具,如OWASP ZAP、Burp Suite等。
  • 自动化安全扫描: 提供自动化的安全性扫描工具。

8. 持续集成和部署:

  • CI/CD集成: 集成CI/CD工具,自动触发测试和部署流程。
  • 自动化回归测试: 在CI/CD流程中自动执行回归测试。

9. 协作和通信:

  • 团队协作: 提供团队协作工具,支持多人协同开发和测试。
  • 实时通知: 实时通知团队成员关于测试进度、执行结果和缺陷。

10. 报告和分析:

  • 测试指标和报告: 提供测试指标和报告,帮助团队分析测试覆盖率、通过率、失败率等。
  • 趋势分析: 支持测试趋势分析,帮助发现潜在的问题和改进测试策略。

11. 容器化支持:

  • Docker/Kubernetes支持: 集成Docker和Kubernetes,支持容器化测试环境的管理。

12. 教育和培训:

  • 学习资源: 提供学习资源,如文档、教程、培训视频等,帮助用户更好地使用平台。

13. 用户权限和访问控制:

  • 权限管理: 支持细粒度的用户权限管理,确保敏感信息的安全性。

14. 多语言支持:

  • 多语言界面: 提供多语言的用户界面,适应不同地区和语言的用户。

15. 智能化和AI:

  • 自动化测试优化: 利用AI技术优化测试用例、识别测试瓶颈、自动修复简单缺陷等。

这只是一个广泛的列表,具体的需求取决于组织的测试策略、开发流程和项目的特定要求。

设计一个测试一体化平台需要仔细考虑各种因素,确保平台能够满足团队和项目的需求。

有没有比较优秀的测试一体化开源平台,详细介绍一下

有许多优秀的测试一体化开源平台,它们提供了丰富的功能和工具,支持各种测试类型。

以下是一些常用的开源测试一体化平台,每个平台都有其独特的特点和优势:

  1. Jenkins:
    • 特点: Jenkins 是一个流行的开源CI/CD平台,支持构建、测试和部署各种类型的项目。
    • 功能: Jenkins通过插件机制支持与各种测试框架和工具的集成,包括JUnit、TestNG、Selenium等。它提供了丰富的构建和部署选项,并支持分布式构建和并发执行测试。
  2. Travis CI:
    • 特点: Travis CI 是一个基于云的CI/CD服务,专注于为GitHub仓库提供持续集成。
    • 功能: Travis CI支持Java、Python、JavaScript等多种语言,具有易用的配置和快速的构建执行。它可以轻松集成各种测试框架,并提供了直观的构建和测试结果展示。
  3. GitLab CI/CD:
    • 特点: GitLab CI/CD是GitLab版本控制系统的一部分,提供了内置的CI/CD功能。
    • 功能: GitLab CI/CD支持与GitLab仓库的深度集成,具有易用的CI/CD配置文件(.gitlab-ci.yml)。它支持多个并行和顺序执行阶段,以及与各种测试框架的集成。
  4. TestLink:
    • 特点: TestLink是一个用于测试用例管理的开源工具,支持测试计划和测试报告。
    • 功能: TestLink提供了一个中心化的测试用例库,可以轻松组织、管理和执行测试用例。它与许多测试执行工具和框架(如Selenium、JUnit)集成,同时支持生成测试报告和统计数据。
  5. TestRail:
    • 特点: TestRail是一个基于Web的测试管理工具,旨在帮助团队组织、跟踪和管理测试活动。
    • 功能: TestRail支持测试计划、测试用例管理,以及执行测试并生成报告。它提供了丰富的仪表板和图表,用于跟踪测试进度和结果。TestRail还具有与许多测试工具和框架的集成能力。
  6. Selenium Grid:
    • 特点: Selenium Grid是Selenium测试工具的一部分,用于在多个浏览器和操作系统上并发运行测试。
    • 功能: Selenium Grid支持并行测试,可以在不同的环境中同时执行测试用例。它通过Hub和Node的架构实现分布式测试,方便对大规模测试进行管理。
  7. Allure Test Framework:
    • 特点: Allure是一个开源的测试报告框架,支持多种测试框架和语言。
    • 功能: Allure生成详细而美观的测试报告,包括测试用例执行结果、截图、日志等信息。它支持与JUnit、TestNG、Cucumber等测试框架的集成,并提供了Web界面和历史数据的展示。

软件的全生命周期

业务线=》需求分析=》设计=》编码=》测试=》部署=》维护=》运营等阶段

总的来说,我们可以打造一个大的门户网站:

一站式开发全生命周期,包含所有的生命周期。

小结

如果我们要打造一个测试平台,需要提供哪些能力?

有哪些成熟的平台可以学习?

可以在开源的基础上二次开发吗?