一、Katalon平台概述

Katalon是一套完整的自动化测试解决方案,旨在满足现代软件团队对Web、移动应用、API和桌面应用测试的全方位需求。作为基于Selenium构建的一体化测试工具,它既降低了自动化测试的门槛,又提供了企业级项目所需的深度和灵活性。

Katalon平台宣称不懂编程的测试人员,也能通过直观的录制功能和可视化编辑器快速创建和执行测试脚本。 同时,它也为专业开发人员提供了丰富的脚本编辑和自定义功能,支持Groovy和Java等编程语言,满足了不同技术水平用户的需求。

据官方统计,全球已有超过65,000家企业选择Katalon作为其自动化测试解决方案,其中包括许多世界领先的知名公司。

二、Katalon核心产品组成

1. Katalon Studio:智能测试IDE

Katalon Studio是整个平台的核心,是一个集成了AI能力的集成开发环境,支持Web、移动、API和桌面应用的测试自动化。

主要特性:

  • 多环境支持:兼容Windows、Linux和macOS操作系统,支持多种主流浏览器
  • 灵活的测试创建:提供录制功能、脚本编辑和关键字驱动等多种测试创建方式
  • 对象库管理:强大的页面元素定位和管理功能,显著降低测试脚本的维护成本
  • 内置关键字驱动框架:通过简单的关键字组合构建测试用例,提高脚本的可维护性和可扩展性

在最新发布的Katalon Studio 10.4中,引入了一系列AI赋能功能,进一步提升了测试效率。StudioAssist现在支持HTTP-based MCP服务器,并集成了13个新的Studio MCP工具,用于构建和维护端到端测试。

2. Katalon TestOps:测试编排与分析平台

TestOps是Katalon平台的智能指挥中心,提供了一个消除瓶颈、简化软件测试自动化流程的综合测试编排平台。它使团队能够从测试结果中获得可操作的数据驱动见解,全部在一个地方集中管理。

核心能力:

  • 自动分布式执行:通过智能分配测试任务给活动代理,最大限度地减少测试执行时间
  • 智能报告分析:提供重新运行测试结果的综合视图,将重试尝试合并到单一报告中,避免无休止的日志文件分析
  • 类似错误识别:智能地将包含相似特征的故障详细信息归类,使用户能快速识别常见错误模式
  • 基于AI的测试分析和规划:通过智能测试优先级排序和实时监测,优化测试资源分配

3. Katalon Runtime Engine:高效执行核心

Runtime Engine是Katalon测试的执行动力,负责高效运行自动化测试脚本。它与CI/CD工具无缝集成,支持在DevOps流程中自动化执行测试。

关键优势:

  • 无缝CI/CD集成:可以与Jenkins、Azure DevOps等流行工具集成,实现自动化测试的持续集成和部署
  • 并行测试执行:支持在多个设备上并行执行测试,大幅缩短测试周期
  • 灵活的许可模式:提供节点锁定、浮动和DevOps等多种许可模式,满足不同规模团队的需求

4. Katalon TestCloud:云端测试平台

TestCloud是Katalon的云端测试解决方案,提供混合基础设施,无需任何设置即可执行测试。它使团队能够访问各种预配置的测试环境,无需维护复杂的测试基础设施。

三、Katalon平台特性

1. 人工智能驱动的测试功能

Katalon积极整合AI技术,显著提升了测试自动化的智能化水平:

  • AI测试失败分析:自动分析堆栈跟踪并总结测试用例或测试套件失败的原因,将见解直接嵌入HTML和电子邮件报告中
  • AWS Bedrock集成:除了支持OpenAI/Azure OpenAI和Gemini外,现在还支持AWS Bedrock,让企业能够在其组织的AWS IAM、计费和治理政策下使用Amazon基础模型
  • 基于AI的元素识别和测试优先级:通过智能元素定位减少维护工作量和风险

2. 全面的测试类型支持

Katalon提供广泛的测试类型支持,包括:

  • 功能测试:验证应用程序各项功能是否符合预期
  • API测试:对API进行测试,验证接口的正确性和稳定性
  • UI测试:对Web应用和移动应用进行UI测试,验证用户界面的正确性和交互性
  • 性能测试:评估系统的性能指标和瓶颈
  • 安全测试:发现系统的安全漏洞和风险

3. 维护与升级优化

Katalon Studio 10.4引入了自动化代码迁移功能,可自动更新Katalon Studio项目,支持从旧版本升级到新版本,包括从Java 8到17、Selenium 3到4的过渡。

这一Beta功能包括简单的回滚选项,可撤销更改并处理BDD脚本、Selenium、Cucumber和依赖项中的破坏性更新,彻底解决了版本升级时的代码适配难题。

4. 团队协作与数据驱动测试

  • 数据驱动测试:支持使用外部数据源(如Excel、CSV文件)来驱动测试用例的执行,提高测试效率并覆盖更多测试场景
  • 继承授权:在Katalon Studio 10.4中,可以在新的API集合(或文件夹)级别一次性定义身份验证,并自动在子请求中继承它,减少了重复配置和错误
  • Jira集成:方便团队进行任务管理和协作

四、Katalon实际应用价值

实际案例证明了Katalon平台的巨大价值。某企业用户报告称,通过使用Katalon,他们实现了30%产品的自动化测试减少了50个回归测试周期执行了3,000多次测试,功能测试覆盖率达到80%以上,同时减少了60%的测试脚本创建时间

另一位用户Bob Gettings分享道:“我们完成的测试自动化可在每个回归周期中节省数周的手动测试。实际上,单个回归生命周期已缩短了一半。这不仅节省了可观的资金,而且使员工腾出更多精力从事价值更高的活动。”

五、入门与学习资源

对于想要开始使用Katalon的新用户,入门过程非常简单:

  1. 注册账号:访问Katalon官网注册账号
  2. 下载安装:下载对应系统的软件,安装后使用注册信息激活
  3. 创建项目:通过指南了解基础需求,创建新项目
  4. 利用示例项目:使用Katalon help界面中的示例项目快速上手

Katalon提供免费的社区版,具有基本测试功能,适合个人和小型团队使用。同时提供商业版,包含更多高级功能,适用于企业级项目。

六、未来展望

随着Katalon Studio 10.4的发布,我们可以看到Katalon产品线的未来发展方向:更深层次的AI集成、更强大的企业级功能,以及更加流畅的团队协作体验。特别是对AWS Bedrock的支持表明了Katalon在满足企业合规性和避免供应商锁定方面的承诺。

自动化代码迁移等功能的引入,显示出Katalon正在致力于解决测试维护中的痛点,使团队能够将更多精力投入到创造性的测试场景设计中,而不是繁琐的脚本维护工作中。

七、实际体验

笔者有主导国选型AI增强的自动化测试工具的工具,对Katalon的最新版本(10.4.1)的各产品功能有过全面的调研和试用,和Katalon的售后和顾问有有过深入的交流,这里不偏不倚,把相关的一些内容记录与分享出来:

关于Katalon的公司

官方宣称的Katalon总部是在美国的亚特兰大,但其主要的研发中心是在越南。 因为其创始人Vu lam是越南的知名企业家,在美国留学,后来回越南创业。

Katalon有很多的工程师和工作人员都是印度人,在中国没有分公司和研发中心,但是在部分地区有代理商,比如在北京。代理商对产品本身基本不了解,只是负责License费用相关的事宜,任何产品和技术的沟通需要找原厂,而且大部分对接的是印度人,要使用带有咖喱味的英文交流。但事实求是说,这些印度工程师的业务水平和积极度都还不错。

关于产品

主要的产品就是Studio, 一款基于Eclipse开发的可以录制UI测试的IDE工具,既然是基于Eclipse开发,性能上就只能呵呵了。启动速度较慢,使用上的速度也一般。在VSCode大放异彩的今天,Eclipse的统治力应该是会逐步削弱,这样来看Studio的未来也是有点担心,除非或许某一天推出一款VSCode的插件。

自动化方面,Katalon基于Selenium,这又和微软的另一款强劲的路线PlayWright形成了对比,在Katalon里兼容PlayWright的需求也是越来越多了。

  • Studio 整体起来使用还不错,界面化操作和录制,录制的功能相对比较完善, License认证可以使用在线认证,也可以使用离线的授权。 在线的就是在网页中输入用户名密码,离线的需要有一个 License文件,使用这个文件进行认证。 所以在联网或是不联网的机器上都可以使用, 但是在不联网的机器上,有一个既存的Bug,就是AI的功能,也就是StudioAssist的功能不能使用。地端的AI Endpoint无法配置,StudioAssist的对话框也打不开,与Katalon 原厂联系确认后,说是解决了,但是只解决了配置问题,后半部分还是没有解决,截至目前还在紧锣密鼓的准备发布新版。

Runtime Engine: 这个看起来是Studio 的一个简化版,使用它可以在命令行的方式运行测试,产生测试报表。这个产品也是可以离线使用的。

TestOps用来进行测试编排和管理,可以集成JIRA ,ALM 实现需求的整合;可以集成GitHub,Bitbucket 等实现和Studio产生的Test Case的整合;可以进行运行计划的安排和放置测试报告,不过有一些集成的功能还没有开发完成,感觉这个产品的成熟度应该只有7成左右,因为有一些简单的功能,比如系统消息等存在这明显的 Bug。

TestOps 目前只能使用共有云和AWS的私有云,没有办法本地化部署,对于安全要求特别高的企业,需要将这个产品部署到内部的场景就不是很适用了。

TestCloud是云端执行测试,TrueTest是云端的AI。

AI 功能

特别要说一下的就是AI功能。 以上的产品中, Studio,TestOps,TrueTest 都整合了AI功能,但整体上看AI功能的成熟度还不太够,具体表现是:

  1. 部分场景的配置下,AI功能无法使用
  2. AI功能中对中文的支持不够好,问着问着就出现中文乱码了
  3. AI产生的结果不够准确,虽然新版本紧急推出了3类MCP,包括Katalon Doc , 测试项目对象的等,但是通过StudioAssist产生的Test Case 的效果还没有VS Code中使用Roo Code来得强(使用相同的大模型)
  4. Agent模式不够强大,参考文件和修改文件都没有Roo Code 的Tools 那么强。
Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐