Leapwork最近发了个报告。这个报告说，现在很多人对AI测试越来越有信心了。大家觉得AI测软件是未来的方向。但是，大家心里也有很多疑问。比如，AI测试结果准不准？跑起来稳不稳定？还有，我们自己要花多少时间去管它？这些问题，直接决定了团队到底敢不敢信任自动化。
报告收集了全球三百多位软件工程师和IT决策者的看法。大家普遍认为，AI是未来测试的关键。但是，AI必须得能给出靠谱、好维护的结果。不然，光说AI好也没用。
AI是重点，但落地很慢
数据显示，88%的人都说，AI已经是他们公司测试的重点工作。将近一半的人，甚至把它当成最重要的事情。大家也很乐观。80%的人相信，未来两年AI会帮测试很多忙。
但是，真去用的时候，大家就没那么猛了。虽然65%的人说，他们已经在一些测试里用了AI，或者正在研究。但现在只有12.6%的公司，在最重要的测试里全面用AI。这说明大家很小心。他们想一点点来，不是一下子全换掉。
我觉得这很正常。谁会把重要工作一下子全交给一个新东西呢？大家都要先试试水，看看效果。
为什么大家不敢全面用AI？
这种信心和实际行动的差距，主要来自两个担心：准不准和稳不稳。
超过一半的人（54%）说，他们怕AI测试结果不好，质量不高，所以不敢大范围用。大家提了很多具体的问题。
- 测试用例太脆了。 什么是测试用例脆？就是系统一有点小改动，测试脚本就跑不起来了，或者结果就不对了。想象你是个测试工程师，你辛辛苦苦写好的自动化测试，系统更新一下，它就“崩”了。你得花大量时间去修，这不就是白费力气吗？这真的很让人头疼。
- 跨系统测试太难了。 现在很多软件不是单个的，它会牵扯到好几个系统一起跑。比如，你下单买东西，会先访问商品页面，然后加购物车，再支付，最后订单系统处理。这是一个端到端的流程。让AI完成这种复杂的跨系统测试，非常不容易。它很容易在中途卡壳，或者数据传错了，导致测试失败。
- 维护更新测试花的时间太多。 这是个大问题。45%的人说，系统重要更新后，他们要花三天甚至更久去更新测试脚本。三天啊！这意味着发布新功能得等更久。你原本想用自动化省时间，结果呢？反而花更多时间去维护。这样一来，大家对自动化的信任感就直线下降了。谁还敢放手让它做？
人工投入，还是个大头
我们说要自动化，但现在人工投入还是很多。平均下来，只有41%的测试是自动化的。还有将近六成的测试，是人工做的。
大家觉得哪个环节最累？
- 写测试用例。 71%的人说，这个最麻烦。我们要想清楚每个功能怎么测，每个步骤是什么。AI能帮我写吗？现在看起来，大部分时候还得我们自己动手。
- 维护测试。 56%的人觉得维护测试很麻烦。前面也说了，测试用例一脆，你就要去修。这就是维护。修起来很费劲。
- 时间不够。 超过一半（54%）的人说，他们没时间去做自动化，或者改进自动化。你日常工作都忙不过来，哪有空去研究怎么让AI测得更好？这也解释了，为什么大家用AI的时候，都那么小心。不是不想用，是真的没空去折腾一个不确定的东西。
Leapwork的CEO，Kenneth Ziegler说了几句话，我觉得很有道理。他说，“测试团队会不会用AI，这不是问题了。问题是，他们能多有信心，多肯定地依赖AI？”
我们这些做测试的，确实希望AI帮我们。希望它能测得更快，测的范围更广，还能少做一些重复工作。但是，他提到最重要的一个点：准确性。这是最最基本的要求。
所以，真正的机会在哪里？在于把 AI 和 稳定的自动化 结合起来。这样，团队才能在结果靠谱的前提下，同时做到速度快、规模大。不是说AI来了，以前的自动化就不要了。而是说，AI要站在一个稳固的自动化底座上，才能发挥作用。
其他报告也这么说
Leapwork的这份研究结果，并不是个例。其他公司做的调查，也都有类似的发现。
- Puppet的DevOps报告Puppet公司做了很多DevOps的调查。他们的报告里说，那些做得好的团队，在自动化测试、测试稳定性、还有快速反馈方面，花的时间和精力都多很多。但是，如果一个团队的CI/CD流水线（就是代码从开发到发布的一整套流程）不稳定，那他们发布软件的速度就慢。而且，他们对自动化的信心也会很低。Puppet在2024年的报告里还提到，那些自动化测试做得好的团队，在软件可靠性、发布周期、发布频率上都表现更好。但是，他们也强调一个前提：测试必须可靠，而且容易维护。如果测试不可靠，或者总是要花很多时间去维护，那它就会成为自动化发布流程里最大的障碍。你看，这和Leapwork说的“准确性、稳定性”是不是一个意思？都强调测试要稳，要好用。如果测试总出问题，大家就不信它。
- GitLab的年度调研GitLab每年都会问很多开发者和DevOps的人。他们的报告发现，超过70%的人觉得AI会彻底改变软件开发，包括测试和安全。大家对AI的潜力是很认可的。但是，和Leapwork的结果一样，现在只有很少的人，在真正的产品开发里深入用AI工具。很多人担心什么呢？他们担心AI结果是不是真的可靠，AI是怎么得出这个结果的（就是“可解释性”），还有AI怎么和他们现有的工具配合。特别是在一些管理很严的行业，或者大公司里，这种担心更多。这再次说明，大家对AI的看法很矛盾。一方面觉得它前途光明，另一方面又有很多实际的顾虑。不确定AI能不能给出一个让人放心的结果，是大家犹豫的主要原因。
- Tricentis的全球质量报告Tricentis也对全球的公司做了调查。他们发现，各种测试（比如单元测试、功能测试、性能测试）的自动化率，平均在30%到50%之间。Leapwork的数据是41%，你看，这差不多都在这个范围内。这个报告里，大家也提到了很多问题，为什么自动化率上不去？维护成本高、测试不稳定、没找到合适的人才。这些问题，和Leapwork报告里提到的挑战一模一样。而且，Tricentis的报告还说了一个新现象：大家开始关注AI辅助生成测试用例的工具了。但是，很多人还是不放心。因为担心风险和准确性，他们不愿意完全用AI来取代人工的验证。他们觉得，AI生成的，我们还得再看一眼，确认一下才行。这说明AI可以帮忙生成测试，但要让大家完全相信AI自己能搞定一切，还需要时间。
- DORA研究 (Google Cloud发起的)DORA研究虽然不只看AI，但它很重要。这个研究强调，那些自动化测试做得好、能很好地监控系统（“可观测性”）、还有能快速从故障中恢复的团队，他们在发布软件的速度、发布周期等关键指标上，都比其他团队做得好。最近，DORA的调查里也加了AI工具的问题。反馈显示，那些在DevOps工具里用AI功能的团队，在系统监控和自动化验证上也投入很大。这说明什么？说明AI要发挥最大作用，最好是建立在一个坚实的自动化基础上。不是随便拿来就能用。这和Leapwork强调的“AI要和稳健的自动化结合”观点很一致。它们互相证明，光有AI不行，得有个好的底子。
- IDC的企业AI调查IDC做了一个更广泛的AI调查。他们发现，虽然有60%到70%的公司，在各个部门都试点AI项目。但是，真正把AI部署成稳定、能在生产环境中用的，只有20%到30%。问他们为什么落地这么慢？大家提到了风险管理、找不到合适的AI人才、还有AI系统太复杂不好管理。这些原因，和Leapwork报告里，大家对测试AI那么谨慎的原因，都很像。这说明，不只是测试领域，整个AI落地都面临这些问题。大家觉得AI很好，也愿意尝试，但真正把它变成公司里一个稳定可靠的工具，还有很长的路要走。
所以，AI和自动化怎么结合呢？
说了这么多，关键是AI和自动化怎么才能发挥最大的作用？
报告里给出了一个看法：公司要把AI和 成熟、稳固的自动化基础 结合起来，而不是把AI当成一个独立解决所有问题的“神药”。
现在的软件系统越来越复杂，功能更新也越来越快。所以，那些能平衡好 创新 和 可靠性 的团队，才能更有信心，更大规模地用AI来做测试。
这怎么做呢？
- 先打好基础。 意思就是，你现有的自动化测试，必须得是稳定、可靠、容易维护的。就像盖房子，你得先把地基打牢。如果你的基础测试老是出问题，那AI加进来，也只是在不稳的地基上建楼，结果肯定不理想。
- 用AI来帮忙做难的事。 AI可以帮你做一些人很难做，或者做起来很慢的事。比如，生成一些新的测试用例，帮你分析海量的测试数据，发现一些人工发现不了的问题。这就像你有了一个聪明的助手，他帮你处理一些数据分析和初步的工作。
- 人还是要做决策和验证。 AI给出的结果，我们还是要去看，去判断。特别是那些关键的业务流程，人不能完全撒手不管。AI可以给你一个建议，或者一个初步的测试结果，但最终这个结果是不是真的没问题，还得我们自己来把关。
举个例子。
你现在有个复杂的电商网站，有很多功能。
先做X： 你可以先用传统的自动化工具，把核心的购买流程（从登录、选商品、加购物车、支付、到订单生成）都自动化测试好。这些测试脚本要稳定，每次跑都得出一样的结果。这就是你的 稳固自动化基础。
然后做Y： AI可以在这个基础上，帮你分析用户行为数据。比如，AI发现很多人喜欢在某个页面反复点击，但这个页面的测试用例却很少。AI就能建议你，或者直接生成一些针对这个页面的新测试用例。
这样可以帮你更快完成Z： 这样你就能更快地发现那些隐藏的问题，把测试覆盖率提上去。你不需要自己去琢磨用户可能会怎么点，AI帮你找到了。但是，AI生成的这些新用例，你还是得检查一下，确保它测的是对的，有意义的。
我觉得，AI在测试领域的未来，肯定会越来越好。但它不是那种一下子就能解决所有问题的魔法。它更像一个聪明的工具，一个能帮我们突破瓶力、提高效率的好伙伴。但是，我们得先把它“驯服”。让它变得可靠、结果能解释、而且容易维护。
这说明，我们这些做测试的人，眼光要放远。不光要学AI，更要扎扎实实地把自动化基本功练好。只有当AI和稳健的自动化真正合二为一的时候，我们才能真正放心地，让它在我们复杂多变的系统里，测得更快，测得更广。这样，我们才不会每天提心吊胆，生怕它又给我们搞出什么麻烦。
这场AI和测试的结合，看起来还有很长的路要走。但我相信，只要我们按照这些原则去做，最终一定能看到它开花结果。它会真正地解放我们的双手，让我们有更多时间去思考更重要的问题。
