一尘不染

由于Azure DevOps超时,导致随机Selenium E2e测试失败,但在本地和远程Selenium上均可运行(BrowserStack Automate)

selenium

我有一套Selenium测试,可以在我的本地环境中使用Browserstack Automate完美运行,但是在Azure DevOps上失败。

在Azure Devops上运行时,没有配置或设置更改。

我们在这里遵循了所有文档:https :
//docs.microsoft.com/zh-cn/azure/devops/pipelines/test/continuous-test-
selenium?view=vsts

随机测试会失败,永远不会失败。

测试总是由于超时而失败。我等待页面加载5分钟,因此不会出现超时过低的情况。

没有适当的防火墙,该应用程序是公共的。

身份验证始终成功,因此测试能够加载应用程序。

不知道下一步该怎么做。

下面是Azure DevOps日志的副本。4个测试通过,但其他所有测试均失败。通常,只有4-5个测试失败。

使用BrowserStack Automate(远程selenium)和在本地进行此测试可以完美地工作。

2018-11-17T05:40:28.6300135Z  Failed   StripeAdmin_WhenOnTab_DefaultSortIsByIdDescending
2018-11-17T05:40:28.6300461Z Error Message:
2018-11-17T05:40:28.6304198Z  Test method CS.Portal.E2e.Tests.Admin.StripeAdmin.StripeAdminTests.StripeAdmin_WhenOnTab_DefaultSortIsByIdDescending threw exception: 
2018-11-17T05:40:28.6305677Z OpenQA.Selenium.WebDriverTimeoutException: Timed out after 300 seconds
2018-11-17T05:40:28.6307041Z Stack Trace:
2018-11-17T05:40:28.6307166Z     at OpenQA.Selenium.Support.UI.DefaultWait`1.ThrowTimeoutException(String exceptionMessage, Exception lastException)
2018-11-17T05:40:28.6307999Z    at OpenQA.Selenium.Support.UI.DefaultWait`1.Until[TResult](Func`2 condition)
2018-11-17T05:40:28.6308188Z    at CS.Portal.E2e.Tests.Utility.WebDriverUtilities.WaitForElement(IWebDriver driver, By by, Boolean mustBeDisplayed) in D:\a\1\s\CS.Portal.E2e.Tests\Utility\WebDriverUtilities.cs:line 26
2018-11-17T05:40:28.6319651Z    at CS.Portal.E2e.Tests.Admin.StripeAdmin.StripeAdminTests.StripeAdmin_WhenOnTab_DefaultSortIsByIdDescending() in D:\a\1\s\CS.Portal.E2e.Tests\Admin\StripeAdmin\StripeAdminTests.cs:line 51
2018-11-17T05:40:28.6319982Z 
2018-11-17T05:40:34.4671568Z Results File: D:\a\1\s\TestResults\VssAdministrator_factoryvm-az416_2018-11-17_03_08_24.trx
2018-11-17T05:40:34.4692222Z 
2018-11-17T05:40:34.4695222Z Attachments:
2018-11-17T05:40:34.4697610Z   D:\a\1\s\TestResults\672f4d28-5082-42e9-a7e7-f5645aadcfd8\VssAdministrator_factoryvm-az416 2018-11-17 03_02_43.coverage
2018-11-17T05:40:34.4697943Z 
2018-11-17T05:40:34.4698278Z Total tests: 34. Passed: 4. Failed: 30. Skipped: 0.

阅读 215

收藏
2020-06-26

共1个答案

一尘不染

这是我要执行的一些步骤:

  1. 在类似情况下,对我们有帮助的是暂时将录像机添加到测试中,然后从头到尾监视VM上的测试执行过程。视频中可能有一些线索,可以帮助您了解实际出了什么问题,我能够找到此C#示例的链接

  2. 另外,我会仔细检查以确保Azure上的浏览器版本与运行良好的浏览器版本完全相同。使它们相同对于确保没有“魔术”至关重要。与默认浏览器窗口大小相同。

  3. 我将对不同测试失败的地方进行更详细的分析。

    • 是否有可能发现不同测试失败之间的相似性。点击后是否总是会发生?重新加载页面后?还有其他类似的东西吗?如果是,请尝试使用最怪异但又简单又有时可以挽救生命的解决方案,并在故障之前的操作之前/之后添加3-5秒的睡眠时间。(添加有条件的睡眠,只有在Azzure运行时才发生)(是的,不建议睡眠,{{ 为何 不建议睡眠 的很多众所周知的信息都可以在这里 },但是…如果它们神奇地保存了您的睡眠,运行,然后可以通过一些智能等待来确保替换它们)
    • 故障是否有可能在某个特定时间发生?运行后经过同一时间开始吗?白天同时?
    • 如果在代码中使用日期/时间API,请确保系统时间/语言环境/时区设置完全相同。否则,测试运行期间的日子不会改变。总而言之-围绕日期进行调查。

我知道以上内容更像是一般性建议,但是从我的经验来看,这种“随机失败”可能是由任何看起来“不值得关注”的东西引起的。

2020-06-26