Пометить тест падающим, он будет запущен, но если он упадет, то ошибки не будет; наоборот, ошибка будет, если тест внезапно пройдет:

@pytest.mark.xfail

def test_function():

...

либо:

def test_function():

if not valid_config():

pytest.xfail("failing configuration (but should work)")