Ayer, en la reunión de Agile-CR , David Villa nos contó las maravillas de Atheist.
Personalmente, me impresionó bastante.
No es un sistema para hacer pruebas unitarias, aunque permite integrar pruebas unitarias en python, C/C++ o Java. Es un sistema para hacer pruebas de sistema.
Algunas de las ventajas que le vi:
Permite utilizar toda la potencia de python.
Los informes que genera son simples pero muy visuales.
Permite obtener informes en terminal o generar informes complejos en HTML.
Tiene numerosas opciones y posibilidades.
Permite realizar operaciones realmente complejas, como probar una aplicación cliente-servidor.
Es ampliable mediante plugins.
Se integra con TestUnit.
Se integra con Jenkins/Hudson.
Es paquete Debian y Ubuntu.
Lo malo que tiene es la documentación, que está desactualizada :D
Veamos un par de ejemplos, de manera que podamos aprender un poco de Atheist.
Primeros pasos
Probando “ls”
Vamos a probar la orden “ls”.
Para ello crearemos el archivo “ls.test”, que será un archivo python:
$ atheist ls.test
[ OK ] TaskCase: ./ls.test
[ ALL OK! ] - 0.33s - 1 tests - 1 tasks
(en la consola tiene colorines, pero prefiero dejarlo así que estar poniendo imágenes).
¿Qué ha ocurrido aquí?
Para empezar, hemos creado un test, que ejecutará la orden “ls /”. Después hemos añadido una post-condición, que consiste en comprobar que la salida estándar contiene la cadena “lost+found”.
¡En rojo!
Vamos a provocar un fallo. Para ello, vamos a tratar de listar /magmax, que es un directorio que, probablemente, no existirá:
Como puede observarse, en este caso nos muestra más información: Entre paréntesis tenemos dos números. Estos números representan el resultado recibido por el programa seguido del esperado. Lo habitual en los programas es que devuelvan un 0 cuando funcionan, pero es probable que queramos comprobar que fallan con un código de error determinado.
$ atheist touch.test
[ OK ] TaskCase: ./touch.test
[ ALL OK! ] - 0.32s - 1test - 1 task
En esta ocasión hemos guardado una cadena con la ruta de un archivo en una variable, y después la hemos utilizado durante el test. Después, avisamos a Atheist que se va a generar un archivo (así lo borrará después del test) y realizamos la precondición de que el archivo no existe. Finalmente, realizamos la comprobación de que el archivo sí existe.
Obteniendo más información
Aunque Atheist nos despliega la información de forma automática ante un fallo, es posible que queramos tener más información. Para ello podemos usar las opciones -v, -vv, -vvv y -vvvv, que van mostrando cada vez más información. Con el ejemplo de “ls”:
También es posible que queramos despelgar los tests aunque éstos sean correctos.
Para ello utilizaremos la orden -i#, siendo # el número de niveles que
desplegar:
1
2
3
4
5
6
7
8
$ atheist ls.test -i5
[ OK ] TaskCase: ./ls1.test
[ OK ] ├─ Test-1 -( 0: 0) ls /
[ OK ] │ └─+pre: Not (FileExists '/tmp/atheist-miguel/10206/T1.out'[ OK ] │ ├─+post: FileExists '/tmp/atheist-miguel/10206/T1.out'[ OK ] │ └─ post: FileContains '/tmp/atheist-miguel/10206/T1.out'(1) content:'['lost+found']'[ OK ] └─ Test-2 -( 2: 2) ls /magmax
[ ALL OK! ] - 0.56s - 2 tests - 2 tasks
En este caso se puede apreciar cómo Atheist incluye ciertas pre y post condiciones automáticamente, como la comprobación de que el archivo temporal de la salida de las pruebas no existe.
También podéis consultar el manual on-line , aunque os advierto que puede
estar bastante desactualizado. Quizá por eso sea preferible atacar directamente
al código fuente, aunque sólo sean los ejemplos o las propias pruebas
de Atheist , que no dejan de estar hechas en Atheist :D.
MagMax Blog