Cantidad de filas: x
Cantidad de alumnos por fila: x+5
x(x+5) = 104
x²+5x = 104
x²+5x-104 = 0
a  b   c
a = 1
b = 5
c = -104
Reemplazando las letras a, b y c de la formula que te deje en formato imagen abajo de todo, por los numeros 1, 5 y -104, al final te tiene que quedar asi:
(-5±21)/2
(-5+21)/2 = 8
(-5-21)/2 = -13
Como no puede haber una cantidad negativa, usamos el 8, que seria la cantidad de filas, y comprobando lo que hicimos nos queda:
Cantidad de filas: 8
Cantidad de alumnos por fila: 8+5 = 13
8(8+5) = 104
8*13 = 104
104 = 104
RTA: Hay 8 filas.
Saludos desde Argentina.