Tendrías que dibujártelo para verlo bien.
Al construir la caja cortando esos cuadrados de lado "x" en las esquinas se nos formará un prisma cuadrangular con base de rectángulo.
Dicho rectángulo medirá en el lado mayor: 20-2x
También tendrá como lado menor: 16-2x
La superficie de ese rectángulo será pues su producto: base por altura...
(20-2x)·(16-2x)
La altura de la caja será "x" que es lo que levantará por los lados así que finalmente el volumen será el área de la base por la altura:
(20-2x)·(16-2x)·x = 4x³ -72x² +320x
Y así queda expresado en función de "x" tal y como pide el ejercicio.
Saludos.