Seja \(x\) o lado do quadrado que serão cortados.

Um dos lados ficará:

\(8-x-x=8-2x\)

uma vez que serão um quadrado em cada uma das pontas

O outro lado ficará:

\(5-x-x=5-2x\)

A altura da caixa será \(x\)

Assim o volume será:

\(V= (8-2x)(5-2x)x\\ V=(8-2x)(5x-2x^2)\\ V=(8-2x)(5x-2x^2)\\ V=40x-16x^2-10x^2+4x^3\\ V=40x-26x^2+4x^3\)

Vamos encontrar os pontos criticos, derivando e igualando a zero:

\(\frac{d}{dx}\left(40x-26x^2+4x^3\right)\\ 40-52x+12x^2=0\\ \)

Resolvendo por bhaskara:

\(x_{1,\:2}=\frac{-\left(-52\right)\pm \sqrt{\left(-52\right)^2-4\cdot \:12\cdot \:40}}{2\cdot \:12}\\ x=\frac{-\left(-52\right)+\sqrt{\left(-52\right)^2-4\cdot \:12\cdot \:40}}{2\cdot \:12}:\quad \frac{10}{3}\\ x=\frac{-\left(-52\right)-\sqrt{\left(-52\right)^2-4\cdot \:12\cdot \:40}}{2\cdot \:12}:\quad 1\)

\(x=\frac{10}{3},\:x=1\)

Vamos verificar o sinal da função para x<1; \(1<x<\frac{10}{3}\)e \(x>\frac{10}{3}\)

Para \(x<1\)

\(x=0\)

\(40-52\cdot \:0+12\cdot \:0^2=40\) positiva

Para \(1<x<\frac{10}{3}\)

\(x=2\)

\(40-52\cdot \:2+12\cdot \:2^2=-16\) negativa

Para \(x>\frac{10}{3}\)

\(x=5 \)

\(0-52\cdot \:5+12\cdot \:5^2=80\)

Veja que, para \(x<1\) a função é positiva e portanto crescente . Para \(x>\frac{10}{3}\)ela também é crescente. Sabemos que \(x=\frac{10}{3},\:x=1\) são os pontos de minimo ou máximo.

Como antes de \(1\) a função está crescendo, significa que quando ela chegar no \(1\) será o seu ponto de máximo. 

Como depois de \(\frac{10}{3}\) a função está crescendo significa que o \(\frac{10}{3}\) é um ponto de minimo, ou seja, a função continua aumentand depois dele.

Assim, o nosso ponto de máximo é \(x=1\)

Para que o volume seja máximo, o lado dos quadrados recortados devem ser igual a \(\boxed{1}\).