`y' = -x^2 -2mx -2m-1`

Để hàm số nghịch biến trên `(0;5)` thì:

`-x^2 -2mx -2 m -1 <= 0 forall x in (0;5)`

`<=>-x^2 -2m(x+1) -1 <= 0 forall x in (0;5)`

`<=> -x^2 -1 <= 2m(x+1) forall x in (0;5)`

`<=>2m >= (-x^2 -1)/(x+1) forall x in (0;5)`

`<=>2m >= Max((-x^2 -1)/(x+1) )forall x in (0;5)`

Xét `g(x) = (-x^2 -1)/(x+1) ` trên `(0;5)`

`g'(x) = (-x^2 -2x+1)/(x+1)^2 `

`g'(x)=0=>-x^2-2x+1=0<=>`\(\left[ \begin{array}{l}x=-1+\sqrt2\\x=-1-\sqrt2(loại)\end{array} \right.\) 

Ta có bảng biến thiên:

\begin{array}{|c|cc|} \hline x&0&&-1+\sqrt2&&5\\\hline y'&&+&0&-&\\\hline &&&2-2\sqrt2\\y&&\nearrow&&\searrow&\\&-1&&&&-\dfrac{13}{3}\\\hline\end{array}

`=> Max_((0;5))((-x^2 -1)/(x+1) )=2-2sqrt2`

`=>2m >= 2-2sqrt2`

`=>m >= 1-sqrt2`