Tìm \(m\) để hàm số \(f\left( x \right) = \left( {m + 2} \right)\dfrac{{{x^3}}}{3} – \left( {m + 2} \right){x^2} + \left( {m – 8} \right)x + {m^2} – 1\) nghịch biến trên \(\mathbb{R}\)

\(f\left( x \right) = \left( {m + 2} \right)\dfrac{{{x^3}}}{3} – \left( {m + 2} \right){x^2} + \left( {m – 8} \right)x + {m^2} – 1\)

Hàm số đã cho liên tục và xác định trên \(\mathbb{R}\).

Nếu \(m =  – 2\) thì hàm số trên trở thành \(f\left( x \right) =  – 10x + 3\), hàm số này nghịch biến trên \(\mathbb{R}\) nên \(m =  – 2\) thỏa mãn.

Nếu \(m \ne  – 2\), ta có :

\(\begin{array}{l}f\left( x \right) = \left( {m + 2} \right)\dfrac{{{x^3}}}{3} – \left( {m + 2} \right){x^2} + \left( {m – 8} \right)x + {m^2} – 1\\ \Rightarrow f’\left( x \right) = \left( {m + 2} \right){x^2} – 2\left( {m + 2} \right)x + \left( {m – 8} \right)\end{array}\)

Hàm số đã cho nghịch biến trên \(\mathbb{R}\) khi và chỉ khi

\(\begin{array}{l}f’\left( x \right) \le 0,\forall x \in \mathbb{R}\\ \Leftrightarrow \left\{ \begin{array}{l}m + 2 < 0\\\Delta ‘ \le 0\end{array} \right.\\ \Leftrightarrow \left\{ \begin{array}{l}m <  – 2\\{\left( {m + 2} \right)^2} – \left( {m + 2} \right)\left( {m – 8} \right) \le 0\end{array} \right.\\ \Leftrightarrow \left\{ \begin{array}{l}m <  – 2\\\left( {m + 2} \right).10 \le 0\end{array} \right. \Rightarrow m <  – 2\end{array}\)

Vậy \(m \le  – 2\) thì hàm số đã cho nghịch biến trên \(\mathbb{R}\).

Chọn D