Giải thích các bước giải:

$\begin{aligned}
& \text{Đặt } a = \sqrt{x^2 - 3x + 5} \ (a > 0) \text{ và } b = \sqrt{x + 3} \ (b \ge 0). \\
& \text{Khi đó biểu thức dưới dấu căn là } ab = \sqrt{x^3 - 4x + 15}. \\
& \text{Ta có:} \\
& a^2 = x^2 - 3x + 5 \\
& b^2 = x + 3 \\
& \text{Thay vào phương trình (1), ta được:} \\
& 8a^2 + 3b^2 = 11ab \\
& \Leftrightarrow 8a^2 - 11ab + 3b^2 = 0 \\
& \Leftrightarrow 8a^2 - 8ab - 3ab + 3b^2 = 0 \\
& \Leftrightarrow 8a(a - b) - 3b(a - b) = 0 \\
& \Leftrightarrow (a - b)(8a - 3b) = 0 \\
& \Leftrightarrow \left[ \begin{array}{l} a = b \\ 8a = 3b \end{array} \right. \\[10pt]

& \text{- Trường hợp 1: } a = b \Rightarrow a^2 = b^2 \\
& x^2 - 3x + 5 = x + 3 \\
& \Leftrightarrow x^2 - 4x + 2 = 0 \\
& \Delta' = (-2)^2 - 1(2) = 2 > 0 \\
& \text{Phương trình có hai nghiệm: } \left[ \begin{array}{l} x = 2 + \sqrt{2} \\ x = 2 - \sqrt{2} \end{array} \right. \text{ (cả hai đều thỏa mãn } x \ge -3\text{).} \\[5pt]
& \text{- Trường hợp 2: } 8a = 3b \Rightarrow 64a^2 = 9b^2 \\
& 64(x^2 - 3x + 5) = 9(x + 3) \\
& \Leftrightarrow 64x^2 - 192x + 320 = 9x + 27 \\
& \Leftrightarrow 64x^2 - 201x + 293 = 0 \\
& \text{Xét } \Delta = (-201)^2 - 4 \cdot 64 \cdot 293 = 40401 - 75008 = -34607 < 0 \\
& \text{Do đó phương trình này vô nghiệm.} \\[10pt]

& \text{Kết luận: } \text{Tập nghiệm của phương trình là } S = \left\{ 2 + \sqrt{2}; 2 - \sqrt{2} \right\}.
\end{aligned}$