Đặt `S=x+y  (S > 0)` và `P=xy`, khi đó phương trình: `x^2+y^2+(8xy)/(x+y)=16` trở thành:

`S^2-2P+(8P)/S=16`

`=>` `S^3-2(P+8)S+8P=0`

`=>` `(S-4)(S^2+4S-2P)=0`

`=>` `[(S=4),(S^2+4S-2P=0):}`

Do `S^2-2P >= 0` và `4S > 0` `=>` `S^2+4S-2P > 0`

`=>` `S=4`

`=>` `x+y=4`

`=>` `y=4-x`

`=>` `sqrt((4-x)^2+12)+5/2sqrt4=3x+sqrt(x^2+5)`

`=>` `sqrt(x^2-8x+28)+5=3x+sqrt(x^2+5)`

`=>` `sqrt(x^2-8x+28)-4=3x-6+sqrt(x^2+5)-3`

`=>` `(x^2-8x+28-16)/(sqrt(x^2-8x+28)+4)=3(x-2)+(x^2+5-9)/(sqrt(x^2+5)+3)`

`=>` `((x-2)(x-6))/(sqrt(x^2-8x+28)+4)=3(x-2)+((x-2)(x+2))/(sqrt(x^2+5)+3)`

`=>` `[((x-6)/(sqrt(x^2-8x+28)+4)=3+(x+2)/(sqrt(x^2+5)+3)),(x=2):}`

Xét bất đẳng thức: `3+(x+2)/(sqrt(x^2+5)+3) > 2` `(1)`

`=>` `(x+2)/(sqrt(x^2+5)+3) > -1`

`=>` `-(x+2)/(sqrt(x^2+5)+3) < 1`

`=>` `-x-2 < sqrt(x^2+5)+3`

`=>` `-x-5 < sqrt(x^2+5)`

`+)` Nếu `x >= 0` `=>` `-x-5 < 0` `=>` Bất đẳng thức `(1)` đúng

`+)` Nếu `x < 0` `=>` `|x|=-x` `=>` Bất đẳng thức `(1)` trở thành `|x|-5 < sqrt(x^2+5)`

Rõ ràng `sqrt(x^2+5) > sqrt(x^2)=|x|` `=>` `sqrt(x^2+5) > |x|-5`

`=>` Bất đẳng thức `(1)` đúng với mọi `x in RR`

Xét bất đẳng thức: `(x-6)/(sqrt(x^2-8x+28)+4) < 2`

`=>` `x-6 < 2sqrt(x^2-8x+28) + 8`

`=>` `x-14 < 2sqrt(x^2-8x+28)`

`+)` Nếu `x <= 14` `=>` `x-14 <= 0` `=>` Bất đẳng thức `(2)` đúng

`+)` Nếu `x > 14` `=>` `x-14 > 0`

Xét: `(x-14)^2-4(x^2-8x+28)=-3x^2+4x+84 < -3x^2+6x+84`

`=-3(x^2-2x+1)+87=-3(x-1)^2+87`

Với `x > 14 => x-1 > 13 => (x-1)^2 > 169`

`=>` `-3(x-1)^2 + 87 < -3*169+87=-420`

`=>` `(x-14)^2-4(x^2-8x+28) < -420 < 0`

`=>` Bất đẳng thức `(2)` đúng

`=>` Bất đẳng thức `(2)` đúng với mọi `x in RR`

Từ bất đẳng thức `(1)` và `(2)`, ta suy ra:

`VP=(x-6)/(sqrt(x^2-8x+28)+4) < 2 < VT=3+(x+2)/(sqrt(x^2+5)+3)`

`=>` Phương trình `(x-6)/(sqrt(x^2-8x+28)+4)=3+(x+2)/(sqrt(x^2+5)+3)` vô nghiệm

Vậy `(x;y)=(2;2)` là nghiệm duy nhất của hệ