`x(x-y-1)+y(y-1)=3`

`x^2-xy-x+y^2-y=3`

`2x^2-2xy-2x+2y^2-2y=6`

`(x^2-2xy+y^2)+(x^2-2x+1)+(y^2-2y+1)=8`

`(x-y)^2+(x-1)^2+(y-1)^2=8`

Các số chính phương nhỏ hơn `8` là `0,1,4`

Cách để cộng `3` số trong tập `{0;1;4}` lại bằng `8` là:

`8=4+4+0`

`text{TH1}: (x-1)^2=0 -> x=1`

`(1-y)^2+(y-1)^2=8`

`2(y-1)^2=8`

`(y-1)^2=4`

`y-1=2`

`y=3` (t/m)

`text{TH2}: (y-1)^2=0 -> y=1`

Tương tự `text{TH1}`, tìm được `x=3`

`text{TH3}: (x-y)^2=0 -> x=y`

`(x-1)^2+(x-1)^2=8`

`2(x-1)^2=8`

`(x-1)^2=4`

`x-1=2`

`x=3->y=3`

Vậy nghiệm của phương trình là `(x;y)=(1;3),(3;1),(3;3)`