Cách 1:

`x(x-y-1)+y(y-1)=3`

`x^2-xy-x+y^2-y-3=0`
`4(x^2-xy-x+y^2-y-3)=0`

`4x^2-4xy-4x+4y^2-4y-12=0`
`4x^2-4x(y+1)+4y^2-4y-12=0`

`[(2x)^2-2*2x*(y+1)+(y+1)^2]-(y+1)^2+4y^2-4y-12=0`

`(2x-y-1)^2+3y^2-6y-13=0`

`(2x-y-1)^2+3(y-1)^2=16`

Vì `(2x-y-1)^2>=0` với mọi `x,y`

Nên: `0<=3(y-1)^2<=16`

Hay: `0<=(y-1)^2<=16/3<27/3=9`

Nên: `-3<y-1<3`

Hay: `-2<y<4`

Mà: `y` nguyên dương

Nên: `y∈{1;2;3}`
Mặt khác: `x^2-xy-x+y^2-y-3=0`

Hay: `x^2-(y+1)x+(y^2-y-3)=0` `(`*`)`

`+TH1:` `y=1` thì `(`*`)` trở thành:

`x^2-(1+1)x+(1^2-1-3)=0`

`x^2-2x+3=0`

`(x-3)(x+1)=0`

`x=3` hoặc `x=-1` (loại)

`+TH2:` `y=2` thì `(`*`)` trở thành:

`x^2-(2+1)x+(2^2-2-3)=0`

`x^2-3x-1=0`

`4x^2-12x-1=0`

`(2x-3)^2=10` (loại vì `10` không là số chính phương)

`+TH3:` `y=3` thì `(`*`)` trở thành:

`x^2-(3+1)x+(3^2-3-3)=0`

`x^2-4x+3=0`

`(x-1)(x-3)=0`

`x=1` hoặc `x=3`

Vậy các cặp số nguyên dương `(x,y)` cần tìm là: `(3,1);(1,3);(3,3)`

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Cách 2:
`x(x-y-1)+y(y-1)=3`

`x^2-xy-x+y^2-y-3=0`

`x^2-(y+1)x+(y^2-y-3)=0` `(`*`)`

Phương trình có nghiệm khi:

`Δ>=0`

`[-(y+1)]^2-4(y^2-y-3)>=0`

`y^2+2y+1-4y^2+4y+12>=0`

`-3y^2+6y+13>=0`

`y^2-2y-13/3<=0`

`(y^2-2y+1)-16/3<=0`

`(y-1)^2<=16/3<27/3=9`

Nên: `-3<y-1<3`

Hay: `-2<y<4`

Mà: `y` nguyên dương

Nên: `y∈{1;2;3}`

`+TH1:` `y=1` thì `(`*`)` trở thành:

`x^2-(1+1)x+(1^2-1-3)=0`

`x^2-2x+3=0`

`(x-3)(x+1)=0`

`x=3` hoặc `x=-1` (loại)

`+TH2:` `y=2` thì `(`*`)` trở thành:

`x^2-(2+1)x+(2^2-2-3)=0`

`x^2-3x-1=0`

`4x^2-12x-1=0`

`(2x-3)^2=10` (loại vì `10` không là số chính phương)

`+TH3:` `y=3` thì `(`*`)` trở thành:

`x^2-(3+1)x+(3^2-3-3)=0`

`x^2-4x+3=0`

`(x-1)(x-3)=0`

`x=1` hoặc `x=3`

Vậy các cặp số nguyên dương `(x,y)` cần tìm là: `(3,1);(1,3);(3,3)`