Ta có:

$x^2 + y^2 - xy = 3$

$\Leftrightarrow (x^2 - 2xy + y^2) + xy = 3$

$\Leftrightarrow (x-y)^2 + xy = 3$

$\Leftrightarrow xy = 3 - (x-y)^2$

$P = xy - 2(x-y)$

$P = [3 - (x-y)^2] - 2(x-y)$

Đặt $t = x-y$, biểu thức $P$ trở thành:

$P = 3 - t^2 - 2t$

$P = -(t^2 + 2t - 3)$

$P = -(t^2 + 2t + 1 - 4)$

$P = -[(t+1)^2 - 4]$

$P = 4 - (t+1)^2$

Vì $(t+1)^2 \ge 0$ với mọi $t$, nên $-(t+1)^2 \le 0$.

Do đó, $P = 4 - (t+1)^2 \le 4$.

Vậy giá trị lớn nhất của $P$ là $4$.

Dấu "=" xảy ra khi $(t+1)^2 = 0 \Leftrightarrow t = -1$.

$\begin{cases} x - y = -1 \\ xy = 3 - (-1)^2 = 2 \end{cases}$

$x(x+1) = 2$

$\Leftrightarrow x^2 + x - 2 = 0$

$\Leftrightarrow (x-1)(x+2) = 0$

Với $x=1$, ta có $y = 1+1=2$.

Vậy giá trị lớn nhất của $P$ là $4$, đạt được khi $x=1$ và $y=2$.