Ta có: `sin2x=2sinxcosx`

Phương trình đã cho trở thành:

`cos^2x-sin^2x-\sqrt{3}*2sinx*cosx=1`

`<=>cos^2x-sin^2x-2\sqrt{3}sinx*cosx=sin^2x+cos^2x`

`<=>cos^2x-sin^2x-2\sqrt{3}sinx*cosx-sin^2x-cos^2x=0`

`<=>-2sin^2x-2\sqrt{3}*sinx*cosx=0`

`<=>sin^2x+\sqrt{3}*sinx*cosx=0`

Xét: `cosx=0=>sin^2x=1`

`=>1^2+\sqrt{3}*sin*0=0`

`=>1=0` (vô lý)

`->cosx=0` không phải là nghiệm 

Xét `cosx\ne0` ta chia 2 vế của phương trình cho `cos^2x` ta được:

`((sinx)/(cosx))^2+\sqrt{3}*(sinx)/(cosx)=0`

`<=>tan^2x+\sqrt{3}*tanx=0`

`<=>tanx(tanx+\sqrt{3})=0`

`<=>tanx=0` hoặc `tanx=-\sqrt{3}`

`<=>x=kpi(k\inZ)` hoặc `x=-pi/3+kpi(k\inZ)`

Vậy: `S={kpi;-pi/3+kpi|k\inZ}`