Giả sử số học sinh trong mỗi hàng ban đầu là `x` và số hàng ban đầu là `y`. Tổng số học sinh là `xy`.

Nếu mỗi dãy tăng thêm 1 học sinh, số dãy giảm 1 thì có 7 học sinh thừa ngoài hàng:

`(x+1)(y−1)+7=xy`

Nếu mỗi dãy giảm đi 3 học sinh, số dãy tăng thêm 2 thì có 18 học sinh thừa ngoài hàng:

`(x−3)(y+2)+18=xy`

theo pt `(1)` ta có:

`(x+1)(y−1)+7=xy`

⇒`xy−x+y−1+7=xy`

⇒`−x+y+6=0`

⇒`y=x−6`

theo pt (2) ta có

`(x−3)(y+2)+18=xy`

⇒`xy+2x−3y−6+18=xy`

⇒`2x−3y+12=0`

⇒`2x−3(x−6)+12=0`

⇒`2x−3x+18+12=0`

⇒`−x+30=0`

⇒`x=30`

Thay `x=30`vào phương trình `y=x−6`

⇒`y=30−6`

⇒`y=24`

Vậy tổng số học sinh là:

`xy=30×24=720`