44-åringen trente Östersund fra 2010 til 2018 før han tok over Swansea.
Det ble med den ene sesongen i den walisiske klubben før ferden gikk over grensa og helt sør i England.
Swansea kom på 10.-plass i Championship sist sesong.
Potter erstatter sparkede Chris Hughton.
Hughton fikk sparken til tross for at han holdt Brighton oppe i Premier League i to sesonger på rad. Denne sesongen havnet Brighton på 17.-plass.