på Landkadet Akademiet i København.

Faderen, Casimir von Scholten, blev kommandant på St. Thomas, hvor Peter begyndte sin karriere i den vestindiske hær. Englænderne besatte de danske øer i 1808, tog far og søn som krigsfanger og førte dem til fangenskab i Reading i England.

Hjemme i København blev Peter von Scholten ansat som adjudant hos kong Frederik 6. Han blev ligesom sin fader og brødre optaget som frimurer, stiftede familie og betydningsfulde venskaber, inden han vendte tilbage til St. Thomas for at begynde i en civil stilling som vejer- og postmester.
Han havde sin familie hjemme i Bredgade i København, en hemmelig datter på St. Thomas og et 20-årigt forhold til Anna Heegaard på St. Croix. Han var kreativ og altid i gang med et bygge- eller reformprojekt.

Han gjorde karriere og nåede koloniens højeste stilling som generalguvernør, enevældskongens repræsentant. En stilling han brugte målrettet til at fremme handelen på øerne og ikke mindst til at forbedre forholdene for de frikulørte og slaverne. Et arbejde, der skabte ham venner og uforsonlige fjender.