[[Skelleftehamn]]'da doğan Silvstedt, bir ablası ve bir kız kardeşi olan ve [[Bollnäs]]'da<ref name="aftonbladetklick">{{citeHaber newskaynağı|url=http://www.aftonbladet.se/nojesbladet/klick/article4219163.ab|title=Victoria Silvstedt: "Har inte tid att parta" – Klick! – Nöjesbladet – Aftonbladet|last=Trus|first=Helena |date=2009-01-20|work=[[Aftonbladet]]|accessdate=29 December 2010}}</ref> beş kişilik bir ailede büyüdü. Biniciliğe meraklıydı ve bir veteriner olmak istiyordu. Silvstedt'in babası yerel bir kayak takımının kaptanı oldu ve beş yaşındayken dağ kayağına başladı. 1989 yılında, Silvstedt, Pernilla Wiberg]] tarafından düzenlenen dev slalom gençlik şampiyonasında dördüncü oldu.<ref>{{citeHaber newskaynağı|url=http://www.expressen.se/noje/1.245137/ab-silvstedts-miljardindustri|title=AB Silvstedts miljardindustri - Nöje - Expressen Nöje – Nöjesnyheter Musiknyheter Filmnyheter|last=Robert Börjesson|date=2007-02-10|work=[[Expressen]]|accessdate=29 December 2010}}</ref><ref>{{Web kaynağı | url = http://www.aftonbladet.se/wendela/article301114.ab | title = Från Hälsingland till Hollywood – Wendela – Aftonbladet | last = Andreas Utterström | date = 2005-07-25 | work = [[Aftonbladet]] | accessdate = 30 December 2010 | arşivurl = http://web.archive.org/web/20131005010503/http://www.aftonbladet.se/wendela/article301114.ab | arşivtarihi = 5 Ekim 2013}}</ref> Ancak, omzundan yaralı bir kayak yarışmasının ortasında bir kaza geçirerek 16 yaşındayken kayak kariyeri sona erdi.
Birkaç yıl sonra, annesi ve kız kardeşi görevlilere onun bazı resimlerini gönderdikten sonra, Silvstedt İsveç güzeli güzellik yarışmasına katılmak üzere davet edildi.
