Ajatus erillisten kilpailujen järjestämisestä talvi- ja kesäurheilussa syntyi pian ensimmäisten olympialaisten jälkeen. Jonkin aikaa tämä kilpailu kuitenkin korvattiin Pohjoismaiden kisoilla, joita järjestettiin säännöllisesti Ruotsissa. Vuosi 1928 aloitti talviolympialaisten lähtölaskennan, minkä jälkeen pelit pidettiin 21 kertaa, ja yhdeksän maan kaupungeista kolmella mantereella tuli niiden mestareita.
Ensimmäisten talvipelien aikaan urheilijat eivät edes epäilneet osallistuvansa olympialaisiin. Helmikuussa 1924 he kokoontuivat pieneen Ranskan kaupunkiin Chamonix'hin kansainväliselle talviurheiluviikolle, jonka Pariisin kesäolympialaisten isännät järjestivät. Seuraavana vuonna kansainvälinen olympiakomitea päätti järjestää talvipelit säännöllisesti ja julisti Chamonix'ssa pidetyn kilpailun ensimmäiseksi talviolympialaisiksi. Näin amerikkalainen pikaluistelija Charles Jewtraw oppi yllätyksekseen, että hän oli ensimmäinen mestari talvipelien historiassa.
Toiset pelit on jo pidetty kaikkien sääntöjen mukaisesti - järjestettiin kaupunkikilpailu, ja avajaisissa voittaja Sveitsin St. Moritzissa sytytettiin olympiatuli. Ennen toisen maailmansodan aiheuttamaa taukoa olympialaisissa talvipelit pidettiin American Lake Placidissa (1932) ja saksalaisessa Garmisch-Partenkirchenissä (1936). Ensimmäiset sodanjälkeiset talvikilpailut pidettiin jälleen Sveitsin St. Moritzissa (1948), mutta Saksan ja Japanin sodan hävinneet urheilijat eivät olleet kutsuttuina niihin.
Vuonna 1956 talviolympialaiset saapuivat lopulta Euroopan palvelimelle, jonka valtiot saavat aina leijonanosan mitalista. Kuudennet pelit pidettiin Norjan pääkaupungissa Oslossa. 46 vuoden jälkeen Norja isännöi jälleen talviolympialaisia - 17. pelit pidettiin Lillehammerissa. Vaikka kummalliselta näyttääkin, mikään muu Pohjoismaat ei ole tähän mennessä järjestänyt talviolympialaisia. Mutta Yhdysvalloissa niitä pidettiin neljä kertaa (1932, 1960, 1980, 2002), Ranskassa - kolme kertaa (1924, 1968, 1992). Pelejä pelattiin kahdesti Japanissa (1972, 1998), Itävallassa (1964, 1976), Kanadassa (1988, 2010) ja Italiassa (1956, 2006). Kerran talviolympialaisten foorumi pidettiin Jugoslaviassa (1984). Vuonna 2014 Venäjä olisi lisättävä tähän luetteloon saatuaan oikeuden isännöidä XXII-pelejä, ja neljä vuotta myöhemmin - Etelä-Korea, josta tulee XXIII talviolympialaisten isäntä.
