Ateenassa pidetyt vuoden 1906 olympialaiset osoittautuivat poikkeuksellisiksi, koska niiden järjestäjät eivät noudattaneet vaatimusta perinteisestä neljän vuoden tauosta pelien välillä. Tästä syystä olympialaisia ei edes tunnustanut virallisesti Kansainvälinen olympiakomitea.
Vuoden 1906 kisat pidettiin Ateenassa pidetyn ensimmäisen olympialaisen kymmenvuotispäivän kunniaksi. Korostaakseen kahden tapahtuman välistä yhteyttä olympialaisten järjestäjät valitsivat saman kilpailujärjestelmän kuin vuonna 1896. Suurimmaksi osaksi kilpailut pidettiin Marble Stadiumilla.
Aluksi, kun Kreikalta saatiin ehdotus olympialaisten järjestämisestä vuonna 1906, KOK ei kieltäytynyt kategorisesti. Tosiasia on, että siihen aikaan olympialaisten arvostus oli laskenut, eikä yleisö enää osoittanut entistä kiinnostusta niitä kohtaan. Olympialiikkeen lopullisen romahduksen estämiseksi oli tarpeen ryhtyä toimenpiteisiin, eikä enää ollut mahdollisuutta odottaa vuoteen 1908. Ja vaikka KOK kieltäytyy myöhemmin tunnustamasta vuoden 1906 olympialaisia, sitä kutsutaan pelien pelastamiseksi, mikä antoi yleisölle ja erityisesti urheilijoille mahdollisuuden palata tapahtumaan tukemaan liikettä ja sen ideaa.
Vaikeus oli myös siinä, että perinteiden mukaan olympialaiset piti järjestää maailman eri maissa, mutta vuonna 1906 tapahtuma oli tarkoitus pitää Kreikassa, mikä aiheutti KOK: n jäsenten tyytymättömyyttä. Tavalla tai toisella, mutta 22. huhtikuuta pidettiin pelien avajaiset. Koska media keskittyi vuoden 1906 olympialaisiin, monet urheilijat ja vieraat saapuivat Ateenaan.
Tapahtumaan osallistui noin 900 urheilijaa 20 maasta, lisäksi heidän joukossaan oli seitsemän naista. Osana vuoden 1906 olympialaisia kilpailut järjestettiin seuraavilla urheilulajeilla: painonnosto, kreikkalais-roomalainen paini, miekkailu, soutu, purjehdus, uinti, sukellus, yleisurheilu, ansa- ja luodin ammunta, pyöräily ja tennis. Valitettavasti, koska KOK ei tunnustanut vuoden 1906 olympialaisia, kaikki sen osallistujien saamat palkinnot olivat pätemättömiä eikä niitä otettu huomioon tulevaisuudessa.
Olympialaisten päättäjäiset pidettiin 2. toukokuuta. Tapahtuman päättymisen jälkeen sen tuloksista keskusteltiin pitkään eri maissa, mikä lisäsi merkittävästi yleisön kiinnostusta peleihin. Tämä tuli erityisen havaittavaksi vuoden 1908 Lontoon olympialaisissa, joihin osallistui yli 2000 urheilijaa.
