Keskustellessaan III olympialaisen pitämistä koskevasta kysymyksestä kansainvälinen olympiakomitea päätti järjestää sen Yhdysvaltojen alueella, koska tämä maa osoitti hyviä tuloksia kahdessa edellisessä pelissä. Aluksi he halusivat pitää olympialaiset Chicagossa tai New Yorkissa, mutta sen seurauksena valinta laski pieneen satamakaupunkiin St. Louisiin.
III olympialaiset St. Louisissa pidettiin yhdessä Pariisin olympialaisten kanssa maailman näyttelyn yhteydessä. Näyttelyn paikallinen johto ei kuitenkaan pitänyt sitä kilpailijana, vaan päinvastoin yritti kaikin mahdollisin tavoin käyttää pelejä omiin mainontatarkoituksiinsa. Järjestäjät toivat lisäksi joitain vuoden 1900 Pariisin kesäolympialaisten virheitä. Kiinnostuksensa vuoksi maailman näyttelyyn kilpailut työnnettiin taustalle, ja itse olympialaiset kesti melkein 5 kuukautta (1. heinäkuuta - 23. marraskuuta 1904). Monet kilpailut järjestettiin erilaisten ammatillisten järjestöjen johdolla, mutta siitä huolimatta ne kaikki saivat olympialaisten arvonimen.
KOK: n mukaan St. Louis -kilpailuihin osallistui 12 maata. Ainoa osavaltio, joka osallistui kilpailuun ensimmäistä kertaa, oli Etelä-Afrikka. Pariisin olympialaisiin verrattuna osallistuvien maiden määrä on laskenut dramaattisesti. Pariisin kesäpeleihin osallistuneet 13 osavaltiota eivät voineet tulla St. Louisiin taloudellisista syistä. Tuolloin Japanin kanssa sodassa ollut Venäjä ei osallistunut kilpailuun.
III kesäolympialaisiin osallistui yhteensä 651 henkilöä, mukaan lukien 6 naista. He kilpailivat 94 sarjasta palkintoja 18 urheilulajissa. Suurin osa oli Yhdysvaltojen joukkue, he edustivat peleissä 533 ihmistä. Monissa urheilulajeissa (nyrkkeily, paini, vesipallo, jousiammunta ja tennis) vain amerikkalaiset urheilijat esiintyivät, joten pelit osoittivat selvästi maan paremmuuden.
St. Louisissa he alkoivat ensimmäistä kertaa palkita kolme, ei kahta, parhaan tuloksen osoittanutta urheilijaa. Kilpailun päävoittaja palkittiin kultamitalilla; toisen sijan saanut urheilija - hopea; ja kolmas sija palkittiin pronssimitalilla. Tämä perinne on säilynyt nykypäivään.
Epävirallisessa joukkuetapahtumassa osallistuvat maat sijoittuivat seuraavasti: I sija - USA (78 kultaa, 82 hopeaa, 78 pronssia), II sija - Saksa (4 kultaa, 4 hopeaa, 5 pronssia), III sija - Kuuba (4 kultaa, 2 hopeaa, 3 pronssimitalia).
