W zespole świątynnym Olimpii oddawano cześć bogowi niebios i ziemi - Zeusowi oraz jego siostrze i żonie - Herze. Miejscem poświęconym bogowi bogów był Święty Gaj - Altis leżący u stóp wzgórza Kronosa (gr. Kronion). Altis miał kształt nieregularnego czworoboku o wymiarach 200x175 m. (pow. ok.3,5 ha). Wokół niego w IV w. p.n.e. powstał mur z pięcioma bramami. W utworzonym w ten sposób świętym obszarze znajdowały się świątynie Zeusa (V w. p.n.e.) i Hery (Herajon), ale również grobowiec (Pelopion) lokalnego, na poły legendarnego, władcy (uznawanego przez niektórych badaczy za wcześniejsze lokalne bóstwo) - Pelopsa uprawnionego do odbierania ofiar przed Zeusem!
W świątyni Zeusa znajdował się jeden z cudów starożytnego świata - posąg Zeusa (dłuta Fidiasza), wykonany około 432 r. p.n.e., przedstawiający ojca bogów i ludzi w pozycji siedzącej. Dzieło, wykonane z drewna, pokryte złotymi płytkami oraz elementami z kości słoniowej, miało 12 m wysokości. W V w. n.e. posąg wywieziony został do Konstantynopola, gdzie spłonął doszczętnie w pożarze miasta.
Za wschodnim murem Altis usytuowany był stadion o wymiarach 212x29 m z bieżnią długości 192,27 m (600 stóp olimpijskich). Po jego zachodniej stronie znajdował się gimnazjon i palestra, gdzie zawodnicy przygotowywali się do startów. Przy południowym murze Altis położony był Buleuterion, siedziba Rady Olimpijskiej, gdzie zawodnicy składali przyrzeczenie przed startem w zawodach. Za murem północnym stał szereg skarbców poszczególnych państw-miast greckich, gdzie gromadzone były drogocenne przedmioty składane bogom, a także... sprzęt sportowy. W skarbcu Sykiończyków przechowywane były dyski, którymi posługiwali się wszyscy startujący w pentathlonie.
Na pewno pierwsze znane nam z daty (776 r. p.n.e.) igrzyska nie były historycznie pierwszymi. Zasadę zawieszania wojen na czas trwania zawodów sportowych łączą historycy z imionami króla Elidy Ifitosa, króla Sparty Likurga i króla Pisy Klejstenesa, którzy wprowadzili ten zwyczaj w roku 884 p.n.e.
W roku 776 p.n.e. igrzyska były już dobrze zorganizowanym przedsięwzięciem religijno-sportowym, trwającym początkowo jeden dzień. Z czasem, w skutek powiększania się ilości konkurencji, impreza rozciągnęła się do trzech dni (igrzyska 14 Olimpiady), by ostatecznie osiągnąć formę pięciodniową (od igrzysk 78 Olimpiady, 468 r. p.n.e.).
Początkowo w igrzyskach olimpijskich brały udział jedynie państwa Peloponezu z wyłączeniem Koryntu, który zabraniał udziału swym mieszkańcom! Dopiero w igrzyskach 12. Olimpiady wzięli udział zawodnicy spoza Peloponezu (Ateńczycy).
Nad prawidłowością przebiegu zawodów w Olimpii czuwali w pierwszym okresie królowie Elidy i Pisy. W roku 680 p.n.e. organizację igrzysk przejęli w swe ręce Elejczycy i wprowadzili urząd hellanodików. Do funkcji tej wybrani zostali dwaj przedstawiciele najstarszych rodów, a ich urząd przekazywany był dziedzicznie. W połowie VIII w. p.n.e. nadzór olimpijski przejęli znowu królowie Pisy, a od roku 580 p.n.e. powrócono do wspólnego zarządu, wraz z królami Elei.
W roku 400 p.n.e. (igrzyska 95. Olimpiady) przywrócono urząd hellanodików. Wybrano ich dziewięciu w drodze losowania wśród ludu elejskiego i dołączono dwóch uznanych za spadkobierców dawnych hellanodików. Zostali oni mianowani stróżami prawa (nomophylakes) mającymi pomagać dziewięciu wcześniej wybranym.
Liczba hellanodików zmieniała się. Początkowo było ich 8, 9, 10, lub nawet 12. Od igrzysk 108. Olimpiady aż do upadku igrzysk przyjęto liczbę dziesięciu. Trzech zajmowało się konkurencjami hippicznymi, trzech pentathlonem, trzech pozostałymi konkurencjami. Dziesiąty (atlotets) ozdabiał wieńcami skronie zwycięzców. Kadencja hellanodików trwała cztery lata i kończyła się miesiąc po zakończeniu igrzysk. Czuwali oni nad organizacyjnymi przygotowaniami igrzysk oraz nad prawidłowością ich przebiegu. Byli sędziami rozstrzygającymi wszelkie spory podczas rywalizacji i decydowali o przyznaniu zwycięstwa.
Najpełniejszy rozkwit osiągnęły igrzyska w okresie wojen perskich (500 - 449 r. p.n.e.). Olimpia była wówczas autentycznym centrum panhelleńskim, a rozgrywane regularnie co cztery lata igrzyska olimpijskie stały się świętem ogólnogreckim. W sto lat później, za sprawą wymienionego wcześniej Timajosa, stały się podstawą miary czasu.
Podczas zawodów rywalizowano w biegach, rzucie dyskiem i oszczepem, skoku w dal, zapasach, boksie oraz wyścigu konnym i wyścigu zaprzęgów.
Potęgą igrzysk olimpijskich zachwiała klęska Greków w bitwie pod Cheroneą (338 r. p.n.e.) i utrata niepodległości. Państwa greckie przeszły pod panowanie królów macedońskich, zaś w roku 146 p.n.e. stały się częścią imperium rzymskiego. Sport przybrał z czasem formę dochodowego rzemiosła o brutalnej często formie. Jednak igrzyska rozgrywano nadal jeszcze przez kilkaset lat, choć powolny ich upadek stał się nieunikniony.
W toku walk coraz częściej zdarzały się wypadki przekupstwa. Coraz więcej było chętnych do zasiadania na trybunach i obserwowania rywalizacji, zaś coraz trudniej było pozyskać nowych zawodników.
W roku 86 p.n.e. konsul rzymski Lucius Cornelius Sulla ograbił Olimpię ze zgromadzonych tu przez wieki skarbów a zawodnikom nakazał przybycie do Rzymu i uświetnienie uroczystości poświęconych swojej osobie. W Olimpii pozwolił pozostać zawodnikom dromosu, którzy jako jedyni mogli rywalizować o olimpijskie wieńce.
W III wieku naszej ery część budowli rozebrano jako źródło materiału do budowy fortyfikacji przeciwko zbliżającym się plemionom Heruldów, które tu jednak ostatecznie nie dotarły. Budowle, które wtedy legły w ruinie, już nigdy nie odzyskały swej pierwotnej formy.
Cios ostateczny igrzyskom olimpijskim wymierzył cesarz Teodozjusz I Wielki, który w roku 393 n.e. wydał zakaz organizowania igrzysk. Wkrótce (395 r.) spustoszeń Peloponezu dokonały plemiona gockie, zaś w roku 426 kolejny z cesarzy - Teodozjusz II nakazał spalenie Altis jako miejsca kultów pogańskich. W sto lat później pozostałości zniszczone zostały przez trzęsienie ziemi. Na ponad 1000 lat idea olimpijska poszła w zapomnienie.