1863. augusztus 3-án született Gárdony-Agárdpusztán, a Nádasdy uradalomban, eredeti neve Ziegler Géza, aki írói pályafutása alatt számos álnéven publikált. A Gárdonyi vezetéknevet a település után választotta, ahonnan származott. Édesapja gépészmérnök volt, akinek nevéhez számos találmány fűződik, édesanyja elszegényedett kurtanemesi család sarja. Édesapja munkája miatt a család állandóan költözött, számos településen fordult meg.
Iskolai tanulmányai is több helyhez kötődnek, középiskolai tanulmányait a sárospataki kollégiumban, és a budapesti Kálvin téri református gimnáziumban végezte. Bavallása szerint nem volt valami lángész. Szakképesítést az egri érseki tanítóképzőben szerzett, mint kántor-tanító. Ezekben az években ösztöndíja mellett házitanítóskodott, majd a segédtanítói évében lapot szerkeszt, ami eleve halálra lett ítélve a környezet miatt. Pályafutását tanítói és újságírói tevékenység párhuzamosan jellemzi, írásait dunántúli és fővárosi lapok közölték.
1885. októberében feleségül vette Csányi Máriát, akitől négy gyermeke született. Feleségével Győrbe költözött, felhagyott tanítói tevékenységével, és újságírásból próbálta fenntartani családját. Magánélete nem volt sikeres, mivel 1892-től különválva éltek, majd 1907-ben házassága válással végződött. A válás után több nőbe lett szerelmes, a legkitartóbb plátói szerelem Tóth Ilonához, Milához kötötte, aki az egri évek alatt és haláláig kitartott mellette.
Egy ideig Aradon vállalt munkát, majd 1981-ben megromlott egészségi állapota miatt Budapestre költözött, ahol a Magyar Hírlap munkatársa lett. Ambrus Zoltánnal és Bródy Sándorral megalapították a Jövendőt, a kor színvonalas folyóiratát. 1897-től édesanyjával Egerben telepedett le, és vált a környezetében szimbólummá, egri remetének, kortársai láthatatlan embernek nevezték. Művei nagyrészét itt írta, magányában.
1899-ben kezdte el közölni a Pesti Hírlapban az Egri csillagokat, amelyet a Magyar Tudományos Akadémia 1902-ben Péczely-díjjal jutalmazott. Ezzel a művel vívta ki magának igazán az elsimerést az olvasók körében. 1901-ben készült el A láthatatlan emberrel, melynek cselekménye a hun Atilla udvarában játszódik, s amely a történelmi tárgyú regényei közül a leghíresebb lett. Zéta, a görög rabszolga szemével mutatja be a fejedelem udvarát, szerelmi kerettörténetbe ágyazva számos kérdést feltesz a hatalom, a halál és álom témakörökben. Árpádházi Szent Margit életét az Isten rabjai című regényben dolgozta fel 1908-ban.
Sok betegeskedés után 1922. október 30-án egri otthonában halt meg. Fia beszámolója szerint akarta magának a halált, utolsó hetében nem mozdult az ágyából, nem vett tollat a kezébe, s úgy rendelkezett, hogy csak szűk családi körben helyezzék örök nyugalomra a ház kertjében. A város azonban ezt méltatlannak érezte, és pompás temetést rendeztek a számára: az egri líceumban ravatalozták fel, tiszteletére a város mind a huszonhárom templomtornyában megkondították a lélekharangot, és bronzkoporsóban temették el az egri vár Bebek-bástyáján kialakított díszsírhelyen. Fejfájára végakarata szerint az azóta legendássá vált frázist vésték: „Csak a teste!”
Sokoldalú egyéniség volt, színműveket, meséket is írt, igazából nem lehet egységesen semmilyen stílusba besorolni; az irodalmi népiesség, szecesszió és a realizmus irányzataihoz állnak közel alkotásai. Sokan nem is tudjuk, hogy a Fel nagy örömre… kezdetű karácsonyi ének szövegét is ő írta.