1905. április 11-én született Budapest külvárosi negyedében. Apja József Áron, szappanfőző munkás, édesanyja Pőcze Borbála, mosónő harmadik életben maradt gyerekeként. Szüleiről így vall A Dunánál c. versében: „Anyám kún volt, apám félig székely, / félig román, vagy tán egészen az. / Anyám szájából édes volt az étel, / apám szájából szép volt az igaz.” És a sors furcsa fintora, hogy apja otthagyja a három gyerekkel az édesanyát, amikor Attila hároméves volt, és kivándorol Amerikába, a jobb reményt keresve. Az utókor tudta meg csak, hogy Temesvárig jutott, és ott másik családot alapított. Nagyon nehéz lett a sorsa az addig boldog családocskának, nevelőszülőkhöz került a kis Attila, és nagyon mostoha dolgokat tapasztalt meg. Egyik legdurvább volt a kisgyerek számára, hogy a nevelőszülők nem ismerték az Attila nevet, és ezért Pistának nevezték, megállapítva, hogy Attila név nem létezik. Visszaemlékezéseiben ezt nevezi annak a hajtóerőnek, ami az irodalom felé terelte: „Ez nagyon megdöbbentett, úgy éreztem létezésemet vonták kétségbe.” Az Attila királyról szóló meséket, mondákat csak úgy falta. Gondolkodó, koravén gyerekké válásában ez az élmény meghatározó volt.
Aztán jött a világháború, ami még rontott a helyzeten. Egész éjszakán át tartó sorbanállások, éhezés, még több munka; újságot, vizet, forgót árul, hogy édesanyjának segítsen. A háború vége azonban számára nem a boldog megkönnyebbülést jelentette, hanem édesanyjánaktragikuselvesztését. A rokonokhoz élelemért utazott gyermek már nem találja édesanyját sehol, amikor visszatért, már el is temették. A Kései siratóban ezt az élményt önti szavakba a gyászát megélni nem tudó felnőttgyermek: „Ettelek volna meg!… Te vacsorádat / hoztad el – kértem én?” A végén summázza: „Kit anya szült, az mind csalódik végül, / vagy így, vagy úgy, hogy maga próbál csalni. / Ha küzd, hát abba, ha pedig kibékül, / ebbe fog belehalni.” Az ekkor tizennégy éves gyermeket sógora, Makai Ödön veszi gyámságába.
Egyik iskolát a másik után hagyja ott, ennek ellenére mindenik osztályt elvégzi. Felfogóképessége annyira éles volt, hogy tanulás nélkül megjegyzett mindent, a hatodik és hetedik osztályból összevont záróvizsgát tett, amire három hónap alatt készült fel. Tizenhét évesen verseit a Nyugat publikálta. A szegedi egyetem magyar-francia-filozófia szakára iratkozott be, amit nem fejezett be, mivel Horger Antal nyelvésztanára a Tiszta szívvel c. verséért elmarasztalta. Ezt később Születésnapomra c. versében meg is örökíti: „Ha örül Horger Antal úr, / hogy költőnk nem nyelvtant tanul, / sekély/ e kéj- / Én egész népemet fogom/ nem középiskolás fokon / taní- / tani!”
1925-ben Bécsbe megy, ahol nyomorúságát az jelzi leginkább, hogy négy hónapig lepedője sem volt. Tanult és tanított, így tartotta fenn magát. Majd Párizsbanbeiratkozott a Sorbonne-ra. Hazajött, magyar-francia levelezőként dolgozott a Külkereskedelmi Intézetnél. „Ekkor azonban olyan váratlan csapások értek, hogy bármennyit edzett az élet nem bírtam ki”, idegbajjal intézetbe utalták, és ezután írásaiból tartotta fenn magát. A Szép Szó c. irodalmi lapnak volt szerkesztője.
„Nincs alku – én hadd legyek boldog! / Másként akárki meggyaláz” jelenti ki Ars poeticajában, azonban ezt igazából soha nem érhette meg maradéktalanul, a nyomor, a nélkülözés kikezdte emberi, szerelmi kapcsolatát is. Élettársi kapcsolataiban nem tudott igazán feloldódni, nem is tartott egyik sem sokáig. Ennek ellenére szerelmes versei is gyönyörű pillanatokat idéznek: „Mikor az uccán átment a kedves, / galambok ültek a verebekhez”. A magány lényegét világítja meg a következő sor: „Mióta elmentél, itt hűvösebb”. Az Óda ihletője egy pillanatnyi látvány egy lillafüredi egyszeri találkozás, pedig azt hinnénk, egy egész életre szóló szerelem „Ízed, miként barlangban a csend, / számban kihűlve leng / s a vizes poháron kezed, / rajta a finom erezet, / föl-földereng.” Egy másik versében írja: „A semmi ágán ül szívem, / kis teste hangtalan vacog, / köréje gyűlnek szelíden / s nézik, nézik a csillagok” (Reménytelenül).
Nem talált választ kérdéseire sem a szerelemben, sem az emberekkel való kapcsolatában, de Isten is távolinak, passzívnak tűnik fel a versekből: „Hogyha golyóznak a gyerekek, / az isten köztük ott ténfereg.” Amit annyira keresett: az elfogadást, a szeretetet nem találta meg ebben a dimenzióban sem.
„Miért legyek én tisztességes? Kiterítenek úgyis! / Miért ne legyek tisztességes! Kiterítenek úgyis.” (Két hexameter) axiomájáig jutott el az emberekkel való kapcsolatában. Utolsó versei egyikében ezt írta: „Egyedül voltam én sokáig. / Majd eljöttek hozzám sokan. / Magad vagy, mondták; bár velük / voltam volna én boldogan. ” A Karóval jöttél… kezdetű versében pedig mély öniróniával veszi leltárba életét: „Szerettél? Magához ki fűzött? / Bujdokoltál? Vajon ki űzött? / Győzd, ami volt, ha ugyan győzöd, / se késed nincs, se kenyered.”
1937. decemberében bizonytalan körülmények között hunyt el. 1964 óta a születése napján tartják a magyar költészet napját.