Gyermekkora nem volt könnyű: öt éves korában édesanyja elhagyta a családot; apja, aki tagja volt a hírhedt Kray-ikrek bandájának, többször is összetűzésbe került a törvénnyel, folyamatosan adósságokat halmozott fel, egyszer pedig biztosítási csalás miatt börtönbe is került. Le Carré később bevallotta, a relytélyek iránti lelkesedésének oka az apja alakját körüllengő titokzatosságban keresendő, olyannyira, hogy ő ihlette a Tökéletes kém című 1986-os regényét is.
A középiskolát a Berkshire-i Szent András Előkészítő Iskolában kezdte, majd a Sherborne Iskolában folytatta, ám mindkettőben rosszul érezte magát: a szigorú és kemény közoktatási rendszer csak ellenérzéseket váltott ki belőle; kezdte egyre növekvő gyanakvással szemlélni a társadalmi intézményrendszert.
1948-tól 1949-ig idegen nyelveket tanult a Berni Egyetemen, Svájcban; itt találkozott egy angol diplomatával, aki feltehetően a hírszerző szolgálatnak dolgozott, és ekkor szeretett bele a kémkedés világába. 1950-ben csatlakozott a Brit Hadsereg Hírszerzési Testületének ausztriai helyőrségéhez, mint német nyelvű vallató, akinek feladata a Vasfüggönyön átkelő emberek kihallgatása volt.
1952-ben visszatért Angliába hogy az oxfordi Lincoln College-ban modern nyelveket tanuljon, emellett pedig az MI5-nak kémkedett szélsőbaloldali csoportokba beépülve, lehetséges szovjet ügynökök után kutatva. Amikor 1954-ben apja tönkrement, abbahagyta a főiskolát, hogy egy fiúiskolában tanítson, ám egy évvel később visszatért Oxfordba, és lediplomázott. Ezután két évig franciát és németet tanított az Eton Kollégiumban, majd 1958-ban tiszti rangot kapott az MI5-nál: ügynököket vezérelt, kihallgatásokat szervezett, telefonvonalakat hallgatott le és betöréseket hajtott végre. Lord Clanmorris (aki John Bingham írói álnéven bűnügyi regényeket írt) ösztönzésére kezdett bele az írásba, az 1961-es Ébresztő a halottaknak volt az első regénye. Ezen felül Lord Clanmorris volt az egyik fő inspirációs forrás George Smiley karakterének a megszületéséhez, aki később is visszatérő szereplője lett le Carré regényeinek, többek közt a Karla-trilógia főszereplője is.
1960-ban áthelyezték a külföldi hírszerzéshez, az MI6-hez és másodtitkárként beépülve dolgozott a bonni Brit Követségen, ahonnan később politikai konzulként áthelyezték Hamburga. Itt írta meg 1962-ben az A Murder Of Quality című detektívregényt, majd egy évvel később A kém, aki bejött a hidegről-t. Mindkettőt John le Carré írói álnéven jelentette meg, mivel a Külügyminisztérium hivatalnokainak tilos volt bármit is publikálni saját nevük alatt. Az utóbbi regény hatalmas sikere miatt 1964-ben kilépett a hírszerzéstől, hogy csak az írásnak szentelhesse az életét. A legutolsó ügye mint hírszerzési ügynök Kim Philby, kettős ügynök árulása volt, aki a KGB-nek több brit ügynök kilétét is felfedte. 1974-ben ezt örökítette meg az Árulás című regényében, a Karla-trilógia első részében.
Állítása szerint célja az volt, hogy a hírszerzés világát egy merőben új nézőpontból közelítse meg: “Amikor elkezdtem írni, Ian Fleming már magasan szárnyalt és James Bond alakjában már megteremtődött a tipikus kém, aki gyönyörű nőket hódít meg, száguldó autókat vezet és valamilyen csel folytán mindig megmenekül.”
Áttörő regénye, A kém, aki bejött a hidegről a James Bond figura egy új alternatíváját teremtette meg, egy új hőstípust. Graham Greene az általa olvasott kémregények legjobbikának tekinti a könyvet, ami nem csoda hisz 1964-ben Le Carré elnyerte vele a Somerset Maugham-díjat is , ami harmincöt évnél fiatalabb brit íróknak tette lehetővé, hogy külföldön fejleszthessék az írói képességeiket.
1954-ben az író feleségül vette Alison Ann Veronica Sharpot akitől három fia született: Simon, Stephen és Timothy, ám 17 év házasság után, 1971-ben elváltak. Egy évvel később a Hodder & Stoughton kiadó szerkesztőjével, Valérie Jane Eustace-szel kötötte össze az életét, akitől egytelen fia született, Nicholas, aki Nick Harkaway néven ír.
A Szovjetúnió bukása és Németország újraegyesítése után regényei témája megváltozott: történetei helyszínéül többek között szovjet utódállamokat, Közép-Amerikát, illetve az utóbbi időben Afrikát választotta. Az 1993-ban megjelent Éjszakai portás témája a drogcsempészet, A panamai szabó a diktatúra bukása utáni tétova demokrácia bűnözéssel és korrupcióval teli világába kalauzolja az olvasót, a Single and Single egy apa-fiú történet, mely az orosz maffia világába enged betekintést, az Elszánt diplomata, az író 18.-ik regénye Észak-Kenyában játszódik, A zebra dalá-ban pedig a kongói üzleti és politikai élet komplex viszonyába nyerhetünk bepillantást.
Regényeiből számos filmet és filmsorozatot forgattak, ráadásul egy ideje előszeretettel vesz részt ezeknek a megfilmesítésében: A panamai szabó és az Elszánt diplomata esetében a forgatókönyvet részben ő maga írta. Legutóbb Peter Morgannel dolgozott az Árulás forgatókönyvén, a filmet Tomas Alfredson rendezte, a főhőst, George Smiley-t pedig Gary Oldman játszotta.
John Le Carré számos regénnyel érdemelte ki, hogy századunk kémirodalmának egyik legnagyobb írójának tekintsék. 1990-ben megkapta az évente átadásra kerülő Helmerich díjat, 2008-ban a Times a huszonkettedik helyre rangsorolta az „50 legnagyobb brit író 1945 óta” című listáján, idén pedig a Goethe díjat is átvehette.
