Bogens første del, Portræt af en usynlig mand, har den traditionelle erindrings klare karakter og omhandler Austers tanker ved sin fars død. Efter farens fredelige død af et hjerteslag forsøger Auster ikke blot at genfinde, men nærmere opfinde den far, der aldrig afslørede sig, mens han levede. Faren forblev en gåde til sin død, en mand der aldrig var til stede for sig selv eller andre og derfor heller ikke kan genopstå i erindringen. Han var en usynlig mand. Men i eftersøgningen af sin fars, og dermed sin egen, identitet kommer Auster ved et tilfælde på sporet af en gåde, der hviler som en forbandelse over familien og tilbyder, om ikke en forklaring, så dog en fortolkningsramme til farens fremmedgørelse.

I bogens anden del, Erindringens bog, skifter perspektivet til Austers betragtninger over sin egen rolle som far. Essayets "hovedperson" A reflekterer over adskillelsen fra sin egen søn, sin egen døende bedstefar og over fortællingens og skriveprocessens natur.

"Opfindelsen af ensomhed er både visionær og varm, mystisk og dog yderst menneskelig i sit indhold, der næsten siger det hele om at være søn og far - og mand".
- Bo Tao Michaëlis, Politiken.