De roman speelt in de beginjaren van de 19e eeuw. Silas Marner, een wever, is lid van een kleine calvinistische gemeente in Lantern Yard, een achterbuurt in Noord-Engeland. Hij wordt er valselijk van beschuldigd het geld van de congregatie te hebben gestolen terwijl hij op de erg zieke diaken lette. Twee bewijsstukken wijzen Silas aan: een zakmes, en de ontdekking in zijn eigen huis van de tas waarin het geld vroeger zat. Er wordt sterk gesuggereerd dat Silas’ beste vriend, William Dane, hem erin heeft geluisd, aangezien Silas zijn zakmes aan William had uitgeleend kort voordat het misdrijf werd gepleegd. Er worden lootjes getrokken in de overtuiging – die door Silas wordt gedeeld – dat God het proces zal leiden en de waarheid zal vaststellen, maar zij wijzen erop dat Silas schuldig is. De vrouw met wie Silas zou trouwen verbreekt hun verloving en trouwt in plaats daarvan met William. Met zijn leven aan diggelen, zijn vertrouwen in God verloren en zijn hart gebroken, verlaat Silas Lantern Yard en de stad voor een landelijk gebied waar hij onbekend is.
Marner reist naar de Midlands en vestigt zich in de buurt van het plattelandsdorp Raveloe in Warwickshire waar hij geïsoleerd en alleen leeft en ervoor kiest om slechts minimaal contact met de bewoners te hebben buiten zijn werk als linnenwever. Op een mistige nacht worden de twee zakken met goud gestolen door Dunstan (“Dunsey”) Cass, een losbandige jongere zoon van landheer Cass, de grootste landeigenaar van het stadje. Bij de ontdekking van de diefstal raakt Silas in een diepe depressie, ondanks de pogingen van de dorpelingen om hem te helpen. Dunsey verdwijnt onmiddellijk, maar de gemeenschap maakt weinig uit van deze verdwijning omdat hij al meerdere malen eerder is verdwenen.
Godfrey Cass, Dunsey’s oudere broer, heeft ook een geheim verleden. Hij is getrouwd met, maar vervreemd van Molly Farren, een aan opium verslaafde arbeidersvrouw die in een andere stad woont. Dit geheim verhindert Godfrey te trouwen met Nancy Lammeter, een jonge vrouw uit de middenklasse. Op een winternacht probeert Molly met haar tweejarig meisje naar het nieuwjaarsfeest van schildknaap Cass te gaan om aan te kondigen dat ze Godfrey’s vrouw is. Onderweg zakt ze in elkaar in de sneeuw en verliest het bewustzijn. Het kind dwaalt weg en komt Silas’ huis binnen. Silas volgt de sporen van het kind in de sneeuw en ontdekt dat de vrouw dood is. Als hij naar het feest gaat voor hulp, gaat Godfrey naar buiten naar de plaats van het ongeluk, maar besluit niemand te vertellen dat Molly zijn vrouw was. De dood van Molly, die Godfrey en Nancy goed uitkomt, maakt een einde aan het huwelijk.
Silas houdt het kind en noemt haar Eppie, naar zijn overleden moeder en zus, die beiden Hephzibah heten. Eppie verandert Silas’ leven volledig. Silas is beroofd van zijn materiële goud, maar denkt dat hij het symbolisch terugkrijgt in de vorm van het goudharige kind. Godfrey Cass is nu vrij om met Nancy te trouwen, maar blijft het feit van zijn vorige huwelijk – en kind – voor haar verborgen houden. Hij helpt Marner echter bij de zorg voor Eppie door af en toe wat geld te geven. Meer praktische hulp en steun bij de opvoeding van het kind wordt geboden door Dolly Winthrop, een vriendelijke buurvrouw van Marner. Dolly’s hulp en advies helpen Marner niet alleen bij de opvoeding van Eppie, maar ook bij de integratie in de dorpssamenleving.
Zestien jaar gaan voorbij, en Eppie groeit op tot de trots van het dorp. Ze heeft een sterke band met Silas, die door haar een plaats heeft gevonden in de plattelandsgemeenschap en een doel in het leven. Ondertussen rouwen Godfrey en Nancy om hun eigen kinderloosheid, na de dood van hun baby. Uiteindelijk wordt het skelet van Dunstan Cass, die nog steeds het goud van Silas vasthoudt, gevonden op de bodem van de steengroeve bij Silas’ huis, en het geld wordt aan Silas teruggegeven. Geschokt door deze onthulling, en tot het besef van zijn eigen geweten, bekent Godfrey aan Nancy dat Molly zijn eerste vrouw was en dat Eppie zijn kind is. Ze bieden aan om haar op te voeden als een dochter van een heer, maar dit zou betekenen dat Eppie het leven met Silas zou moeten opgeven. Eppie weigert beleefd maar resoluut en zegt: “Ik kan niet denken aan geluk zonder hem.”
Silas bezoekt Lantern Yard opnieuw, maar zijn oude buurt is in de tussenliggende jaren “weggevaagd” en vervangen door een grote fabriek. Niemand lijkt te weten wat er met de bewoners van Lantern Yard is gebeurd. Silas legt zich er echter bij neer dat hij het nooit te weten zal komen en leidt nu een gelukkig bestaan te midden van zijn zelfverzonnen familie en vrienden. Uiteindelijk trouwt Eppie met een jongen uit de buurt met wie ze is opgegroeid, Dolly’s zoon Aaron, en trekken ze in Silas’ huis, dat dankzij Godfrey is opgeknapt. Silas’ jarenlange zorg voor Eppie heeft blijkbaar iedereen vreugde gebracht, en de uitgebreide familie viert haar geluk.