Akcja powieści toczy się w pierwszych latach XIX wieku. Silas Marner, tkacz, jest członkiem małej kalwińskiej kongregacji w Lantern Yard, slumsowej ulicy w północnej Anglii. Zostaje on niesłusznie oskarżony o kradzież funduszy kongregacji podczas czuwania nad bardzo chorym diakonem. Dwa dowody wskazują na Silasa: scyzoryk oraz znalezienie w jego własnym domu torby, w której wcześniej znajdowały się pieniądze. Istnieje silna sugestia, że najlepszy przyjaciel Silasa, William Dane, wrobił go, ponieważ Silas pożyczył Williamowi swój scyzoryk na krótko przed popełnieniem przestępstwa. Losy zostają rozlosowane w przekonaniu – podzielanym przez Silasa – że Bóg pokieruje procesem i ustali prawdę, ale wskazują one na winę Silasa. Kobieta, którą Silas miał poślubić, zrywa zaręczyny i zamiast niego wychodzi za Williama. Z rozbitym życiem, utraconą wiarą w Boga i złamanym sercem Silas opuszcza Lantern Yard i miasto, by udać się na wieś, gdzie jest nieznany.
Marner udaje się na południe, do Midlands i osiedla się w pobliżu wiejskiej wioski Raveloe w Warwickshire, gdzie żyje w izolacji i samotności, decydując się na minimalny kontakt z mieszkańcami poza pracą tkacza lnu. Poświęca się bez reszty swojemu rzemiosłu i uwielbia złote monety, które zarabia i gromadzi z tkactwa.
Jednej mglistej nocy dwa worki złota kradnie Dunstan („Dunsey”) Cass, rozpuszczony młodszy syn giermka Cassa, głównego właściciela ziemskiego miasteczka. Po odkryciu kradzieży Silas popada w głęboką depresję, mimo prób pomocy ze strony mieszkańców miasteczka. Dunsey natychmiast znika, ale społeczność niewiele sobie z tego robi, bo zniknął już wcześniej kilka razy.
Godfrey Cass, starszy brat Dunseya, również skrywa tajemniczą przeszłość. Jest żonaty, ale zrażony do Molly Farren, uzależnionej od opium kobiety z klasy robotniczej, mieszkającej w innym mieście. Tajemnica ta uniemożliwia Godfreyowi poślubienie Nancy Lammeter, młodej kobiety z klasy średniej. W zimową noc Molly próbuje dotrzeć z dwuletnią córeczką na sylwestrowe przyjęcie u giermka Cassa, by ogłosić, że jest żoną Godfreya. Po drodze zapada się w śniegu i traci przytomność. Dziecko oddala się i wchodzi do domu Silasa. Silas śledzi ślady dziecka w śniegu i odkrywa, że kobieta nie żyje. Kiedy idzie do partii o pomoc, Godfrey głowy na zewnątrz do miejsca wypadku, ale postanawia powiedzieć nikomu, że Molly była jego żona. Śmierć Molly, dogodnie dla Godfreya i Nancy, kładzie kres małżeństwu.
Silas utrzymuje dziecko i nazywa ją Eppie, po jego zmarłej matki i siostry, zarówno o nazwie Hephzibah. Eppie całkowicie zmienia życie Silasa. Silas został okradziony ze swojego materialnego złota, ale myśli, że zostało mu ono zwrócone symbolicznie w postaci złotowłosego dziecka. Godfrey Cass jest teraz wolny i może poślubić Nancy, ale nadal ukrywa przed nią fakt swojego poprzedniego małżeństwa i dziecka. Pomaga jednak Marnerowi w opiece nad Eppie okazjonalnymi darami pieniężnymi. Bardziej praktyczną pomoc i wsparcie w wychowaniu dziecka zapewnia Dolly Winthrop, życzliwa sąsiadka Marnera. Pomoc i rady Dolly pomagają Marnerowi nie tylko w wychowaniu Eppie, ale także w zintegrowaniu ich ze społeczeństwem wsi.
Mija szesnaście lat, a Eppie wyrasta na dumę wsi. Ona ma silną więź z Silas, który przez nią znalazł miejsce w społeczeństwie wiejskim i cel w życiu. Tymczasem Godfrey i Nancy opłakują swój własny bezdzietny stan, po śmierci swojego dziecka. W końcu szkielet Dunstana Cassa – wciąż trzymającego w ręku złoto Silasa – zostaje znaleziony na dnie kamieniołomu niedaleko domu Silasa, a pieniądze zostają mu zwrócone. Wstrząśnięty tą rewelacją, i dochodząc do realizacji własnego sumienia, Godfrey wyznaje Nancy, że Molly była jego pierwszą żoną i że Eppie jest jego dzieckiem. Oferują ją wychowywać jako córka dżentelmena, ale to oznaczałoby, Eppie musiałby porzucić życie z Silasem. Eppie grzecznie, ale stanowczo odmawia, mówiąc: „Nie mogę myśleć o żadnym szczęściu bez niego.”
Silas powraca do Lantern Yard, ale jego stara okolica została „zmieciona” w międzyczasie i zastąpiona przez wielką fabrykę. Nikt nie wie, co stało się z mieszkańcami Lantern Yard. Silas pogodził się z faktem, że nigdy się tego nie dowie i wiedzie teraz szczęśliwą egzystencję wśród samodzielnie stworzonej rodziny i przyjaciół. W końcu Eppie poślubia miejscowego chłopca, z którym dorastała, syna Dolly, Aarona, i wprowadzają się do domu Silasa, który został nowo ulepszony dzięki uprzejmości Godfreya. Działania Silasa przez lata w opiece nad Eppie najwyraźniej dostarczyły radości wszystkim, a rozszerzona rodzina świętuje swoje szczęście.