Le roman se déroule dans les premières années du 19ème siècle. Silas Marner, un tisserand, est membre d’une petite congrégation calviniste à Lantern Yard, une rue malfamée du nord de l’Angleterre. Il est faussement accusé d’avoir volé les fonds de la congrégation alors qu’il veillait sur le diacre très malade. Deux preuves impliquent Silas : un couteau de poche et la découverte dans sa propre maison du sac contenant l’argent. Il est fortement suggéré que le meilleur ami de Silas, William Dane, l’a piégé, puisque Silas avait prêté son couteau de poche à William peu avant que le crime ne soit commis. Le tirage au sort est effectué dans la conviction – partagée par Silas – que Dieu dirigera le processus et établira la vérité, mais il indique que Silas est coupable. La femme que Silas devait épouser rompt leurs fiançailles et épouse William à la place. Avec sa vie brisée, sa confiance en Dieu perdue et son cœur brisé, Silas quitte Lantern Yard et la ville pour une région rurale où il est inconnu.
Marner se rend dans le sud des Midlands et s’installe près du village rural de Raveloe dans le Warwickshire où il vit isolé et seul, choisissant de n’avoir qu’un contact minimal avec les résidents au-delà de son travail de tisserand de lin. Il se consacre corps et âme à son métier et en vient à adorer les pièces d’or qu’il gagne et thésaurise grâce à son tissage.
Par une nuit de brouillard, les deux sacs d’or sont volés par Dunstan (« Dunsey ») Cass, un fils cadet dissolu du Squire Cass, le principal propriétaire terrien de la ville. En découvrant le vol, Silas sombre dans une profonde dépression malgré les tentatives des villageois pour l’aider. Dunsey disparaît aussitôt, mais la communauté fait peu de cas de cette disparition puisqu’il s’est volatilisé plusieurs fois auparavant.
Godfrey Cass, le frère aîné de Dunsey, recèle également un passé secret. Il est marié mais séparé de Molly Farren, une ouvrière opiomane qui vit dans une autre ville. Ce secret empêche Godfrey d’épouser Nancy Lammeter, une jeune femme de la classe moyenne. Par une nuit d’hiver, Molly tente de se rendre au réveillon du Squire Cass avec sa fille de deux ans pour annoncer qu’elle est la femme de Godfrey. En chemin, elle s’effondre dans la neige et perd connaissance. L’enfant s’égare et entre dans la maison de Silas. Silas suit les traces de l’enfant dans la neige et découvre la femme morte. Lorsqu’il demande de l’aide à la fête, Godfrey se rend sur les lieux de l’accident, mais décide de ne dire à personne que Molly était sa femme. La mort de Molly, comme par hasard pour Godfrey et Nancy, met fin au mariage.
Silas garde l’enfant et la nomme Eppie, d’après sa mère et sa sœur décédées, toutes deux nommées Hephzibah. Eppie change complètement la vie de Silas. Silas a été dépouillé de son or matériel, mais pense qu’il le lui rend symboliquement sous la forme de l’enfant aux cheveux d’or. Godfrey Cass est maintenant libre d’épouser Nancy, mais il continue à lui cacher son précédent mariage et son enfant. Cependant, il aide Marner à s’occuper d’Eppie en lui offrant de temps en temps des cadeaux financiers. Dolly Winthrop, une gentille voisine de Marner, fournit une aide plus pratique et un soutien pour l’éducation de l’enfant. L’aide et les conseils de Dolly aident Marner non seulement à élever Eppie, mais aussi à les intégrer dans la société du village.
Six ans passent, et Eppie grandit et devient la fierté du village. Elle a un lien fort avec Silas, qui à travers elle a trouvé une place dans la société rurale et un but dans la vie. Pendant ce temps, Godfrey et Nancy pleurent leur propre absence d’enfant, après la mort de leur bébé. Finalement, le squelette de Dunstan Cass – qui tient toujours l’or de Silas – est retrouvé au fond de la carrière de pierre près de la maison de Silas, et l’argent est dûment rendu à Silas. Choqué par cette révélation, et prenant conscience de sa propre conscience, Godfrey avoue à Nancy que Molly était sa première femme et qu’Eppie est son enfant. Ils lui proposent de l’élever comme une fille de gentleman, mais cela signifie qu’Eppie doit renoncer à vivre avec Silas. Eppie refuse poliment mais fermement, disant : « Je ne peux penser à aucun bonheur sans lui. »
Silas revisite Lantern Yard, mais son ancien quartier a été « balayé » dans l’intervalle et remplacé par une grande usine. Personne ne semble savoir ce qui est arrivé aux habitants de Lantern Yard. Silas, lui, se résigne à ne jamais savoir et mène désormais une existence heureuse parmi sa famille et ses amis. Finalement, Eppie épouse un garçon du coin avec qui elle a grandi, Aaron, le fils de Dolly, et ils emménagent dans la maison de Silas, qui a été améliorée grâce à Godfrey. Les actions de Silas au fil des ans pour prendre soin d’Eppie ont apparemment procuré de la joie à tout le monde, et la famille élargie célèbre son bonheur.