« I Can’t Remember » était le troisième single écrit par Bill Anderson, cependant avec cette chanson, il a été coécrit avec sa première femme, Bette Anderson. Elle a été enregistrée à Nashville, Tennessee, le 17 mars 1965 au Studio B de RCA Victor. La session a été produite par Bob Ferguson (qui a également produit ses trois autres singles) et a été soutenue par la « A-Team » de musiciens de Nashville, qui comprenait Charlie McCoy à la guitare basse, Hargus « Pig » Robbins au piano, et une partie du groupe de tournée d’Anderson, The Po’ Boys. La narratrice de la chanson explique que son amant l’a appelée tard dans la nuit pour lui dire qu’il devait quitter la ville. Bien qu’il lui ait dit où il allait, la femme ne s’en souvient pas, « mais elle ne peut pas oublier qu’il est parti ». Le premier refrain de la chanson explique son intrigue :
A-t-il dit dimanche midi ou un jour prochain Je pense qu’il est parti avec Dan, mais s’il avait dit Ann Sont-ils allés à la rencontre d’un train ou partis pour prendre un avion Je ne peux pas me souvenir mais je ne peux pas oublier qu’il est parti
Comme ses deux précédents singles sortis, « I Can’t Remember » mettait en scène Smith interprétant l’accompagnement à la guitare de la chanson, ainsi que le chant principal.