“I Can’t Remember” was de derde single geschreven door Bill Anderson, maar met dit nummer werd het samen geschreven met zijn eerste vrouw, Bette Anderson. Het werd opgenomen in Nashville, Tennessee op 17 maart 1965 in RCA Victor’s Studio B. De sessie werd geproduceerd door Bob Ferguson (die ook haar drie andere singles produceerde) en werd ondersteund door Nashville’s “A-Team” van muzikanten, waaronder Charlie McCoy op basgitaar, Hargus “Pig” Robbins op piano, en een deel van Anderson’s tourende band, The Po’ Boys. De vrouwelijke verteller van het liedje vertelt hoe haar minnaar haar ’s avonds laat belde om uit te leggen dat hij de stad moest verlaten. Hoewel hij haar had verteld waar hij heen ging, kon de vrouw het zich niet herinneren, “maar kan niet vergeten dat hij weg is.” Het eerste refrein van het lied verklaart de verhaallijn:
Zei hij zondagmiddag of een dag later Ik denk dat hij met Dan vertrok, maar wat als hij Ann zei Gingen ze naar een trein of vertrokken ze om een vliegtuig te halen Ik kan het me niet herinneren, maar ik kan niet vergeten dat hij weg is
Net als haar vorige twee uitgebrachte singles, liet Smith de gitaarbegeleiding van het lied spelen, evenals de leadzang.