“I Can’t Remember” fu il terzo singolo scritto da Bill Anderson, ma con questa canzone fu scritto insieme alla sua prima moglie, Bette Anderson. Fu registrata a Nashville, Tennessee il 17 marzo 1965 allo Studio B della RCA Victor. La sessione fu prodotta da Bob Ferguson (che produsse anche altri tre singoli) e fu supportata dall'”A-Team” di musicisti di Nashville, che includeva Charlie McCoy al basso, Hargus “Pig” Robbins al piano, e parte della band itinerante di Anderson, The Po’ Boys. La narratrice della canzone spiega come il suo amante la chiamò a tarda notte spiegandole che doveva lasciare la città. Anche se lui le aveva detto dove stava andando, la donna non riusciva a ricordare, “ma non può dimenticare che se n’è andato”. Il primo ritornello della canzone spiega la sua trama:
Ha detto domenica a mezzogiorno o un giorno presto Penso che sia partito con Dan, ma se avesse detto Ann Sono andati ad incontrare un treno o sono partiti per prendere un aereo Non riesco a ricordare ma non posso dimenticare che se n’è andato
Come i suoi due precedenti singoli pubblicati, “I Can’t Remember” vedeva Smith eseguire l’accompagnamento di chitarra della canzone, oltre a cantare la voce principale.