«I Can’t Remember» fue el tercer sencillo escrito por Bill Anderson, sin embargo con esta canción, fue co-escrito con su primera esposa, Bette Anderson. Se grabó en Nashville, Tennessee, el 17 de marzo de 1965 en el estudio B de la RCA Victor. La sesión fue producida por Bob Ferguson (que también produjo sus otros tres singles) y estuvo respaldada por el «Equipo A» de músicos de Nashville, que incluía a Charlie McCoy al bajo, Hargus «Pig» Robbins al piano y parte de la banda de gira de Anderson, The Po’ Boys. La narradora de la canción explica que su amante la llamó a altas horas de la noche explicándole que debía abandonar la ciudad. Aunque él le había dicho a dónde iba, la mujer no podía recordar, «pero no puede olvidar que se ha ido». El primer estribillo de la canción explica su argumento:
Dijo domingo al mediodía o un día de estos Creo que se marchó con Dan, pero ¿y si dijo Ann Fueron a buscar un tren o se marcharon para coger un avión No puedo recordar, pero no puedo olvidar que se ha ido
Al igual que sus dos anteriores singles publicados, «I Can’t Remember» contó con la participación de Smith en el acompañamiento de guitarra de la canción, además de cantar la voz principal.