„I Can’t Remember” był trzecim singlem napisanym przez Billa Andersona, jednak w przypadku tej piosenki, był on współtworzony z jego pierwszą żoną, Bette Anderson. Został on nagrany w Nashville, Tennessee 17 marca 1965 roku w RCA Victor’s Studio B. Sesja została wyprodukowana przez Boba Fergusona (który również wyprodukował jej trzy inne single) i została wsparta przez Nashville’s „A-Team” muzyków, który obejmował Charlie McCoy na gitarze basowej, Hargus „Pig” Robbins na pianinie, i część zespołu Anderson’s touring, The Po' Boys. Narratorka piosenki opowiada, jak jej kochanek zadzwonił do niej późno w nocy, tłumacząc, że musi wyjechać z miasta. Chociaż powiedział jej, dokąd się wybiera, kobieta nie mogła sobie przypomnieć, „ale nie może zapomnieć, że go nie ma”. Pierwszy refren piosenki wyjaśnia jej fabułę:
Czy powiedział Sunday noon czy one day soon I think he left with Dan, but what if he said Ann Did they go to meet a train or leave to catch a plane I can’t remember but I can’t forget he’s gone
Like her previous two singles released, „I Can’t Remember” featured Smith performing the song’s guitar accompaniment, as well as singing lead vocals.