Родился в Киеве 4 июля 1918 года.
В 1922 году вместе с родителями переехал в Москву.
В 1936—1939 годах учился в ИФЛИ, затем также занимался и в Литературном институте им. Горького. Выделялся из группы молодых поэтов, собиравшихся на поэтическом семинаре И. Сельвинского (А. Яшин, М. Кульчицкий и другие). При жизни не публиковался, хотя его стихи были популярны в кругу московской литературной молодёжи. Совместно с другом Георгием Лепским сочинил несколько песен, в том числе песню «Бригантина» (1937), с которой позже, уже в 1960-е годы, началась его известность.
Ещё школьником дважды исходил пешком центральную Россию. Побывал в геологической экспедиции в Армении (где его застала война). Хотя по состоянию здоровья имел бронхит, стал военным переводчиком, дослужился до звания лейтенанта.
Коган и возглавляемая им разведгруппа попали в перестрелку на сопке Сахарная Голова под Новороссийском 23 сентября 1942 года, Коган был убит.