Николай Рубцов родился 3 января 1936 года в селе Емецк Архангельской области. В 1940 году переехал вместе с семьёй в Вологду, где Рубцовых и застала война. Мальчик рано остался сиротой — отец, Михаил Адриянович Рубцов (1900—1963), ушёл на фронт и погиб в 1941 (на самом деле отец бросил семью и жил отдельно в Вологде после войны). В 1942 умерла мать, и Николая направили в Никольский детский дом Тотемского района Вологодской области, где он окончил семь классов школы.Здесь родилась его дочь Елена в гражданском браке с Меньшиковой Генриеттой Михайловной. В селе Никольском на улице Н.Рубцова открыт дом-музей поэта (в здании бывшего детского дома).

Вологодская «малая родина» и Русский Север дали ему главную тему будущего творчества — «старинную русскую самобытность», стала центром его жизни, «землёй… священной», где он чувствовал себя «и живым, и смертным».

С 1950 по 1952 будущий поэт учился в Тотемском лесотехническом техникуме. Затем с 1952 по 1953 работал кочегаром в архангельском траловом флоте треста «Севрыба», с 1953 по 1955 учился в горно-химическом техникуме Минхимпрома в г. Кировск (Мурманская область) (интересно, что здесь в то же время заканчивал школу другой детдомовец и будущий известный писатель — Венедикт Ерофеев). С марта 1955 Рубцов был разнорабочим на опытном военном полигоне в Ленинграде.

С октября 1955 по 1959 проходил армейскую службу на Северном флоте (в звании матроса и старшего матроса). После демобилизации жил в Ленинграде, работая попеременно слесарем, кочегаром и шихтовщиком на Кировском заводе. Однако в душе он живёт поэзией, а потому решает изменить свою судьбу.

Рубцов начинает заниматься в литобъединении «Нарвская застава», знакомится с молодыми ленинградскими поэтами Глебом Горбовским, Константином Кузьминским, Эдуардом Шнейдерманом. В июле 1962 с помощью Бориса Тайгина выпускает свой первый машинописный сборник «Волны и скалы».

В августе 1962 Рубцов поступает в Литературный институт им. М. Горького в Москве и знакомится с Владимиром Соколовым, Станиславом Куняевым, Вадимом Кожиновым и другими литераторами, чьё дружеское участие не раз помогало ему и в творчестве, и в делах по изданию стихов. С пребыванием в институте вскоре возникли проблемы, однако поэт продолжает писать, и в середине 1960-х у него выходят первые сборники.

В 1969 Рубцов заканчивает Литературный институт, получает первую в своей жизни отдельную однокомнатную квартиру.

Николай Рубцов в своем стихотворении «Я умру в крещенские морозы» предвидел свою трагическую смерть. Он погиб случайно в семейной ссоре 19 января 1971 в своём вологодском доме номер 3 на улице, названной в честь земляка русского советского прозаика Александра Яшина, от руки женщины, которую собирался назвать своей женой — Людмилы Дербиной (Грановской), которая его убила, задушив собственными руками, буквально изодрала его горло, не выдержав обоюдного алкогольного дебоширства.

Похоронен в Вологде на Пошехонском кладбище.