Ярославский жд вокзал был построен в 1862 году между Красным прудом и Ленинградским вокзалом, в то время носившем название Николаевский вокзал. Поезда Ярославского вокзала до 1870 года ходили лишь до Сергиева Посада. Это была железная дорога длиной в 65 вёрст (69 км).
В 1902—1904 Ф. О. Шехтелем построено новое здание Ярославского вокзала в неорусском стиле. Воспользовавшись характерным для древнерусского зодчества принципом соединения в одно целое разнообразных по формам и масштабу построек, архитектор выделил объём главного пассажирского зала Ярославского вокзала, соединённого с вестибюлем и аванзалом и обеспечивающего прямой проход к жд перронам.
В наружном оформлении вестибюля Ярославского вокзала использованы пластически акцентированные формы гигантской входной арки, килевидного козырька над ней, обрамляющих её полукруглых пилонов со стилизованными крепостными башенками, высокой «теремной кровли» с подзором и венчающим гребнем, делающими облик здания Ярославского вокзала неповторимо причудливым. Вертикальному силуэту вестибюля вторит высокая левая башня с шатровым завершением. Верхнюю часть стен украшают керамические декоративные панно со стилизованными растительными орнаментами приглушённых тонов, соответствующих общему неяркому цветовому решению фасадов Ярославского вокзала, которое должно было рождать ассоциативные связи с образом русского Севера.
Перрон Ярославского вокзала был построен в 1910-х годах по проекту Л. Н. Кекушева. Во время реконструкции Ярославского вокзала в 1965—1966 годах прошлого столетия со стороны перрона пристроено помещение со сплошной стеклянной стеной.
В 1995 году закончилась вторая реконструкция Ярославского вокзала, целью которой являлось расширение площади для пассажиров, улучшение обслуживания в связи с возросшими пассажиропотоками. В результате перепланировки внутренних помещений Ярославского вокзала высвободилась площадь, позволяющая увеличить в два раза число обслуживаемых пассажиров, более удобно расположены 35 билетных жд касс, для чего кассовый зал вынесен на первый этаж Ярославского вокзала, а освободившаяся площадь (1,5 тыс. кв.м) переоборудована под зал ожидания; отремонтированы галерея, колонный зал; заново отделан потолок, смонтированы автоматические средства пожаротушения, электронная информационная система.