Красносельские ворота построены в 1823-1824 гг. арх. Адамом Менеласом в неоготическом стиле, состояли из двух массивных кирпичных павильонов (караулок), соединенных чугунными воротами.
Первоначально служили постом охраны, в павильонах жили и несли службу сторожа. Своё второе название ворота получили из-за находившегося поблизости Павильона для слонов, в котором до 1917 г. жили императорские слоны.
Во время войны павильоны сильно пострадали. В 2005-2008 гг. проведена реставрация.