Эта замечательная усадьба связана со многими известнымиименами, оставившими огромный след в судьбе не только Москвы, но и всей страны. В 16-м веке здесь располагались палаты Дмитрия Пожарского. Затем владение перешло к братьям его жены — Голицыным.
Усадьба много раз переходила из рук в руки, и каждый перестраивал здание по своему вкусу В 1811 году новым хозяином дома на Большой Лубянке стал генерал-губернатор Москвы Ф. В. Ростопчин. Здесь жил Карамзин, сюда же привезли с Бородинского поля раненого генерала Багратиона. Во дворе перед домом произошел самосуд над "наполеоновским прокламатором" Верещагиным. Благодаря Л. Н. Толстому, описавшему эту сцену в своем романе "Война и мир", дом стал частью образа Москвы в мировой литературе.
В 1842 году владельцем стал герой войны 1812 года граф В. В. Орлов-Денисов. В 1860-х годах граф пристроил с двух сторон главного дома флигели одной с ним высоты и архитектурного стиля. С 1884 до 1917 года в доме размещалось правление "Московского страхового от огня общества".
В последующем домовладение принадлежало органам государственной безопасности, а с начала 1990-х годов — всевозможным организациям, например, "Инкомбанк". В 2000 году после банкротства банка усадьбу приобрело ЗАО "Эсида-М", которое через четыре года перепродало её ООО "Карс".
В 2007 году между ООО "Карс" и Мосгорнаследием было заключено соглашение об охране памятника федерального значения, но из-за невыполнения владедьцами здания обязательств, в 2009 году началось судебное слушание об изъятии дома в федеральную собственность. Усадьба перешла в государственную собственность и в 2016 году начались реставрационные работы. Ранее, в 1970-х годах здесь проводилась реставрация, но она коснулась только внутреннего декора.
Также на территории усадебного дома растет очень редкое для Москвы дерево — жостер даурский, который является охраняемым природным памятником.
Сегодня усадьба обретает новую жизнь…