1764년에 예카테리나 2세가 미술품을 수집한 것이 에르미타시의 기원이다. 본래는 예카테리나 2세 전용의 미술관으로, 프랑스어로는 "은둔지"를 의미하는 "에르미타시"라고 하는 명칭도 거기에서 유래되었다. 초기에는 왕족과 귀족들의 수집품을 모았으나, 19세기말에는 일반인에게도 개방되었다.
'에르미타시'라는 이름은 고대 그리스어로 은둔자를 뜻하는 eremites 에서 비롯된다. 이러한 이름이 주어진 배경에는 에르미타시 초기, 굉장히 한정된 사람만 들어올 수 있었기에 왕과 귀족들간 '은둔자의 집' 이라 불렸던 이력이 있다.
원래, 소장품을 수납한 유일한 건물은 "작은 암자"였다. 오늘날, 에르미타주 박물관은 궁전 제방 및 그 동네에있는 많은 건물을 포함한다. 소규모 암자를 제외하고 박물관에는 현재 "구 에르미타주"( "대형 암자"라고도 함), "신 에르미타주", "[에르미타즈 박물관]"및 "겨울 궁전 ", 러시아 차르(Tsar)의 이전 주요 거주지였다. 최근 몇년 동안, 암자는 겨울 궁전을 마주보고있는 궁전 광장과 멘시코브 궁전(Menshikov Palace)의 스테프 빌딩[General Staff Building]으로 확대되었다.
