西遞村是一處以宗族血緣關係為紐帶,胡姓聚族而居的古村落,該村源於公元11世紀。這裡的胡姓原為唐朝李氏皇帝的後裔,為躲避追殺到此避難,並世代繁衍生息於此。
西遞村四面環山,兩條溪流從村北、村東經過村落在村南會源橋匯聚,以一條縱向的街道和兩條沿溪的道路為主要骨架。所有街巷均以黟縣青石鋪地,古建築為木結構、磚牆維護,木雕、石雕、磚雕豐富多彩,巷道、溪流、建築佈局相宜。村落空間變化韻味有致,建築色調樸素淡雅,體現了皖南古村落人居環境營造方面的傑出才能和成就,具有很高的歷史、藝術、科學價值。