Nachází se v nadmořské výšce 550 m jižně od Svitav. K obci náleží osada Půlpecen. Okolní krajina je kopcovitá a lesnatá, s bohatým výskytem lesní zvěře, zejména daňků a spoustou černé zvěře. Roste zde také mnoho hub a borůvek. První písemná zmínka o obci je z r. 1241 z dob vlády Václava I. Název obce je odvozen od majitele Chrastavské tvrze Oldřicha Chrastavského. Tato tvrz byla součástí obranné linie proti nájezdům a vetřelcům zvenčí a tvořily ji Boskovský hrad, Chrastovská tvrz, Klášter Majdalenka (Svojanov) a hrad Svojanov. Mezi Chrastavcem a osadou Půlpecen se nachází les Rohles. Obec má zemědělský charakter, proto jsou obytná stavení v těsné blízkosti vozovky, která po celé vsi značně stoupá. Dominantou obce je kostelík Nejsvětější Trojice a chloubou je kulturní dům Hudálna, obklopen krásnou přírodou.