Les habitants d'Annay-sur-Serein sont les Annaysiens et les Annaysiennes
Le village d'Annay-sur-Serein, autrefois appelé Annay-la-Rivière
L'église paroissiale Saint-Pierre XVIe et XVIIIe siècle abrite un triptyque daté 1608, exécuté par le peintre Menassier. Au sud du village s'élève le château de Moutot, près duquel fut implantée en 1880 une usine de ciment artificiel, transformée dans la 1ère moitié du 20e siècle en manchisterie. Plusieurs moulins étaient implantés le long de la rivière