Menurut sumber yang dipercaya oleh masyarakat desa Semen, sejarah awal yang babad desa Semen adalah Ki Demang Kerto Udo dan Ki Demang Merto Udo. dimulai sejak Jaman Kerajaan Mataram. Berawal dari rombongan prajurit mataram yang akan berperang dengan Kadipaten Madiun sampai di suatu tempat yang mana pohon – pohon mulai bersemi. Dari kata “SEMI” itulah lambat laun lidah orang jawa menyebutnya dengan kata “SEMEN” yang sampai sekarang menjadi nama desa, yaitu “DESA SEMEN”
Para pejabat Kepala Desa Semen semenjak berdirinya Desa Semen adalah sebagai berikut :