小上峪村位于黄庄西6.7公里处，西靠205国道，南与新泰市接壤。有村民1379人，19个姓氏，以刘、董、吴姓为主。1180亩耕地，2000亩山滩。
　　据《刘氏家谱》载：“吾先祖复初，于明洪武年间知新泰县任满，卜居邑东赘山之阴河庄，后繁居非一处也。始祖讳自荣自孙家庄岸头卜居上峪庄。”以地貌与东村对应，取名小上峪（《沂源县志》载）。作为村庄，建村说法不一，或曰辛、段两姓建村，或曰王姓建村。后王姓没有后裔，失传，衰落。
　　建国前小上峪隶属蒙阴县；民国初年（1912年）为蒙阴县北一区，历山社；1939年在黄庄一带成立人民政权属蒙阴县管辖；1940年归新泰县管辖；1941年又划归蒙阴县管辖；1942年划归博莱县，全称山东鲁中行署博莱县张黄区，并将新泰县大上峪、小上峪划归张黄区；1944年7月博莱县撤销，复归蒙阴县；1945年张黄区解放，划归沂源县为第六区；1957年撤区设乡，为黄庄乡；1958年成立黄庄人民公社；1985年撤区设乡镇，为黄庄镇所辖；1991年划归莱芜市，隶属黄庄镇；1993年，莱芜升为大市，设钢城区，小上峪村属钢城区黄庄镇至今。