水上鄉舊稱「水堀頭」。清康熙年間,福建先民渡海來台拓墾,因所居之處於水堀池附近而得名。日治時期,為嘉義廳嘉義西堡水堀頭區,至大正九年( 1920年)改制為水上庄,隸屬台南州嘉義郡。戰後歸為嘉義市改為水上區,直至民國三十九年(1950年)行政區域變動,才隸屬嘉義縣且改為水上鄉。