据民国时期（1934年）撰写的《茶山乡志》，茶山于南北朝梁武帝时（502－549）已有村落。僧人建雁塔寺于铁炉岭（寺下村后山），沿山种茶，茶山（亦名“茶园”）之名乃由此始。