南北朝时由于梁武帝在此出家，又被大臣多次请回而得名遗爱。

遗爱寺建于南北朝时期，位于庐山香炉峰下，后建筑被黄巢起义军烧毁。

当年白居易做江州（今九江市）司马时曾游览过遗爱寺，就下了：弄石临溪坐，寻花绕寺行。时时闻鸟语，处处是泉声的诗句。