7000年前，棲霞地區已有先民從事漁獵活動，并創造了農業文明。公元前20世紀至前17世紀，棲霞境內開始出現兩大原始聚落，一為玄武湖聚落，一為東北沿江聚落。春秋戰國時期，“周武王有天下，封周章于其地”，棲霞地區先屬吳，繼屬越，再屬楚。秦始皇三十七年（前210），秦始皇第五次東巡經此北歸，并設置江乘縣。時江乘縣境域廣闊，西起南京石頭城、白石壘沿江而東至句容市下蜀鎮，再南折至江寧區淳化鎮，連同今南京市鼓樓區、下關區、建鄴區、白下區、秦淮區、雨花臺區統在其領屬之下。至南朝齊武帝永明七年（489），山東高士明僧紹，史稱明征君，在攝山結廬隱居，后舍宅為寺，名為“棲霞精舍”，即今棲霞寺，棲霞始得以冠名至今。