早在东晋义熙年间，在末口附近设山阳郡，随着政治、军事重心的南移，“南北襟喉”的淮安山阳逐渐延续了“淮阴故城”政治命脉的正统。特别是到了南宋以后，泗口改道甘罗城东北，宋金对抗，甘罗城的位置无论从防守还是防洪，漕运还是商贸，都显得尤为重要。
南宋嘉定年间，江苏常熟人赵伸夫知楚州时，曾献议于朝廷，“谓淮阴之门户，县北遗址俗呼为甘罗城，六朝驻兵之地，盍亟修之。
有旨令公相视，诸故老皆曰：‘金由青、徐而来，其冲要有二：大、小清河是也。相距余十里，小清河直县之西，冬有浅处，不可以舟。
大清河直县之北，与八里庄对。绍兴间，金人至淮，重兵皆由此出。’公即条上，以为此地要害，若迁县治，板筑于此，形势增壮，过于淮阴故城，从之。今之新城，乃公所创也。”（袁燮《秘阁修撰赵君墓志铭》《絜斋集》卷十七，四库本）荀羡城与甘罗城近靠泗口，甘罗城作为荀羡淮阴城依托而存在着。1324 年、1628 年清河县还曾两度短暂移治甘罗城。事实证明，将县治迁于甘罗城，大大增强了楚州山阳城的军事应变能力。
