一个月后，苻坚主力到达项城(在今河南沈丘南)。与此同时，益州的水军也沿江顺流东下，黄河北边来的人马也到了彭城(今江苏徐州市)。前秦的军队从东到西拉开一万多里长的战线，水陆并进，直扑江南。
消息传到建康，晋孝武帝和京城的文武百官都乱了手脚。晋朝军民都不愿让江南陷落在前秦手里，大家都盼望宰相谢安拿出对敌策略。
谢安是陈郡阳夏(今河南太康)人，士族出身。年轻的时候，与王羲之十分要好，经常在会稽东山游山玩水，吟诗作赋。他在当时的士大夫阶层中很有名望，大家都认为他是个非常有才干的人。但是他宁愿在东山隐居，不愿出来做官。
谢安到了40多岁的时候，才重新出来做官。因为谢安长期在东山隐居，所以后来把他重新出仕称为“东山再起”。
前秦强大起来以后，经常骚扰东晋北面的边境。为此，谢安把自己的侄儿谢玄推荐给孝武帝。孝武帝封谢玄为将军，镇守广陵(今江苏扬州市)，掌管江北的各路人马，防守边境。
谢玄是个文武全才的人。他到了广陵以后，就招兵买马，整顿军队。当时有一批从北方逃难到东晋来的人，纷纷投到谢玄的麾下。他们中间有个彭城人叫刘牢之，武艺高强，打仗也特别勇猛。谢玄派他担任参军，叫他带领一支精锐的部队。后来这支经过谢玄和刘牢之严格训练的人马，成为百战百胜的军队。由于这支军队经常驻扎在京口(今江苏镇江市)，京口又叫“北府”，所以人们把它称为“北府兵”。