起先，谢石认为苻坚的主力大军都已经来到寿阳，本想采取守势，疲劳秦军；后来和谢玄、谢琰等仔细研究了朱序的密报，决定乘苻坚的主力还没有到来，首先消灭梁成的部队，扫除前进障碍，解救硖石之围。于是，他派勇将刘牢之率领五千名北府兵，去袭击驻扎在洛涧的梁成部队。
刘牢之接到命令，就在当天夜里，带领五千名北府兵，藉著星光，向洛涧出发。听说要向秦军发动攻击，北府兵人人摩拳擦掌，战斗情绪异常高昂。晋军来到离洛水十里路的地方，刘牢之接到前哨的报告说：梁成的部队，在洛水对岸扎下了营寨，黑压压的一大片，但是一点动静也没有，好像已经进入梦乡了。刘牢之立即向部队下了急行军的命令。北府兵五千人马涉水而过，像猛虎下山一样，勇猛地冲破了秦军的前沿阵地，呐喊著杀进了敌人的大营。正在酣睡的秦兵还没有来得及分清什么情况，许多人就被晋军杀死了。梁成从梦中惊醒，听到帐外的厮杀声，吓呆了。他慌慌张张地爬起来，披上铠甲，翻身上马，正想抵抗，只见刘牢之一马当先，手执长枪，直向梁成的营帐冲来，正好和梁成相遇。两人大战了十几个回合，梁成胆怯手软，渐渐招架不住，被刘牢之一枪刺於马下。