日军攻陷长沙后，以衡阳为目标大举向南进犯。6月22日，日军飞机对衡阳城进行轰炸，湘江东西两岸的衡阳城内市区均引起大火。晚8时，由株洲、渌口沿湘江东岸南下的日军进抵衡阳城东30里的泉溪市附近，第10军第190师568团1营派在北岸的少数警戒部队，稍稍迎击后，撤回了南岸，与敌兵隔耒水对峙。23日拂晓，日军从泉溪市强渡耒水，向第1营据守的新码头前沿据点发起攻击，衡阳保卫战正式拉开了序幕。第1营本可以撤到五马归槽据点，与暂编第54师一个团共同作战，但团长杨济不愿意撤退，说：“娃们与小鬼子初次接触，就不战而退，不免长小鬼们的士气，灭自己威风，不打不甘心！”“揍！”营长们也都有决心打，“不过，等鬼子渡到江中时来个急袭，试试他们的傻劲有多大！”天色微明时，日军在猛烈炮火掩护下，乘着几十只木船、橡皮舟向着西岸径直驶来了。第1营官兵们静静地躲藏在阵地内，等到鬼子的船只快接近岸边，又差那么一截时，杨团长一声令下：“打！”6门战防炮，20余挺轻、重机枪同时发射，“轰隆！轰隆！”打得鬼子船翻人溺，“赶早儿”变成了“赶死儿”，后面的鬼子见木船、橡皮艇被炸，无法过河了。日军指挥官见正面强渡不易，磨磨叽叽到午饭之后，有了鬼主意，以一部人马隔河佯攻，主力则悄悄由泉溪市以南绕开正面，从侧面渡河，这哪里能逃过杨团长的眼睛，说：“鬼子好鬼！西撤！”全团主动后撤，进入了衡阳城东约12里的五马归槽据点，第一天双方就没了战事。这一日双方交手，激战了半日。由于敌炮众多，火力炽盛，中国军队被鬼子炸毁了战防炮2门及重机枪3挺，战炮连副连长王惠民阵亡，官兵伤亡50余人，但日军伤亡连同落水溺毙的人数达到300人以上。方先觉见日军主力已逼近湘江东岸，有从赤水塘、东阳渡越过湘江向衡阳以南地区进犯的迹象，下令守备衡阳主阵地的第190师及预备第10师进入阵地，并电饬正在衡山以北与敌接战的第3师星夜赶回衡阳，增强守备。第190师及预10师连夜行动，进入阵地后，均以两个团为第一线，分别负责衡阳城郊西北与西南阵地守备，城东江防则由军搜索营担任。24日拂晓后，渡过耒河之敌向五马归槽进犯。方军长命令第190师570团迅即渡江增援五马归槽阵地，并且叮嘱说：“务必固守。”然后，他又催促第3师师长周庆祥赶回衡阳城。第3师在长沙抗战后撤到了衡山一带。周庆祥接到方军长撤回衡阳电令后，以第8团留在南岳一带阻止日军，掩护师主力脱离战场，自己则率领师主力急行军赶去衡阳，接到方先觉再次急催的电令后，已经上路了。他在当日天黑前到达了衡阳城，方先觉命令他们：“接替第190师城西北阵地。”随后，周师长以第7、9团为第一线，占领汽车西站（不含）以北到草桥至石鼓嘴一线，并以步兵一营占领蒸水北岸据点。第3师到达了衡阳，方先觉又命令第190师主力连夜全部渡江，占领该师江东岸原阵地，协同暂编第54师一个团进行作战。方先觉这一调防，先敌一步在衡阳城布置了防御铁阵。入夜，日军大部队继续由泉溪市渡江，先头部队开始由五马归槽南侧渡江，向衡阳城南郊预10师派出在黄茶岭、欧家町、托里坑的警戒阵地秘密接近。25日拂晓，日军开始攻打五马归槽至湾塘一线。在五马归槽，鬼子的炮火尤为猛烈。方先觉下令衡阳城区的炮兵进行反击，炮弹越江呼啸飞行，爆炸声在几十里外都能听见。随后，双方空军也前来助战，战斗达到高潮。在地面上步兵反复冲杀，伤亡巨大。第570团团长贺光耀负重伤，副团长冯正之继续指挥，鏖战到中午，全团被迫转移到范家坪、橡皮塘、莲花塘、冯家冲一线。鬼子部分兵力继续向西攻击，主力分别由五马归槽以南与东阳渡渡江西进。黄昏时分，日军由湾塘发起猛攻，突破第568团冯家冲阵地，将暂编第54师的一个团与第190师隔断，攻打飞机场。暂编第54师守备该机场的步兵团略事抵抗后，擅自向南撤走，去向不明。这一日，日军突破了江防一线，一路从五马归槽至东阳渡之间纷纷渡江，向衡阳城南急进，一路由西北铜钱渡、柘里渡越过蒸水向衡阳城西全面开进,也就是说，衡阳城的南、西面都出现了日军。26日拂晓，日军炮兵分从衡阳城西、南两面向第10军阵地进行正面试射，并掩护步兵向欧家町、托里坑、马王庙、胡坳、三里亭各附近的警戒阵地攻击。警戒部队略微抵抗后，逐次撤回了主阵地。

这一日双方交手，激战了半日。由于敌炮众多，火力炽盛，中国军队被鬼子炸毁了战防炮2门及重机枪3挺，战炮连副连长王惠民阵亡，官兵伤亡50余人，但日军伤亡连同落水溺毙的人数达到300人以上。方先觉见日军主力已逼近湘江东岸，有从赤水塘、东阳渡越过湘江向衡阳以南地区进犯的迹象，下令守备衡阳主阵地的第190师及预备第10师进入阵地，并电饬正在衡山以北与敌接战的第3师星夜赶回衡阳，增强守备。第190师及预10师连夜行动，进入阵地后，均以两个团为第一线，分别负责衡阳城郊西北与西南阵地守备，城东江防则由军搜索营担任。24日拂晓后，渡过耒河之敌向五马归槽进犯。方军长命令第190师570团迅即渡江增援五马归槽阵地，并且叮嘱说：“务必固守。”然后，他又催促第3师师长周庆祥赶回衡阳城。第3师在长沙抗战后撤到了衡山一带。周庆祥接到方军长撤回衡阳电令后，以第8团留在南岳一带阻止日军，掩护师主力脱离战场，自己则率领师主力急行军赶去衡阳，接到方先觉再次急催的电令后，已经上路了。他在当日天黑前到达了衡阳城，方先觉命令他们：“接替第190师城西北阵地。”随后，周师长以第7、9团为第一线，占领汽车西站（不含）以北到草桥至石鼓嘴一线，并以步兵一营占领蒸水北岸据点。第3师到达了衡阳，方先觉又命令第190师主力连夜全部渡江，占领该师江东岸原阵地，协同暂编第54师一个团进行作战。方先觉这一调防，先敌一步在衡阳城布置了防御铁阵。入夜，日军大部队继续由泉溪市渡江，先头部队开始由五马归槽南侧渡江，向衡阳城南郊预10师派出在黄茶岭、欧家町、托里坑的警戒阵地秘密接近。25日拂晓，日军开始攻打五马归槽至湾塘一线。在五马归槽，鬼子的炮火尤为猛烈。方先觉下令衡阳城区的炮兵进行反击，炮弹越江呼啸飞行，爆炸声在几十里外都能听见。随后，双方空军也前来助战，战斗达到高潮。在地面上步兵反复冲杀，伤亡巨大。第570团团长贺光耀负重伤，副团长冯正之继续指挥，鏖战到中午，全团被迫转移到范家坪、橡皮塘、莲花塘、冯家冲一线。鬼子部分兵力继续向西攻击，主力分别由五马归槽以南与东阳渡渡江西进。黄昏时分，日军由湾塘发起猛攻，突破第568团冯家冲阵地，将暂编第54师的一个团与第190师隔断，攻打飞机场。暂编第54师守备该机场的步兵团略事抵抗后，擅自向南撤走，去向不明。这一日，日军突破了江防一线，一路从五马归槽至东阳渡之间纷纷渡江，向衡阳城南急进，一路由西北铜钱渡、柘里渡越过蒸水向衡阳城西全面开进,也就是说，衡阳城的南、西面都出现了日军。26日拂晓，日军炮兵分从衡阳城西、南两面向第10军阵地进行正面试射，并掩护步兵向欧家町、托里坑、马王庙、胡坳、三里亭各附近的警戒阵地攻击。警戒部队略微抵抗后，逐次撤回了主阵地。10时许，日军步兵在飞机、大炮的掩护下，开始向守军西南主阵地进行全正面攻击，鬼子大胆进行突进，并且连续发起冲锋，攻击重点指向预备第10师所据守的西南丘陵阵地，更以第30团据守的江西会馆、五桂岭，第29团据守的虎形巢为重中之重。鬼子打得十分凶猛，多次突入到守军阵地前，但都被守军和炮火击退。衡阳城南正面阵地是五桂岭、枫树山、湘桂铁路修机厂一线，进攻的日军重兵被高岭与停兵山两个小小的前沿据点死死拦在铁路堤以南。这两个据点东西相距600米，在枫树山、张家山阵地南侧200至400米处，是阵地的要点。两个据点都有小而坚的圆形坑道据点工事，据点四周环绕着外壕、铁丝网、木栅以及地雷，里面则屯积大量手榴弹。预10师第30团陈德坒团长特选该团精锐第7连据守。该连连长叫张德山，他亲率连主力守停兵山，中尉排长李建功率兵守高岭。战前二人均宣称：“誓与据点共死亡。”日军在攻击之初，猛打猛冲，以为这两个孤立小据点可以一举拿下，可连冲几次，不是被地雷炸得退了回来，就是被远处的迫击炮火轰得死伤无数。日军见冲击不上，改为炮轰，还派来了飞机助战。中国炮兵亦进行反炮战，于是两个据点枪炮声密如骤雨，硝烟弥漫，但日军一次次冲锋，还是被守军打退。战至黄昏，据点还是屹立不动，只是障碍物多已被摧毁，官兵伤亡过了半，但鬼子在高岭前丢下的尸体不下200具，在停兵山前的尸体则在400具以上。