曾国藩在团练的基础上建立了“湘军”。湘军士兵以营官自招为原则，每个营只服从营官一人，全军只服从曾国藩，就这样形成了一种严密的隶属关系。
1854年2月，湘军练成了一支包括陆军和水师的一万七千余人的队伍。于是曾国藩便正式出师与太平军作战。他发布了“讨粤匪檄文”，号召为保卫“孔孟圣道”、保卫清朝封建统治而战。但缺乏战斗经验的湘军，在太平军的打击下，连遭惨败。湘军的重要将领塔齐布、罗泽南等先后被击毙，水师战船也不断溃败，损失极重。曾国藩又惊又急，曾三次要投水寻死，都被随从救出。一直到太平天国发生内讧，力量削弱，湘军才逃过覆灭的危险，获得了重整力量的机会。
湘军虽然一开始出师不利，但是曾国藩的立场却毫不动摇。他重新整顿军队，继续和太平军进行战斗。
1860年，清朝政府任命曾国藩为两江总督，统辖江苏、安徽、江西、浙江四省军务。曾国藩得到了清朝政府的倚重，掌握了军政大权，发挥了高超的才能，把国内封建势力和外国势力联合起来，先后夺回了太平天国占领的长江流域的许多重要城市，最后终于在1864年攻陷了太平天国首都天京。天京陷落，素称富庶的天京，变成了一片瓦砾。