道光二十八年，稽察中书科事务，道光二十九年正月，授礼部右侍郎，8月，署兵部左侍郎。
次年6月，署工部左侍郎在京十多年间，曾国藩就是这样坚韧不拔地沿着这条仕途之道，步步升迁到二品官位，十年七迁连跃十级。
咸丰元年1月，洪秀全在广西桂平金田村组织起事，咸丰帝诏群臣言得失，曾国藩进言“今日急务，首在用人”，又推荐李棠阶、吴廷栋、王庆云、严正基、江忠源五人，再上书《敬陈圣德三端预防流弊疏》直指咸丰帝的过失。
咸丰帝“怒掷其折于地”，数日后复阅，才心服而纳谏，并对其加以褒答，5月，署刑部右侍郎，10月，充顺天武乡试正考官。
咸丰二年正月，曾国藩署吏部左侍郎，6月，充江西乡试正考官，途中因母丧归家。
这时太平天国运动已席卷半个中国，尽管清政府从全国各地调集大量八旗军、绿营官兵来对付太平军，可是这支腐朽的武装已不堪一战。…
因此，清政府屡次颁发奖励团练的命令，力图利用各地的地主武装来遏制太平军势力的发展，这就为曾国藩的湘军的出现，提供了一个机会，11月，清政府命令曾国藩和湖南巡抚张亮基办理团练。
谷咸丰三年，借着清政府急于寻求力量镇压太平天国的时机，他因势在其家乡湖南一带，依靠师徒、亲戚、好友等复杂的人际关系，建立了一支地方团练，称为湘勇，并清廷上书征用了还只是都司的塔齐布。
8月，获准在衡州练兵，“凡枪炮刀锚之模式，帆樯桨橹之位置，无不躬自演试，殚竭思力”，并派人赴广东购买西洋火炮，筹建水师。
在团练湘勇期间，严肃军纪，开辟新的军队，先后将5000人的湘勇分为塔、罗、王、李等十营，并将团练地点由长沙迁至湘潭，避免与长沙的绿营发生直接矛盾。
咸丰四年2月，湘军倾巢出动，曾国藩发表了《讨粤匪檄》，在这篇檄文里，声称太平天国运动是“荼毒生灵”，“举中国数千年礼义人伦诗书典则，一旦扫地荡尽。
此岂独我大清之奇变，乃开辟以来名教之奇变，我孔子、孟子之所痛哭于九泉”。
接着号召“凡读书识字者，又乌可袖手安坐，不思一为之所也”，其站在了道德的制高点，故动员了当时广大的知识分子参与到对太平军的斗争当中，为日后的胜利打下了坚实的基础。