公元199年，袁绍消灭公孙瓒，吞并四个州的地盘，拥有几十万军队，于是挑选出十万精兵、一万骑兵，准备攻打许都，沮授劝阻攻打，认为应该休养生息。
但郭图却说现在讨伐曹操，其势易如反掌，现在不及时攻取，将来就难对付了，袁绍采纳郭图的意见。
郭图等人借此机会说沮授的坏话：“沮授监管内外，威权震动三军，如果他逐渐强盛，用什么办法控制他呢？
臣下与君主权力一样，国家就灭亡，这是《黄石》书中所忌讳的，再说统率外面军队的人，不宜参预内政。”
袁绍于是将沮授统管的职权分为三个都督，让沮授和郭图、淳于琼每人主管一军，但未来得及实行。
公元200年，郭图、淳于琼与颜良攻白马，遭曹操轻兵掩袭，仓猝逆战，主将颜良被斩，军队遂溃败。
接着袁绍亲率大军渡过黄河，在延津的南面构筑了营垒，沮授上借口有病向袁绍要求辞去，袁绍不同意，但内心对他很恼火，就减少他统率的部队划给郭图指挥。
官渡对峙期间，曹操率军偷袭乌巢，郭图建议攻击曹营而非张郃建议的援救粮仓，结果张郃攻曹营不下。
郭图见其建议失败，担心袁绍怪罪自己，便诬告张郃不尽力，导致张郃投降曹操，袁军土崩瓦解。
官渡之战后，审配两位儿子被虏，袁绍之将孟岱对审配有谗言，郭图、辛评同意，袁绍令孟岱代替审配守邺城。