荀彧出身颍川荀氏，荀子之后。
其祖父荀淑知名当世，号为神君。荀淑有八子，号称八龙。
荀彧的父亲荀绲曾任济南相，叔父荀爽曾任司空。
荀绲忌惮宦官，于是让荀彧娶中常侍唐衡的女儿为妻，致使荀彧受人非议。
后来南阳名士何颙见到荀彧，大为惊异，说道：“这是王佐之才啊！”
永汉元年（189年），荀彧被举孝廉，任守宫令（掌管皇帝的笔、墨、纸张等物品）。
九月，董卓废少帝刘辩，立献帝刘协。十一月，董卓自为相国，掌握大权。
荀彧请求出任地方官，任亢父县令，随即弃官归乡。
当时荀彧同郡韩融带着宗亲一千多家在密县西山中避难，荀彧对父老说：“颍川是四战之地，如果天下有变，那就会经常受到侵略，应该早离去，不能久留。”
但乡人们多怀恋故土，不愿离去。
冀州牧韩馥与荀彧同郡，他派人接荀彧，乡人不愿跟随。
荀彧只得独自将宗族迁至冀州避难。到冀州后，冀州已为袁绍所得，袁绍见荀彧来，待之为上宾。
荀彧弟荀谌和同郡辛评、郭图都在袁绍手下。荀彧见汉室混乱，每每有匡正之心。
当时曹操在东郡，荀彧认为曹操有雄略，而袁绍终不能成大事。
初平二年（191年），荀彧离袁绍而投曹操。曹操见荀彧来投，大悦，说：“这是我的子房啊！”于是任荀彧为司马。荀彧时年二十九岁。