魏晋南北朝是中国历史上介于两汉与隋唐统一国家之间的一个长达4个世纪之久的分裂割据时期。随州同样经历了这一长期的历史动荡过程。此期各个政权分立对峙，但大体上都表现为南北对抗。随州地处长江流域和黄河流域的结合部，又属南北交通线上的战略要地，因而成为各个对立政权的争夺焦点。政区变更复杂纷繁。
东汉末年时局动乱，随县为荆州南阳郡的属县，为荆州牧刘表所控制。赤壁之战（公元前208年）后，随县地为曹操获取。公元2，三国魏政权建立，魏文帝曹丕分荆州南阳郡置义阳郡，随县分隶于义阳郡。不久废义阳郡，随县复隶于南阳郡。
西晋武帝泰始元年（公元265年），又分南阳郡东部12县置义阳郡，随县还隶于义阳。晋武帝追封宗室司马整为随县王，整之子司马迈承爵位，太康九年（公元288年），又将随县平林二县从义阳分出置随郡，晋封司马迈为随郡王，随郡正式设立。
东汉至魏晋南北朝，地方实行州、郡、县三级行政制度。西晋随郡的正式设置，使之从第三级的县上升为第二级的郡，从而在日后的政治、军事生活中得以发挥更大的影响。东晋仍置随郡，隶属于荆州。
南朝宋时（公元420—479年），随郡下辖随县、永阳、阙西、西平林四县。南齐时，随郡下辖随县、永阳、阙西、安化四县。
宋文帝刘义隆入建康当上皇帝以后，为削弱荆州势力，以防尾大不掉，元嘉二十六年（公元449年）分荆州之襄阳、南阳、顺阳、新野、随郡等五郡隶属于雍州，雍州治所在今湖北襄樊市。
南齐永明十一年（北魏太和十七年，公元493年），北魏孝文帝迁都洛阳。公元500年，北魏将领桓道福率军进袭南齐随郡，未克。公元504年，北魏大将元英攻占南梁义阳，进而占据黄岘、武阳、平靖三关，义阳及三关失守后，南梁重置司州，随郡属司州管辖。
太清三年（公元549年）南梁内乱，西魏遣大将杨忠攻克随郡，并占领安陆、竟陵。旋后将随郡升格为随州，任命黄道玉为随州刺史。
西魏及后继的北周（公元557—581年）时期，今随州地区的行政建制复杂而混乱，名称也时常变更。
三国时，广水属魏国义阳郡，东晋为平阳县，魏时，先后称谓平阳、义阳、青阳县，北周为永阳县，县域也因战乱归属不一。
北周明帝武成元年（公元559年），封杨忠为随国公。周武帝天和三年（公元568年），杨忠去世，其子杨坚袭随国公爵位。北周大象二年（公元580年）杨坚升随王。次年二月，杨坚废黜周静帝，自立为皇帝，即以“随”为国号，又忌“随”字有“辶”旁，遂改“随”为“隋”。
