曹魏时废东海郡赣榆县。太和六年(232年),封文帝子曹霖为东海王,置东海国。西晋复置东海郡。太康元年(280年)复置赣榆县。此时东海郡领郯、祝其、朐、襄贲、利城、赣榆、厚丘、兰陵、承、昌虑、合乡、戚,共十二县。有11100户。元康元年(291年),分东海置 兰陵郡。
永嘉以后,东海郡没于后赵。晋安帝时收复淮北,复置东海。
此后东海郡地域、治所开始变得混乱,频繁变更,基本没有形成稳固的行政区划。
南朝宋明帝泰始中,青、徐二州为北魏攻占,于赣榆县侨置青州。泰始七年(471), 始置东海县。又析赣榆县置郁州,立西海郡,属青州。刘宋末年,东海郡领襄贲、赣榆二县,全郡有2411户,13941人。又于今江苏镇江一带置 南东海郡,领郯、祝其、襄贲、利成、西隰、丹徒、武进等县,属南徐州。南齐建元初,于今江苏省涟水县一带置 北东海郡,领襄贲、僮、下邳、厚丘、曲城等县,属冀州(侨置)。
东魏武定七年(549年),得南梁青州北海郡(侨置)之地,置东海郡,领赣榆、安流、广饶(梁侨置)、下密(梁侨置)四县,有1242户,5904人,属海州。武定八年,复置郯郡,治郯县,领郯、临沂、建陵、归昌四县,属东徐州。北周改置朐山郡。