闽越在越人中较为强大，经常试图攻击周围的越族。公元前135年，闽越攻打南越，南越王赵胡请求武帝出兵。汉武帝派遣王恢、韩安国出兵救援，闽越国内发生变乱，闽越王弟余善杀掉闽越王，将头颅献给王恢。汉武帝下诏封余善为东越王，与原闽越王的孙子共治闽越地。公元前111年，东越王余善谋反，自称武帝。汉武帝派遣韩说、杨仆前往平叛，之后，将其居民迁往江淮一带。
南越国自秦末就已经存在。陈胜、吴广发动大泽乡起义之后，原秦南海郡代理郡尉赵佗自立为王，称南越国。公元前196年，刘邦派陆贾出使南越，承认南越王国的存在。从此，历代南越王都与汉朝保持着良好的关系。汉武帝时，南越王赵胡还命太子婴齐到长安为质。婴齐娶邯郸女子为妻，生下太子赵兴。婴齐死后，赵兴继位。此时，越王赵兴与王后都愿意归属汉朝，但遭到南越丞相吕嘉的反对。吕嘉历南越三代君主，势力雄厚，见汉朝派兵入越，便杀掉南越王赵兴和王后，举兵反叛。公元前112年，汉武帝命路博德、杨仆等人领兵攻入南越，杀掉吕嘉，在南越设置9个郡，从此，南越地归属汉朝治下。
汉朝的东北地区也有一些少数民族存在。汉武帝以前，匈奴势力强大，居住在东北地区的乌桓和鲜卑都处于匈奴人的攻击之下。鲜卑人被迫东徙，乌桓则在汉朝击破匈奴以后，由汉朝设置护乌桓校尉进行治理。在汉武帝的时代，朝鲜与汉朝也有比较亲密的关系。公元前108年，在解决了朝鲜的内乱之后，汉朝在朝鲜设置真番、临屯、乐浪、玄菟4个郡。在汉武帝的时代，东北各族通过与汉朝的交往，推动本地区的经济社会发展，也逐渐开始接受中原的文明。