行政区划伴随着国家而产生，自秦统一六国广设“郡县”以来，由郡、州到路、府再到省、市等变迁频繁，但县一直为稳定的行政区划。山东是中华民族和华夏文明的重要发祥地，春秋战国时就为齐、鲁两大国之地，秦灭六国后设“三十六郡”，今山东之地设有齐郡、琅琊郡、东郡、薛郡等。
实际上，秦代所设之郡山东地区还有临淄、济北、胶东、胶西等郡，其中胶东郡原为齐郡地，后于即墨县设胶东郡。胶东郡大致就为今胶东半岛之地，是我国历史上第一个以胶东为名的政区，但实际上胶东郡辖区不仅为古胶水（胶河）以东的胶东半岛，其郡治即墨县也不是在今青岛即墨。
胶东郡辖有即墨、高密、黄县、腄县等四县，其中即墨县设于故齐国即墨城，也是田单“火牛阵”大破燕军之地，位于今平度市东南即墨古城。南北朝时，即墨县废，到隋朝于今即墨重设即墨县，建制沿袭至今，现在即墨已经撤县（县级市）为青岛市即墨区。
秦朝时的高密县，县治位于今高密西南井沟（今城阴城遗址），为胶东郡所辖，到西汉初为胶西国、高密国等治所，到唐初移治今址。现在，高密为山东省县级市，由地级潍坊市代管。
黄县即今县级龙口市，因有黄水而得名，秦代时先属齐郡，后为胶东郡所辖。历史上，黄县是胶东半岛重要的中心，东汉时胶东郡就曾治于此，唐朝时也曾为登州治所，后析东南设蓬莱县为登州治。上世纪八十年代，黄县改为县级龙口市，由烟台市代管至今。
腄县是秦汉时的古县，其面积广大，其成立时今胶东半岛东端的威海全部、烟台部分都为其所辖，县治位于今烟台市福山区境内，到东汉时腄县废。
秦朝时，胶东郡所辖之地大致为今威海、烟台两市全部，青岛胶州以东的主城区及即墨、莱西、平度，潍坊市区及高密、昌邑、安丘等地。西汉建立后，胶东郡分为了胶东国、东莱郡、胶西国等郡国，西境今潍坊市区等地则归入了北海郡，南境一部划入了琅琊郡。
