隋煬帝年間，高句麗三次擊敗前來征討的隋軍，盛極一時(shí)。隋唐更迭的戰(zhàn)亂，蒙古高原的突厥乘機(jī)崛起。地緣政治使東北三江流域的靺鞨部落有了新的變化和發(fā)展，并以黑水都督府設(shè)立為標(biāo)志，納入了中華版圖。
隋末唐初靺鞨有相互獨(dú)立的數(shù)十部，有的依附高麗，有的臣服突厥。薛禮征東后，粟末部后來建立了渤海政權(quán)，白山、汨咄、安居骨、號室等四部瓦解，并入渤海。黑水流域的部落以三江口為界分為南北兩部分，共有十六部，朝廷掌握的包括黑水、拂涅，又出現(xiàn)了虞婁、越喜、鐵利、思慕、郡利、屈設(shè)、莫曳皆等。
一般認(rèn)為，黑水、越喜、思慕、郡利、屈設(shè)、莫曳皆等六部位于遠(yuǎn)東地區(qū)。拂涅部分布松黑三角洲、穆密平原、牡丹江盆地，以牡丹江、穆棱河為通道。挹婁以虞婁的名號再次出現(xiàn)，分布在松花江右岸完達(dá)山系兩側(cè)。鐵利源于穢貊族系的“橐離”，一般認(rèn)為在呼蘭河流域，與寇漫汗（豆莫婁）國為同宗。
武德二年（619年）唐高祖下詔確立了“懷柔遠(yuǎn)人，義在羈縻”的邊疆民族政策。經(jīng)過貞觀之治唐王朝成為世界最強(qiáng)大的帝國，開始經(jīng)營東北。高宗乾封三年（668年）李勣（徐懋功）攻破平壤。設(shè)安東都護(hù)府，薛仁貴（薛禮）為都護(hù)，下設(shè)拂涅州、舍利州、越喜州等都督府。武則天初年，大祚榮趁營州之亂建國，向突厥朝貢。睿宗先天二年713年，朝廷冊拜祚榮為左驍衛(wèi)員外大將軍、渤海郡王，加授忽汗州都督。
渤海武王大武藝襲位后極力開疆?dāng)U土，為了防止渤海在東北一家獨(dú)大，玄宗采取了反制措施。開元十年723年，拜黑水靺鞨酋長倪屬利稽為勃利州刺史。開元十三年，又改由黑水靺鞨所謂最大部落為黑水府，其首領(lǐng)為都督，由幽州都督管轄。至此，設(shè)在黑水流域諸都督府廢止，代以黑水州都督府為核心，聯(lián)合松嫩流域、三江流域及遠(yuǎn)東地區(qū)靺鞨部落，構(gòu)成龐大的反渤海軍事聯(lián)盟，區(qū)別于靺鞨黑水部的黑水靺鞨正式形成。黑水首次置于中原王朝的直接管轄之下。開元十六年，賜黑水都督姓名李獻(xiàn)誠，授云麾將軍兼黑水經(jīng)略使。
黑水州都督府治所一般認(rèn)為在伯力。但因與勃利州地望重疊而遭到質(zhì)疑。有研究認(rèn)為，伯力說是基于靺鞨黑水部的推演，但黑水州都督府是黑水靺鞨的最高管理機(jī)構(gòu)，應(yīng)該在整個(gè)黑水靺鞨分布區(qū)尋求。從考古學(xué)的角度，鶴崗區(qū)域內(nèi)黑水靺鞨遺存最多、最密集，文化信息一致，應(yīng)是黑水靺鞨中最大部落的居地。其中蘿北縣延軍農(nóng)場5 隊(duì)東南八里的黑龍江江岸古城遺址面積最大，應(yīng)為黑水都督府的治所。這個(gè)觀點(diǎn)比伯力說更可信。