在遼國的支持下，完顏部作為生女真節度使的政治地位越來越穩固，掌握了生女真部落最高權力。生女真節度使這個職位雖然未入遼國的官冊（今所說編制），但覬覦者眾多。咸雍十年（1074年），烏古乃的次子劾里缽繼位后，內有叔父跋黑和屬下桓赧、散達的二心，外有烏春、窩謀罕、石顯父子等胡里改人部落的挑戰，最后內外結成聯盟均欲與之一爭高下，一時間危機四伏。而因為遼國委托完顏部管理生女真，所以胡里改在《遼史》中只字未提。
按《金史》的記載，胡里改作為遼末新出現的與完顏部對抗的群體，并不是一個具有祖源關系的族屬。而是分布在松花江瑪蜒河口松花江、黑龍江下游右岸，張廣財嶺以東，綏芬河流域以北，烏蘇里江流域以西的廣闊區域，獨立于五國部之外，不接受完顏部管理的諸多部落，其中有孩懶水烏林達部、溫都部、加古部、星顯水紇石烈部、姑里甸、窩謀罕等。前文提過胡里改是自稱，字義猶如俄羅斯的哥薩克，可以解釋為自由的人、勇敢的人，也可以解釋為野人、強盜。
最先挑戰完顏部領導地位的是孩懶水（牡丹江支流海浪河）烏林達部。之后跋黑等勾結胡里改其他各部爭奪生女真節度使，劾里缽不得已派使者與溫都部頭人烏春和親，烏春不答應，開玩笑說：“狗與豬的子女共處，怎么能生兒育女呢？胡里改與女直（避遼興宗耶律宗真諱，這里專指完顏部）怎么可以結親呢？豈可為親也。”
但是在三江的胡里改部落態度這不盡相同。完達山西側的窩謀罕、姑里甸積極出兵反對完顏部，并在瑪蜒河與劾里缽進行了一次決戰，以失敗告終。后溫都部的烏春去世，烏林達部的石顯父子被征服，胡里改人再無能組織對抗完顏部。而完達山以東的加古部則借著和解的機會答應和親，成為完顏部的姻親部落，其后人在完顏部建國后成為皇親國戚、勛臣大吏，一直延續到金國滅亡。
在現在，由于清代以來混亂的三江流域歷史學術研究，說起胡里改就無法避免與牡丹江的聯系。有人按一般慣例推測，胡里改人因忽汗河、胡里改江（牡丹江）而得名。但在正史中并無忽汗河字樣的直接記載，胡里改江一名在《元史》中才出現。還有人認為，遼金時期牡丹江名為曲江，這也是附會牡丹烏拉。《金史》記載，上京會寧府下設曲江縣，并不在胡里改路。據考證，曲江縣在賓縣境內。
胡里改人之所以能夠出現在正史中，根本原因就是他們驍勇可用。在劾里缽、頗剌淑、盈歌、烏雅束四位領主在位期間，苦戰近五十年，依然乍服乍叛，打出了尊嚴。后又在征遼伐宋時，野性彰顯，屢立戰功，立國有名。