早在舊石器時(shí)代晚期就有古人類勞動(dòng)、生息、繁衍在黑龍江流域這片廣袤的土地上。
前16世紀(jì),居住在今黑河市北部、嫩江流域的東胡、穢貊等族居民,同商王朝有過“東胡黃羆,山戎戎蓀”的貢納關(guān)系。
到西周初年,居住在黑龍江中、下游的肅慎族已向周王朝貢。
三國時(shí)屬扶余。
唐朝,黑龍江中下游屬黑水靺鞨。725年,唐朝設(shè)立黑水都督府,黑水靺鞨之。唐王朝直接任命長史。792 年,唐王朝為加強(qiáng)對室衛(wèi)人居住地區(qū)的統(tǒng)治,又設(shè)立都督府。
金朝,屬上京路所轄蒲峪路。元朝屬遼陽行省的開元路和水達(dá)達(dá)路。為溝通內(nèi)地與黑龍江流域的聯(lián)系,建立了許多"站赤"。
明朝,設(shè)立奴兒干都司,女真、契丹均屬之。為了便于管理和聯(lián)系,奴爾干都司在東北地區(qū)設(shè)立衛(wèi)、所、站、面、寨。黑河大部分地區(qū)屬薩哈連地面,亦稱黑龍江地面。
清朝康熙二十三年十月,黑河最早的行政建制是1684 年10月,為了抵抗沙俄侵略者,清政府在黑龍江左舊璦琿城設(shè)置了黑龍江衙門(同時(shí)設(shè)1名將軍和2名副督統(tǒng),1685年即康熙二十四年,黑龍江將軍衙門遷到黑龍江右新璦琿,即今愛輝區(qū)璦琿鎮(zhèn))。1690年(清康熙二十九年),黑龍江將軍衙門又移駐莫爾根(今嫩江縣城),璦琿副督統(tǒng)留守原城并從屬黑龍江將軍。
民國年間,黑河市大部分地區(qū)為黑河道尹公署管轄。1933年1月25日,日本侵略者占領(lǐng)黑河,1934年12月1日,成立偽黑河省。
站在黑河看俄布市
1945年8月,黑河解放。11月19日,成立嫩江省黑河地區(qū)行政辦事處。11月中旬,成立中共黑河地區(qū)中心縣工作委員會(huì)。12月14日,嫩江省黑河地區(qū)行政辦事處更名為黑龍江省黑河地區(qū)行政辦事處。1946年9月7日,黑龍江省政府決定設(shè)立黑河地區(qū)行政督察專員公署。1947年初,黑龍江、嫩江兩省合并為黑嫩省。1947年2月7日,黑龍江省黑河地區(qū)行政督察專員公署改稱為黑嫩省第五行政督察專員公署。1947年9月17日,原黑嫩省第五行政督察專員公署改稱為黑龍江省黑河行政督察專員公署。1950年1月16日,黑河行政區(qū)督察專員公署改稱為黑龍江省黑河區(qū)專員公署。1955年4月19日,黑河區(qū)專員公署改稱為黑龍江省黑河專員公署。1967年4月9日,成立黑河地區(qū)革命委員會(huì)。1979年2月8日,撤消黑河地區(qū)革命委員會(huì), 成立黑龍江省黑河地區(qū)行政公署。1993年2月8日國務(wù)院決定撤消黑河地區(qū),設(shè)立黑河市(地級市)至今。