黑河市历史悠久。据考古证明，早在旧石器时期就有人类在此地活动，形成本地古代土著民族的基础。公元前16世纪，居住在今黑河市北部、嫩江流域的东胡、秽貊人和商朝就有过“东胡黄罴，山戎戎菽”的贡纳关系。到西周初年，居住在黑龙江中、下游的肃慎族已向周王朝贡“楛矢石砮”。唐朝，黑龙江中、下游属黑水靺鞨。公元725年（唐开元三十年），唐王朝设立黑水都督府，黑水靺鞨属之。公元729年（唐贞元八年），又设立室韦都督府，对黑龙江上、中游和嫩江流域室韦诸部进行有效的统治。金朝，属于蒲峪路。元朝，为了沟通内地与黑龙江流域的联系，建立许多“站赤”，今黑河市即在辽阳行省开元路管辖区域内。明朝，设立奴儿干都司，区内女真、契丹人均属之。清朝，康熙为了抵抗沙俄的侵略，于1683年（康熙二十二年）12月13日，在黑龙江左岸旧瑷珲设置黑龙江将军衙门。1685年（清康熙二十四年）迁至江右岸新瑷珲城（今爱辉区爱辉镇）。1690年（清康熙二十九年）又移驻墨尔根（今嫩江县城），瑷珲副都统留守瑷珲新城，全市多归其统辖。民国年间，全市大部分地区为黑河道尹公署管辖。1933年1月25日，日本侵略者占领黑河，1934年12月1日，成立伪黑河省。1945年8月，黑河解放。11月19日，成立嫩江省黑河地区行政办事处。11月中旬，成立中共黑河地区中心县工作委员会。12月14日，嫩江省黑河地区行政办事处更名为黑龙江省黑河地区行政办事处。1946年9月7日，黑龙江省政府决定设立黑河地区行政督察专员公署。1947年初，黑龙江、嫩江两省合并为黑嫩省。1947年2月7日，黑龙江省黑河地区行政督察专员公署改称为黑嫩省第五行政督察专员公署。1947年9月17日，原黑嫩省第五行政督察专员公署改称为黑龙江省黑河行政督察专员公署。1950年1月16日，黑河行政区督察专员公署改称为黑龙江省黑河区专员公署。1955年4月19日，黑河区专员公署改称为黑龙江省黑河专员公署。1967年4月9日，成立黑河地区革命委员会。1979年2月8日，撤消黑河地区革命委员会，成立黑龙江省黑河地区行政公署。1993年2月8日，国务院决定撤消黑河地区，设立黑河市（地级）至今。

萨布素清康熙年间抗俄名将。富察氏，满洲镶黄旗人。行伍出身。康熙二十二年十月，升任黑龙江将军。二十八年，引领侍卫内大臣索额图率清朝使团赴尼布楚与俄方代表戈洛文谈判，萨布素为使团成员之一。康熙二十八年七月二十四日(1689年9月7日)，双方在平等谈判的基础上签订了《中俄尼布楚条约》，确定了中俄东段边界。萨布素任黑龙江将军达18年之久，他不仅在抵抗沙俄侵略的斗争中建立赫赫战功，而且还为建设中国东北边疆做出了贡献。

马占山民国抗日英雄，1885年11月30日生于吉林怀德县农民家庭。1930年出任黑河镇守使兼警备司令。“九一八”事变后，北平电令其代理黑龙江省政府主席，黑龙江军事总指挥。1931年11月4日，率部进行举世闻名的“江桥抗战”，首举抗日大旗，16天歼灭日伪军6000余人。1948年，他往来奔走，帮助傅作义将军下决心，促成了北平和平解放。毛泽东称赞他是始终如一、抗战到底的民族英雄。1950年11月29日，马占山病逝于北京，终年65岁。灵柩安葬在北京西郊的万安公墓。

王 肃原名王玉纯，1914年4月3日出生于辽宁省新民县兴隆堡乡金太牛录村的贫苦农家。“一二?九”、“一二?一六”运动后，毅然投笔从戎，参加革命。1945年11月初，王肃带李银全、王文彬等人先行进入黑河开辟工作，任中共黑河地区中心县工作委员会书记、黑河地区人民自治军司令员兼政治委员。1945年11月19日组建了黑河地区人民自治军司令部，同时建立黑河地区第一个人民政权—黑河地区行政办事处。1946年5月下旬，王肃到北安参加省委会议返回时，在后欢洞桥附近，遇杨青山匪帮袭击，在抗击中英勇牺牲，年仅32岁。1946年6月下旬，王肃葬于黑河市海兰公园。王肃是中共黑河地区工作委员会第一任书记，黑河军分区第一任司令员兼政委。为纪念他，海兰公园改名为王肃公园，将其任司令员时的军分区司令部所在的大街改名为王肃大街，其生前用于宣传、动员人民群众的电影院命名为王肃电影院，其遇难处的桥命名为王肃桥。