“海拉尔”是因城市北部的海拉尔河而得名。海拉尔是由蒙古语“哈利亚尔”音转而来,意为“野韭菜”,因海拉尔河两岸过去长满野韭菜,故取名为“海拉尔”。据史料记载,海拉尔城建于1734年,当时称为“呼伦贝尔城”,也称“呼伦城”。1932年,日军侵占东北,沦为“伪满洲”国领土,成为兴安北省省会。1945年8月,成为二次世界大战东部战场,苏蒙联军对日宣战,东北解放海拉尔光复。仍实行旧的政区制度海拉尔依然是中华民国兴安省省会。1949年设立呼纳盟即呼伦贝尔市,撤兴安省,海拉尔市成为盟公署。隶属内蒙古自治区管辖。1953年4月1日,成立内蒙古自治区东部行政公署,简称东部行署 ,署址设在乌兰浩特。同时撤销原哲里木、兴安、呼纳三个盟的建制,其中原呼纳盟的海拉尔市、满洲里市、乌兰浩特市变为内蒙古自治区的直辖市,其工作委托东部行署代管。1954年4月30日,撤销东部区行政公署 ,将原兴安盟和呼纳盟所辖地区合并,改称呼伦贝尔盟,成立呼伦贝尔盟人民政府,作为地方一级政权,直属内蒙古自治区领导。盟政府设在海拉尔市。1958年6月1日,撤销呼伦贝尔盟人民委员会,改为内蒙古自治区的派出机构,设行政公署设在海拉尔市,改称呼伦贝尔盟行政公署。1969年8月1日,呼盟大部分地域划归黑龙江省管辖,作为呼伦贝尔盟行政公署的海拉尔市成为黑龙江省所辖的城市。1979年7月,恢复1969年前的行政区划,呼伦贝尔盟重新划归内蒙古自治区管辖。海拉尔市重新成为内蒙古的盟行政公署。2001年10月10日,呼伦贝尔撤盟(原呼伦贝尔盟)设市(现呼伦贝尔市),海拉尔撤市(原海拉尔市)改区(现海拉尔区),为呼伦贝尔市市辖区(呼伦贝尔市唯一的一个市辖区),即呼伦贝尔市政府所在地。