他的父亲在元朝的太祖成吉思汗、太宗窝阔台和世祖忽必烈三朝做官，居官清廉，执法公正，功劳卓著。死后追封为魏国公。在蒙古大汉窝阔台三年，即公元1231年，廉希宪的父亲被任命为燕南诸路肃政廉访使，也就是主管司法刑狱和官吏考科的长官。
任命的当天，次子希宪刚好出生，他非常高兴，对家人说："古时候有人用官职为姓氏，上天大概是要我以'廉'字为宗族的姓吧。"从此，他的子孙便都用"廉"为姓。
廉希宪字善甫，从小就很热心读儒家的经书和历史，刻苦而认真。经过数年的苦读，他成了一个学问很深的青年，这时正好忽必烈在到处招贤纳士，听人说廉希宪学识渊博，就召他入邸为臣，对他很是器重。
进入忽必烈的府第后，廉希宪仍然苦读经书。一次，他正专心地读《孟子》，忽必烈派人来叫他，他揣着书就去了。忽必烈见他拿着《孟子》，就问他书里讲些什么，他便将孟子的人性本善、见利忘义、仁义爱国等思想讲给忽必烈听。忽必烈听了很高兴，对他赞不绝口："真是一个廉孟子啊！"从此，廉希宪就以"廉孟子"著称，成为当时一大名人。
在公元1260年，即中统元年，忽必烈继承了蒙古汗位，在廉希宪等人的辅佐下，击败争夺汗位的阿里不哥。后来他就任京兆道宣抚使。两年后，担任中书省平章事，成为宰相之一。廉希宪还担任过北京、江陵的行省长官，在公元1280年，廉希宪病逝，年仅四十九岁，可谓英年早逝。
廉希宪不但为官清廉，政绩卓著，而且品格也很高尚，一向推功揽过。志元七年，即公元1270年，因为释放被诬陷入狱的尼赞马丁，惹恼了忽必烈而被罢官。忽必烈很快又后悔了，问侍臣他在干什么，侍臣说他还在闭门读书。忽必烈听了，就叹息道："读书确实是朕曾经倡导过的，但是读书不用，还不如不读。"一向忌恨廉希宪的阿合妈害怕廉希宪东山再起，于己不利，就趁机说："他哪里是在读书，不过是在整天吃喝玩乐！"
忽必烈听了，气得脸色大变，怒斥道："胡说！希宪清贫廉洁，人人皆知，拿什么吃喝？！"不久，忽必烈就起用廉希宪任北京行省长官，镇抚辽东。
后来，廉希宪到新平定的长江重镇江陵去做行省长官。他临行前辞谢了忽必烈所赐财物，冒着酷暑直奔江陵。到达后就立即下令禁止抢劫百姓，开始兴利除弊。他又安抚商人照常营业，使军民相安以处，官吏各司其职。然后登记原来的南宋官员，量才授予官职，从没有一点猜疑之心。他为了安抚地方，专门下令：凡是杀害俘虏者一律按杀害平民治罪；俘虏如果患病被遗弃，允许人们收养，病愈后原来的主人不能索要；开掘城外御敌之水，灌溉得到良田数万亩，分给贫民耕种；发放粮食，救济饥民。地方秩序刚刚稳定，廉希宪又大力兴办学校，他还亲自讲课，训导激励学生学以报国。这使当地很快出现了勃勃生机，远在西南地区的少数民族首领和重庆等地的宋将都闻风来降。皇帝得到消息后，感慨地对侍臣说："先朝用兵不能得地，现在廉希宪不用一兵却让几千里外的人奉送土地，廉孟子不虚其名啊！"
廉希宪官虽然做到了宰相，但为国效力却始终保持着清廉作风，俸禄之外从没有贪私之物。走到哪里都是随身带着一张琴和几箱书。没有其他私产，更不用说金银财宝了。归顺元朝的南宋将官都带着很多金银去见元朝的地方长官，廉希宪对此深恶痛绝。他向送礼的人说："你们送的东西，如果是自己的，我收了便是不义，如果是公家的，你们拿来送礼，就是盗窃国财，我收了便是贪赃。如果是从百姓那里搜刮来的，就要罪加一等了。"说得送礼的人无地自容，惭愧得不知说什么好。
在公元1277年，廉希宪被召回京，江陵百姓拦路哭送，后来又建立祠堂纪念他。回到北京后，他随身携带的东西仍然是琴和书。
回京两年之后，廉希宪病重，皇太子派人去探望，并请教治国之道。廉希宪请求太子劝谏皇上赶快除去贪赃误国的阿合妈一伙，以免后患无穷，祸及国家。身为廉吏，廉希宪对专权纳贿、司肆意掠夺民产的阿合妈一直心存戒备，恨自己不能为国锄奸。两年之后，阿合妈被义士王著杀死，罪行暴露，忽必烈立诛其党羽，罢撤扰民衙门一百七十一所，为国除了一大祸害。
临终时，廉希宪仍然不忘叮嘱儿孙谨守清廉："你们知道狄梁公吧，梁公有大节殊勋，但儿子却玷污了他的清名，你们要谨记为戒！"狄梁公即唐朝名相狄仁杰，死后其子贪暴，百姓愤而毁了狄仁杰的生祠。廉希宪的六个儿子都时刻遵守父亲的遗训，为将为相都能清廉自守。
元朝追封廉希宪为魏国公，赠清忠粹德功臣、恒阳王等荣誉称号，谥号为"文正"。这个谥号是对大臣功劳的最高评价，历史上得到这个谥号的人很少。