康熙十四年（1675年）刘于义出生于江苏武进（今属常州市）。刘于义于康熙五十一年（1712年）中进士，初任庶吉士，散馆后任翰林院编修。在任编修期间，其所撰写的文稿很符合皇帝的心意，备受嘉奖。雍正元年（1723年）刘于义入值南书房，先是担任中允一职，随后任侍讲学士，并出任山西学政，主管一省教育工作。

　　刘于义在山西任职期间，发现山西没有过多的粮食储备，所以每至青黄不接之时，百姓就要忍饥挨饿。看到这样的情况，刘于义上疏雍正帝，奏请每年从耗羡中拿出四万两白银，用于在太原、平阳、潞安、大同四地买米贮仓，于春天评价卖给缺粮食的百姓，到了秋天再买入一定的粮食。雍正帝命令时任山西巡抚伊都立视当地情况酌情办理。刘于义的做法，很大程度上缓解了百姓的疾苦。

　　雍正四年（1726年）刘于义出任仓场侍郎。然而仓库官吏以次米偷换好米，并将好米盗卖进而赚取私利，这在当时已经成为一种积习。自身清正廉洁的刘于义不吃这一套，并对此加以严厉整顿。刘于义严格检查出、入米的数量，并随时抽查余米定数，不给倒买倒卖者任何可乘之机。一时间，仓场多年的陋习弊病得以彻底整治。

　　雍正八年（1730年）刘于义调任吏部侍郎。在任上，刘于义奉命同侍郎牧可登一道，到山东检查赈灾情况。到了山东之后，刘于义认真核查各项赈灾进展，并同时任山东按察使唐绥祖一道，弹劾济南知府金允彝袒护邹平县知县袁舜裔亏空一案，最终二者都受到相关制裁。

　　雍正九年（1730年），刘于义被任命为直隶河道总督。在任上，刘于义发现北运河通漕花销过大，建议将漕米留在天津，以减少津贴，但给地方官留下米耗的百分之一作为日常开支用度。在治河中，刘于义多次亲赴工地，实地勘验。侍郎何国宗建议建鸡心闸口十四座用于阻拦河水。而刘于义则认为“阻水当停。并请展坝面，使无碍水道。”刘于义的上述治河方法均被雍正帝采纳。

　　雍正十年（1732年）七月，刘于义被调往陕西，署理陕甘总督一职。次年，刘于义被授予吏部尚书职务，仍然兼署陕甘总督。在署理陕甘总督任上，刘于义悉心公务，先后向朝廷奏请诸多关于用兵、设防的建议，均得到皇帝认可。

　　乾隆三年（1738年），时任大学士兼兵部尚书查郎阿弹劾承办军需道沈青崖等人私运侵帑，而刘于义涉嫌包庇属下，后经查实，刘于义被革职，并赔偿麦稞价银三万余两。

　　刘于义被革职后，乾隆帝念及刘于义于雍正初年对甘肃具有巨大贡献，屯田、筑堡、安置流民、运送军马粮草，其皆有功。于是刘于义在乾隆五年（1740年）被起用，任署理直隶布政使一职。两年后，担任福建巡抚。乾隆八年（1743年）升任户部尚书，次年调任吏部尚书兼协办大学士。乾隆十年（1745年），刘于义短暂署理直隶总督，加太子太保衔。在随后的三年时间中，始终担任直隶河督一职。在任上，刘于义勘定还乡河裁湾曲直，筑运蓟河西堤，疏浚张青口支河、新安新河，拓宽广利渠，开挖望都至安肃排水沟。疏通天津贾家口、静海芦北口、庆云马颊河、盐山宣惠河，引塌河淀洪水入蓟运河。直至乾隆十二年（1747年）刘于义才被调回京师。

　　乾隆十三年（1748年），刘于义在养心殿奏事，由于跪得太久，起立时误踩衣袂，摔倒而逝，年六十五，谥文恪。