狄仁杰字懷英，山西太原人，祖、父都做過官。幼年時家中有門客被殺，官吏來查，大家都接受了訊問，只有狄仁杰在那里讀書，置之不理。官吏責怪他，他說，正和書里的圣賢對話，哪顧得上你。

后來他通過科舉考試，任職汴州判佐。因被工部尚書閻立本賞識，推薦做了并州都督府法曹參軍。

去并州路上登太行山，望見南面白云孤飛，狄仁杰跟左右的人說，“我親人的居所就在這片云下。”佇立良久，直到云移開了才走。同府法曹鄭崇質，該當出使遠方，但其母老而患病。狄仁杰說，“伯母有病，怎么可以讓她為萬里之外的兒子憂心？”于是請求長官讓他代鄭崇質出使。

唐高宗儀鳳年間(676-679)，狄仁杰出任大理寺(最高法院)官員。據說一年內裁斷羈押案件無數，涉及1.7萬人，沒有喊冤的。他甚至敢跟皇帝據理力爭。當時大將軍權善才和中郎將范懷義誤砍了唐太宗陵的柏樹，高宗怒道，“這是讓我當了不孝子，必須殺！”但最后被狄仁杰說服，免了他們死罪。

之后，在豫州刺史任上，狄仁杰恰逢越王李貞起事兵敗，受牽連者有數千人。他向唐高宗上密奏，為他們求情說，多數人是被脅迫的，罪不至死。高宗于是下詔將他們悉數流放邊疆。

平定李貞之亂的，是宰相張光輔。他手下的將士恃功自傲，索取財務，狄仁杰不答應，并批評張。張光輔回朝后告了狄仁杰一狀，令他貶為復州刺史、洛州司馬。

武則天天授二年(691)，狄仁杰轉任地官侍郎、判尚書、同鳳閣鸞臺平章事，當上了宰相(其時宰相為多人)。武則天告訴他說，“你在汝南政務做得好，不過也有說你壞話的，你想知道是哪些人嗎？”狄仁杰說，“陛下認為我做錯了，我可以改;陛下認為我沒做錯，那是我的幸運。我不想知道是誰說了壞話。”武則天贊嘆不已。

之后，狄仁杰被酷吏來俊臣誣陷而入獄。當時的慣例是如果一審問就認罪，大多便能免死。來俊臣說他謀反，他回答說：大周革命，什么都想換新的，我是唐朝舊臣，心甘情愿被殺戮，說我謀反沒錯。”

但狄仁杰并未坐以待斃。他向看守討得了筆硯，偷偷寫了密信藏在棉衣里，跟來俊臣下屬說，“現在天氣熱了，請交給我家人抽出衣服中的棉絮。”他兒子收到衣服，取得密信，向武則天鳴冤。來俊臣慌忙偽造狄仁杰的認罪書。武則天召見了狄仁杰，問他：“為何承認謀反？”狄仁杰說，“要是不承認，這時已經被打死了。”武則天問，“那為何寫認罪書？”狄仁杰說，“我沒寫過。”武則天知道認罪書不是他所寫，免了死罪，只將他貶為彭澤縣令。

萬歲通天年間(696-697)，契丹攻陷冀州，河北震動，狄仁杰被征為魏州刺史，契丹人沒有再來侵犯。不久改任幽州都督。神功元年(697)，拜鸞臺(門下省)侍郎、同鳳閣鸞臺平章事、加銀卿光祿大夫，兼納言，再任宰相。

此時武則天發兵戍守新疆疏勒等四鎮，百姓怨苦不迭。狄仁杰建議說，唐朝疆域已經超過前朝，為爭奪不毛之地，導致國庫空虛，甚至可能引發內亂，而所獲得的人口不能增加賦稅，所獲得的土地也不能用于耕織，很不值得。可以采取以夷制夷之策，退出四鎮、安東，封賜邊疆少數民族領袖，使其統治各番，抵御寇亂。唐朝軍隊可以集中在一些要塞，以逸待勞。

他這些建議未獲武則天采納。

狄仁杰每每勸武則天召回流放的兒子李顯，立為太子。當時她的侄兒武承嗣、武三思也在謀求被立為太子，武則天猶豫不絕。狄仁杰勸她，母子之情本來就比姑侄之情更為親密，何況李唐仍是人心之所向，立李氏子孫，日后可以配享宗廟;立武家親族，李家的宗廟就不會有你的位置。圣歷初年(698)，武則天召回了李顯。

也是在這年，突厥侵略河北，武則天命狄仁杰為河北道行軍元帥。突厥殺死所掠男女萬余人退去。狄仁杰又任河北安撫大使。當時很多民眾曾被突厥人脅迫反抗唐朝，他上書說，負罪者在山澤中潛伏，寬恕他們就會出來，追究他們就會落草為寇。邊境一時的戰事不必深憂，而內陸不安寧就很麻煩了。不如赦免河北諸州百姓，不再追究。武則天采納了。而后狄仁杰舉薦的李固楷、駱務整打贏了契丹，武則天夸贊狄仁杰善于知人。

當時，武則天想花費數百萬錢建大佛。資金不足，她就下詔全國僧尼每人每天捐一錢。狄仁杰勸她說，工程不是役使鬼來完成的，只能役使人;財物不可能從天而降，最終是由土地生產。不損害百姓哪來的錢？即便收斂僧尼的錢，對建大佛這樣的工程也是杯水車薪。而現在邊境尚未安定，應該減免不必要的開支。于是武則天終止了這項大工程。

圣歷三年(700)，狄仁杰以71歲之齡去世。他向武則天舉薦的人才，像張柬之、桓彥范、敬暉、姚崇等都是后來唐玄宗中興唐朝的名臣。其中，張柬之更是密謀政變逼迫武則天退位、復辟唐朝的一位重要人物。

唐中宗即位后追贈狄仁杰為司空，之后唐睿宗又封他為梁國公，所以狄仁杰又被后人尊為狄梁公。