皇甫谧出身于东汉名门望族，慢慢地皇甫氏逐渐没落，皇甫谧生后遂丧生母，加到更加衰落，便过继给叔父，十五岁随叔父迁居新安，在战乱中度过了他的的童年和少年。皇甫谧并非天生聪明好学之人，自幼便很贪玩，到了二十岁时，他仍不知学习，整日游手好闲，大家都认为他是个呆子。
一次，谧将所得瓜果进献叔母任氏，任氏说：“《孝经》云‘三牲之养，犹为不孝’。汝今年余二十，目不存教，心不入道，何以慰我？”因叹曰：“昔孟母三徙成仁，曾父烹豕从教。岂我居不卜邻，教有所阙，何尔鲁纯之甚也！修身笃学，自汝得之，与我何有。”（《晋书·皇甫谧传》）终于触动了皇甫谧，开始奋发读书，遂“博综典籍百家之言”。后虽得病，但仍手不释卷，并以著述为业，著有《礼乐》、《圣真》等书，自号“玄晏先生”。
皇甫谧二十三岁就染上风痹症。三十二岁，中风、耳聋百日，开始学医，对针灸有了初步接触。三十五岁，服食“寒食散”，在其副作用的影响下，身体受到严重损害。四十二岁风痹症复发。在抱病期间，他自读医书，对针灸进行了深入研究，结合自己的病症，在自己身上摸清了人身的脉络与穴位，并参考《灵枢》《素问》和《名堂孔穴针灸治要》等书，著述了我国第一部针灸学的著作——《针灸甲乙经》。
曹魏后期，魏郡曾推荐皇甫谧为孝廉，景元初，相国府也要召他去任职，他都推辞不就。父老乡亲劝他应召，他写了《释劝论》来表达自己的心意。西晋初年，晋武帝多次下诏，请他出任官职，并多次派人敦促。皇甫谧上 书武帝，自称草莽之人，不擅官场之事。因其言辞恳切，武帝只好作罢。一年后，又被推举为贤良方正科，他又不应征。他上表武帝，请求借书给他。结果武帝送了他一车书。
六十八岁时，《皇帝针灸甲乙经》刊发经世，皇甫谧在张鳌坡去世，其子童灵、方回，尊父笃终遗训，择不毛之地，将其俭礼薄葬于塬边。世人称之为“皇甫冢子”。