早年家贫,喜老庄之学。司马懿与曹爽争权,隐居。司马炎称帝,为大鸿胪、左仆射等官。每选拔人才,均平论。时称“山公启事”。山涛为官清贫俭约,家人衣食难保,朝廷特每日供其膳食,赐床帐被褥。山涛是个孝子,因母亲年老几十次上疏辞职,后终以授议郎衔返乡侍母。
母亲去世时,山涛已年过七十,守丧超过常礼,亲自背土堆坟、种植松柏。“七贤”中他最年长,是位好兄长,推荐嵇康做官,“好心没好报”,嵇康写《与山巨源绝交书》,让其难堪。因此后人对他“另眼看待,褒嵇康贬山涛"。其实这是个误会。 表面上看是“绝交书”,实则嵇康是为了不让因他而使山涛受牵连,遭朝廷迫害。所以,嵇康临死前,放心地将儿子托付,“有巨源在,你不会孤独无靠。”而山涛最终也荐嵇康之子踏上了仕途。此种默契,两人心知肚明,足见两人友谊深厚。山涛有集十卷,去逝79岁,谥号“康”。