羊玄保，泰山南城人也。祖楷，尚书都官郎

羊玄保，泰山南城人也。祖楷，尚书都官郎。父绥，中书侍郎。初为宋武帝镇军参军。少帝景平中，累迁司徒右长史。府公王弘甚知重之，谓左长史庾登之、吏部尚书王准之曰：“卿二贤明美朗诣，会悟多通，然弘懿之望，故当共推羊也。”顷之，入为黄门侍郎。
善弈棋，品第三，文帝亦好弈，与赌郡，玄保戏胜，以补宣城太守。先是，刘式之为宣城立吏人亡叛制，一人不禽，符伍里吏送州作部；能禽者赏位二阶。玄保以为非宜，陈之于上曰：“臣伏寻亡叛之由，皆出于穷逼，未有足以推存而乐为此者也。今立殊制，于事为苦。又寻此制施一邦而已，若其是邪，则应与天下为一；若其非邪，亦不宜独行一郡。”由此制停。
文帝以玄保廉素寡欲，故频授名郡。为政虽无殊绩，而去后常必见思。不营财利，处家俭薄。文帝尝曰：“人仕宦非唯须才，亦须运命；每有好官缺，我未尝不先忆羊玄保。”
元凶弑立，以为吏部尚书，领国子祭酒。及孝武入伐，朝士多南奔，劭集群僚，横刀怒曰：“卿等便可去矣！”众并惧莫敢言，玄保容色不异，徐曰：“臣其以死奉朝。”劭为解。
孝武即位，为金紫光禄大夫，以谨敬见知。大明五年，加散骑常侍、特进。玄保自少至老，谨于祭奠，四时珍新未得祠荐者，口不妄尝。大明八年，卒，时年九十四。谥曰定子。
子戎，有才气，而轻薄少行检，玄保常嫌其轻脱，云“此儿必亡我家”。位通直郎。坐与王僧达谤时政赐死。死后孝武帝引见玄保，玄保谢曰：“臣无日磾①之明，以此上负。”上美其言。戎二弟，文帝并赐名，曰咸，曰粲。谓玄保曰：“欲令卿二子有林下正始余风。”