彦谦早孤，不识父。长兄彦询，以彦谦天性颖悟，亲教读书

房彦谦，字孝冲，本清河人也。彦谦早孤，不识父。长兄彦询，以彦谦天性颖悟，亲教读书。年七岁，诵数万言，宗党所异。十五，出继叔父子贞，事所继母，有逾本生。后丁所继母忧，勺饮不入口者五日。事伯父乐陵太守豹，竭尽心力，每四时珍果，口弗先尝。遇期功之戚，必蔬食终礼，宗从取则焉。其后受学于博士尹琳，手不释卷遂通涉五经解属文工草隶雅有词辩风概高人。年十八，适广宁王孝珩为齐州刺史，辟为主簿。时禁网疏阔①，州郡之职尤多纵弛。及彦谦在职，清简守法，州境肃然，莫不敬惮。
开皇七年，擢授承奉郎，俄迁监察御史。以秩满，迁长葛令。仁寿中，上令持节使者巡行州县，察长吏能不，以彦谦为天下第一，超授鄀州司马。内史侍郎薛道衡，一代文宗，位望清显，所与交结，皆海内名贤。重彦谦为人，深加友敬。炀帝嗣位，道衡转牧番州，路经彦谦所，留连数日，屑涕□别。黄门侍郎张衡，亦与彦谦相善。于时帝营东都，穷极侈丽，天下失望。又汉王构逆，罹罪者多，彦谦见衡当途而不能匡救，以书谕之。衡得书叹息，而不敢奏闻。
彦谦知王纲不振，遂去官隐居不仕，将结构蒙山之下，□求其志。司隶别驾刘灹，陵上侮下，讦以为直，刺史惮之，皆为之拜。唯彦谦执志不挠，抗礼长揖，有识嘉之。灹亦不敢为恨。其后隋政渐乱，莫不变节。彦谦直道守常，介然孤立，颇为执政者之所嫉，出为泾阳令。未几，终于官，时年六十九。
家有旧业，资产素殷，又前后居官，所得俸禄，皆以周恤亲友，家无余财，车服器用，务存素俭。自少及长，一言一行，未尝涉私，虽致屡空，怡然自得。尝从容独笑，顾谓其子玄龄曰：“人皆因禄富，我独以官贫。所遗子孙，在于清白耳。”所有文笔，恢廓闲雅，有古人之深致。又善草隶，人有得其尺牍者，皆宝玩之。