当初，任安只是卫青府里的一个门客，因为出身贫寒，与那些富家子弟的同僚格格不入。他们整天只知闲聊，比阔，不问正事儿，而任安总是待在僻静的角落读书。卫府的管家秦达看不惯他那文绉绉的酸样，就想折腾点事出来。卫府养了不少马，除了军马，还有门客的“坐骑”。他们每天来到卫府甩蹬离鞍，把马交给秦达，由他派人照料，当然也会给他些好处，出手不凡。任安不骑马，也没钱给他，秦达就在卫青出征匈奴时遣他喂马，打扫马棚。任安哪干过这个？但他仍然小心从事，不敢怠慢，可事情还是发生了。有一次，一位门客的马病了，不吃食料，没有了精气神，秦达不问缘由，劈头盖脸地把任安训斥了一顿，说他连马都喂不好，还做什么卫府的幕僚？言辞激烈，充满着歧视，任安感到颇伤自尊，大失颜面，只得向田仁倾诉，说自己寄人篱下，举步维艰。他俩同为名门之后，又逢家道中落，家财散尽，无奈落到困境才投奔卫青的，所以两人同病相怜，相交甚密。田仁安慰道：连卫将军都不待见我们，何况一个管家呢？重要的是，你我都要学会隐忍，以后会有转机的。？？？？？
后来，霍去病在征讨匈奴中屡建战功，名气也逐渐超过他的舅舅卫青，得到了汉武帝的器重。此时，卫府不少门客蠢蠢欲动，不惜重金托熟人，找门路，欲投奔到霍府的门下，期望新主给他们带来晋升的机遇。其实任安也知“鸟择良木而栖”之理，但他不为情势所动，有些同僚就说他木讷、愚钝，认为他被贫穷捆绑了手脚，没有钱来铺路搭桥，只得依附旧主。此时，任安看到曾经热络的门庭逐渐冷清，不免感到一丝失落。田仁也没在卫府混出个名堂来，便问任安是否考虑换个门庭。他想了想，对田仁道：卫将军在我落魄时容留我，从没嫌弃过我，此时我怎能舍他而去？田仁问：你懂得“树挪死，人挪活”的道理吗？任安道：懂又怎样？我想，比起他在宫里长大的外甥，大将军颇能体恤民情，懂得人情世故，我不能做墙头之草。他的话也使田仁吃了颗定心丸，安心留在卫府。？？
不久，武帝要在卫府的门客中选拔官员，卫青挑了十多名富家子弟应试，结果全都名落孙山。接着他又推举了任安和田仁，没想到他们以其博学和才智胜选，继而在政坛上受到世人的关注。后来，田仁问任安，起初卫将军没有推荐我们，你还妒恨他吗？任安道：那些富家子弟跟随大将军，期盼有朝一日功成名就，我等不过泛泛之辈，他怎会想到我们？我非但不怪他，还要感激他的举荐之恩。确实，任安为人宽厚，有顆感恩之心，实在难得。
任安在相继做过益州刺史和中丞大夫后，决定辞官回乡教书育人，不少乡绅富贾慕名携子从四面八方赶来求教，也包括卫府曾经的管家秦达。他对过去之事做了道歉，对任安的为人由衷地赞赏，并让他的孙子拜任安为师，学习做人的道理。没想到任安没有记仇，反而笑脸相迎，谦逊和蔼。有人看不过去，就提醒任安，说秦达曾训斥过你，你何不借此羞辱他？给他一个难堪。任安道：人非圣贤，孰能无过？为人要记得人善，忘掉人过，不能冤冤相报，纠缠过往。确实，“忘人之过”体现着任安宽容与豁达的胸怀，也为他赢得了良好的口碑，让世人永远地记住了他。