桓谭，字君山，沛国相县人。桓谭的父亲在西汉成帝朝曾担任太乐令，因为父亲的职务，桓谭在宫中担任侍郎。桓谭喜欢音律，善于弹琴，博学多才，熟读五经，重视训诂大义，不在章句上下太多功夫。桓谭善于写文章，特别喜欢古代经书典籍，多次向刘歆、杨雄请教，帮助解析疑难。桓谭还喜欢倡优音乐，行事为人简易，不修边幅，讥讽俗儒，因此常遭到读书人排挤、诋毁。

哀帝、平帝年间，桓谭在宫中的职务依然是侍郎。傅皇后的父亲孔乡侯傅晏很器重桓谭，当时，高安侯董贤正受到哀帝宠幸，董贤的妹妹是哀帝的昭仪，傅皇后被哀帝疏远，傅晏在朝中郁郁不得志。桓谭向傅晏进言：“在往昔，武帝欲立卫子夫为皇后，暗中寻找陈皇后的过失，陈皇后终于被废，此后，卫子夫被立为皇后。今天，董贤受到皇上宠幸，妹妹在宫中受到宠幸，很可能有卫子夫之变，岂不令人担忧！”傅晏听罢，大吃一惊，问桓谭：“是啊，这该怎么办？”桓谭说：“刑罚不能加于无罪，邪僻不能压倒君子。士人以才智侍奉国君，美女以媚道受到爱宠。皇后年少，难以求得欢爱，在宫中可能会驱使巫医，在宫外可能会寻找方技，一旦事情败露，必然会招来祸殃。这一点，不能不早做准备。君侯以皇后的父亲，在宫内外受到尊敬，在外面还结交了很多宾客。这些客人一定会借助您的权势，在社会上招惹是非，很容易招人非议。不如谢绝、遣散宾客，保持谦逊谨慎，这才是修身、齐家，躲避祸殃的良策。”傅晏说：“你讲得对。”此后，傅晏疏远常来常往的一些宾客，进宫嘱咐傅皇后，像桓谭告诫的那样。再后来，董贤果然暗示太医令真钦，寻找傅皇后的罪过，逮捕傅皇后的弟弟侍中傅喜，诏狱审问，一无所获，最后释放。傅氏家族在哀帝朝得以保全。董贤担任大司马（太尉），听说桓谭，欲与桓谭结交。桓谭先写了一封信给董贤，在信中谈了如何辅弼国家，如何保全自身，董贤不以为然，桓谭遂不再与董贤交往。王莽在朝中担任摄政，欲篡夺汉室、诛杀忠臣。天下士人，莫不竞相阿附王莽，制作符命，歌功颂德，以求得向王莽献媚。桓谭却始终保持清高，默然无语。王莽后来篡位，桓谭担任掌乐大夫。更始帝即位，征召桓谭，拜为太中大夫。

世祖即位，桓谭在朝中任待诏，上书言事，不符合皇上的旨意，没有得到重用。后来，大司空（御史大夫）宋弘举荐桓谭，世祖拜桓谭为议郎，兼任给事中，桓谭上疏，就朝廷应注意的几个问题，上疏谏言：

臣听说，国之兴衰，在于政事；政事得失，在于皇上的辅弼大臣。辅弼大臣贤明，俊杰士人会布满朝堂，制定的政策就会符合实际；辅弼大臣不贤明，朝政就会陷于混乱，制定的政策也会脱离实际。拥有天下的君王，都希望事业兴隆，教化普及，人民向善，然而在理政时，仍然会举措失当，这是任用贤者不够的缘故。在往昔，楚庄王向相国孙叔敖咨询：“寡人还不知道如何治理国家。”孙叔敖答：“国家动荡，百姓离心离德，君王恐怕也难以安宁。”楚王问：“国家动荡，责任在君，难道臣就没有责任？”孙叔敖答：“国君对士人傲慢，认为士人依附国君，才得到富贵；士人对国君傲慢，认为国君没有士人，就难以保证国家安宁。昏庸的国君，直至国家败亡，仍然至死不悟，耿直的士人，哪怕饥寒交迫，也不肯侍奉国君。君臣间相互排斥，国家就难以兴旺。”庄王说：“你说得对。请相国和诸大夫共商国是。”人们常讲，善于理政的帝王，会根据实际情况推行教化，在危机还未发生前，要做到防微杜渐，文武兼备，恩威并施，才能政通人和。蠢蠢欲动之人，就不敢轻举妄动。在往昔，董仲舒说：“治理国家，犹如为琴瑟调音，如果琴瑟已经不能调音，就应该将琴拆开，重新上弦。”不能改弦更张，人民就会民怨沸腾。贾谊有文才，被放逐长沙，晁错建议削藩，遭受冤杀，智士只好钳口结舌。世上有才能的士人很多，然而，不能畅所欲言，是因为有前车之鉴。
国家设立法律、禁令，并不能消除犯罪，但是可以制止罪犯蔓延，维护法治，满足多数人惩治罪犯的愿望，能做到这些，就行了。朝廷设置官吏，用以治理百姓，设置赏罚，用以赏善罚恶。恶人受到惩治，善人受到鼓励。而今，百姓因为私仇，相互间伤害，犯罪者已经伏法，仇家私底下仍然结怨，子孙间相互报复，就难以化解怨结，有人为报私仇，甚至杀害仇人全家。世人赞赏这种行为，认为这是有仇必报。柔弱之人为之模仿，重新犯罪，这是社会舆论左右的结果，而不是依靠法律禁止犯罪。朝廷应该申明法令，罪犯伏法，家属继续报仇者，即使杀人者逃亡，也要惩办家属，或流放边郡，伤人者，在原有刑罚上，罪加二等，不得雇人上山伐木用以抵罪。这样，民间的仇怨就会解开，犯罪的案件就会减少。
治国之道，在于重视农业，抑制百姓经商。先帝在世时严禁商人兼并土地，禁锢商人不得出仕为官。这样做，可以抑制商贾，让人们明确荣辱。而今，富商大贾大多发放高利贷，中等人家的子弟在中间作保，为富商奔走效劳，像仆人一样。债主收取利息，获取财富，可以与受封的列侯相比。众人羡慕，竞相效仿。商人不耕而食，生活奢侈淫靡，败坏社会风气。朝廷应该颁布法令，严禁商人漏税。强调不是通过劳动获得的收益，一律按照赃物没收。如此一来，引导人们通过劳动获得财富，而不是以借贷牟利。削弱商人的财力，让百姓安心从事农业生产。农业有了发展，粮食增收，地力可以得到充分利用。
臣注意到，官吏根据法令办事，执法的标准不一。因为某事犯法，同罪审理，判罚不同。奸吏从中取利，欲让犯人活命，就引用轻刑案例，欲处死犯人，就引用重刑案例，这是为刑事判决打开两道门。应该安排通晓义理、熟悉法律的官员，将判案标准整理，统一判案尺度，向郡、国颁布，撤销原来的按照案例判案。如此一来，法官知道如何执行标准，监狱可以减少无辜犯人。

上书递上，光武帝没有理会。

当时，光武帝相信图谶，多以图谶判断疑难，给予臣下的赏赐很少，天下动荡不安。桓谭再次上疏：

此前，臣向朝廷谏言，没有引起重视，心中不免郁郁。臣甘冒死罪再次上奏，即使愚夫献策，也会有合理之处，臣的谏言，也有符合情理的地方。一般来讲，人情世故，人们常会忽略已知，乐于道听途说。观察先王的治国经验，多以仁义为正道，并没有奇谈怪论。人们讲的天道、性命，圣人都难以解释清楚，从子贡以后，从未听说过，更何况后世浅学陋识的儒生，他们能够解释得清楚？而今，有些玩弄小聪明的术士，以方技迷惑世人，妄自添加图书内容，称这是图谶，欺骗迷惑众人，诖误圣君，对此不能不有所警惕！臣听说陛下曾经怒斥术士，认为是黄白之术，何其英明！然而，陛下又迷恋图谶，又何其荒谬！术士讲的图谶，与某事或许有巧合，就像占卜者，也有猜中的时候。陛下明察善辨，应该以圣意摒弃歪理邪说，弘扬五经正义，制止流言蜚语，重视儒学大师对经义的解释。
臣听说天下太平，要尊崇有道之士；国家有难，要重视甲胄之臣。而今，圣朝复兴大业，陛下作为圣主，四方贼寇尚未荡平，恐怕还是缺少应对的措施。臣观察陛下，对带兵打仗、攻城略地的将军，很少给予赏赐，致使有些将军纵容部下抢掠，有些投降的贼首心生狐疑，又重新勾结。战争迁延岁月，长久不能平息。古人讲：“天下人都知道获取为获取，却不懂得给予也是获取。”如果陛下能给予将士多些赏赐，封赏爵位，与将士们共享富贵，还有什么样的贤士招而不至，还有什么样的困局破而不解。在外征战的汉军将士，将会攻无不克，所向披靡！如此一来，功到事成，各种难题都会迎刃而解，新的局面就能迅速打开，天下恢复太平。

光武帝看了奏书，更加不高兴。

再后来，光武帝颁布诏书，咨询灵台应该建在何处。光武帝问桓谭：“我欲按照图谶，确定灵台的建造方位，如何？”桓谭沉思良久，回答：“臣不懂得图谶。”皇帝问，为什么？桓谭极力诋毁图谶，说图谶不是经书。光武帝大怒，说：“桓谭诽谤圣人，简直无法无天，推下去，斩首。”桓谭吓得跪在地上叩头，直至流血，过了很久，皇帝才消除怒气。此后，桓谭被贬出京师，在六安郡担任郡丞。离开京师，桓谭心中忽忽不乐，在途中生病，不久病逝，享年七十余岁。

最初，桓谭著书评论时政，写有二十九篇文章，人们称之为《新论》。桓谭上书，将文章献予朝廷，光武帝很欣赏。其中有《琴道》一篇，还未写完，明帝让班固继续完成。桓谭写作的赋、诔、书、奏，存世者有二十六篇。

章帝元和年间，章帝东行巡狩，到达沛县，派使者到桓谭的墓前祭祀。乡里人以此为荣。冯衍，字敬通，京兆杜陵县人。冯衍的祖父冯野王，在西汉元帝朝担任大鸿胪。冯衍从小就有奇才，九岁时已经能诵读《诗经》，二十岁时已经博览群书。王莽在朝中执政时，朝中公卿多举荐冯衍，冯衍坚决辞让，不肯出仕为官。

此后，天下兵戈蜂起，王莽派更始将军廉丹讨伐崤山以东郡县。廉丹征召冯衍，担任将军幕府掾史。冯衍跟随廉丹，走到定陶县。王莽派人追上廉丹，诏令：“仓廪中的粮食没有了，府库中的钱财要用尽了，此时正是将军奋力有为、效命沙场之时。将军享受朝廷厚恩，将何以报答国家，不负肩上的重任？”廉丹惶恐，连夜召来冯衍，把王莽的诏书拿给冯衍看。冯衍借此劝说廉丹：“冯衍听说，天下大势，顺之者昌，逆之者亡，这才符合天道。逆天下之势，获取成功，要有权宜之计，把握大局，不应该拘泥于小节。在往昔，逢丑父留在战车上，让齐顷公下车取水喝，齐顷公得以脱身，诸侯称赞逢丑父。郑国大夫祭仲拥立姬突，迫使郑昭公出走，昭公最终回国复位，《春秋》为之赞美。人们常讲，以死易生，以存易亡，这才是君子之道。与众人意见相悖，保全国家，又保全自身，这是贤者、智者所为。《易经》讲：‘穷则变，变则通，通则久，上天会保佑。大吉，无往而不利。’如果知其不可为而强为之，破军杀将，对国家毫无益处，自身蒙难之日也是负义之时，智者不屑于做，勇者不屑于行动。冯衍听说，看准时机，就要抓住不放。张良祖上做过五代韩国丞相。后来，张良在博浪沙用铁锥袭击秦始皇，其勇敢可与孟贲、夏育相媲美，其名声像泰山一样耸立。将军的祖先做过汉朝大臣，王莽新朝建立，天下豪杰大多不肯亲附。如今，海内大乱，人们思念汉室恩德，超过《诗经》描述的思念召公，为召公遮阴的甘棠树，尚且能受到保护，更何况刘氏子孙？人们歌颂的圣贤，上天一定会保佑。方今之计，为将军考虑，不如把军队驻扎在大郡，安抚将士，砥砺节操，在百里之内，每天派人买来牛、酒，犒赏将士。招揽天下英雄、俊杰，向他们征询意见，为下一步做好准备，等待天下有变。将军也可以采取纵横策略，为社稷考虑，为百姓除害，个人的福禄，也会在其中，功绩将会传予后世。将军何必为王莽卖命，喋血沙场，埋尸于荒草，身败名裂，为祖宗带来耻辱？圣人可以转祸为福，智士可以转败为功，愿明公深思，早下决心。”廉丹不听。王莽大军走到睢阳，冯衍再次劝说廉丹：“人们常讲明者见于无形，智者谋于未动。天下大势，已经明白无误！祸患常在转瞬间，一旦失败，悔之晚矣，机不可失，时不再来。商鞅说：‘有高于世人的行为，常会被世人讥讽；有独到见解的人，常会遭到世人嘲笑。’受到庸人的干扰，毁弃前功；沿袭世人的陋习，失去高明。遇事情敢于决断，这才是明智之举；遇事犹疑不决，只会功败垂成。时机易失不易得，时不再来，愿公不要再犹疑。”廉丹不听。王莽大军走到无盐县，与赤眉军交战，廉丹战死。冯衍逃往河东郡。

更始二年，更始帝派遣尚书仆射鲍永，令其代行大将军职事，平定北方州郡。冯衍借机劝说鲍永：

冯衍听说，明君不弃谏言，因而能洞察幽微；忠臣不避杀身之祸，因而能通达万机。这样，君臣才能相得益彰，功成名立，刻碑勒石，令后世人不忘。如今，冯衍幸而遭逢圣朝，遇上宽厚圣明之君，正是臣舍身报国、献上忠言之时，臣岂能以沉默避罪，而不竭尽忠诚！
天下百姓脱离王莽之害，已经有一段时间。在王莽执政时，王莽镇压东郡太守翟义，又在西海郡荼毒羌人，在巴、蜀镇压南夷，在边郡与北狄结下仇恨。王莽调动大军，远征万里，兵连祸结，战事连年不断，战火一处未息，一处又起，刑法愈发残酷，赋敛愈发沉重。虎贲大军横扫于外，朝廷百官贪婪于内，百姓遭殃，求告无门，饥寒交迫，夫妇离散，父子流亡，城郭变为废墟，田地荒芜，疾疫暴发，灾异迭起。江湖之上，山海之间，风起云涌，躁动不安，四面边陲惨遭战争荼毒，死亡人数难以计数。王莽对国家造成的危害，罄竹难书，令人痛入骨髓，人人切齿，家家愤恨，莫不怀有同仇敌忾之心。皇帝以圣德威灵，龙兴凤举，率领宛县、叶县的义军，指挥乌合之众，喋血昆阳，长驱直入武关，粉碎王莽的百万大军，摧毁九虎之师，威震四海，席卷天下，清除王莽留下的乱局，诛灭无道的昏君，一年之内，海内恢复安定。皇帝继承高祖的美德，兼修文武宏业，汉室社稷再次复兴，汉室江山重显辉煌，继往开来，功德无量。天下抛弃王莽，归附圣汉，百姓期盼圣朝福佑，恢复安宁。在此除旧布新之时，朝廷应该布施恩德，安抚天下，其恩惠犹如春风掠过鸿毛。然而，诸将乘势抢掠，悖逆天道人伦，杀人父子，夺人妇女，焚烧房屋，抢劫财产。致使百姓啼饥号寒，陷入危困，无所依归，愁怨之声贯耳。如今，大将军以明淑之德，兼有使臣权威，统领三军将士，抚恤并州，以恩惠博爱之诚，安抚众人，以高于世人之行，访求贤士，众人莫不延颈祈盼，迎接将军到来，可谓众望所归。况且，将军独断专行，并非一定要等待朝廷诏命才能有所作为。为国家奠定大业，这正是成就天地元功之时。在往昔，周宣王是周室中兴之主，齐桓公是诸侯五霸之一，仍然有申伯、召虎、管仲、吉甫的辅佐，驱逐蝥贼，安定海内。更何况大汉江山，万里环宇，汉室复兴，大将军作为辅佐，可谓梁栋之材，这一点，不可疏忽。
冯衍听说，用兵日久，战士会显出疲惫，世人仇怨，事情会发生变化。而今，邯郸之贼未破，真定之贼猖獗。大将军占领的地域，不过百里之广，战士日夜守城，不能休息；百姓苦于战祸，惶恐战栗。当此时，将军切不可懈怠，不闻不问！并州地方，东部有险关要塞，北部靠近羌胡，每年只能收获一季粮食，百姓家里，并无多余财产，可谓四战之地。如果有不测发生，将军是否已做好准备？“平时不能广施恩德，百姓难以为我所用。平时没有做足准备，战时将难以应付局面。”而今，百姓的性命就握在将军的手里，将军所依靠的是良臣辅佐，应该及早撤换不称职者，重新选贤任能。“十室之邑，必有忠信。”以将军的英明，俊杰士人一旦得到将军任用，一定会戮力报效，乐意为将军驱使。将军再挑选精兵良将，布置屯垦。三军严阵以待，甲兵训练有素，在肥沃的土地上实施水利灌溉，制定屯田政策，训练战射技艺。将军的麾下，将会威风远扬，治下的百姓，将会安居乐业。而后，将军占领太原，抚恤上党。兼收百姓之拥护，树立名臣之威望，天下无事，可以显示声威，天下有变，可以建立大功。愿将军开日月之明，发远虑之思，阅览《六经》，研习孙吴，明辨众议，详查众士，循《周南》之迹，垂《甘棠》遗风。将军的功勋，将会流芳千载，富贵将会传于万世。伊尹、太公之殊勋，也不过如此！”

鲍永很看重冯衍，而且，鲍永有任命裨将的权力，鲍永任命冯衍为立汉将军，兼任狼孟县长，率领军队驻扎在太原。冯衍与上党郡太守田邑修缮城池，训练甲士，保卫并州。

及至刘秀即皇帝位，派遣宗正刘延进攻天井关，与田邑大战十余次，刘延不能获胜。田邑派人把母亲、弟弟、妻子儿女接到上党郡，被刘延截获。再后来，听说更始帝败亡，田邑派遣使者前往洛阳，献上宝马玉璧，光武帝拜田邑为上党郡太守。朝廷通过田邑，派使者招降鲍永、冯衍，鲍永、冯衍仍心存疑虑，不肯投降。而且痛恨田邑背弃盟约，冯衍写信谴责田邑：

人们常讲，晋文公出奔，咎犯得以显示忠诚，赵武子蒙难，程婴得以显示忠贞，二位士人可谓义气干云。如今，三王背叛朝廷，赤眉威逼长安，天下又陷入混乱，社稷又将倾覆，这正是忠臣报国之时，壮士驰骋之秋。伯玉担任太守，主宰上党大郡，有四塞之美誉，东部有三处险关（注：上党关、壶口关、石陉关），西部为国都屏障，为何拱手投降，增强敌人的力量？资助敌人，岂不哀哉！
冯衍听说，一旦屈膝为臣，就不应怀有二心；即使能力有限，也要忠心报国。当年，晏婴恪守誓言，即使利刃架在脖子上，也决不肯屈服；谢息镇守郕城，即使受到晋、鲁胁迫，也绝不肯逃走。由此看来，将军内无利刃威胁，外无桃、莱利诱，却有背主之恶名，献城之耻辱，真是令人不齿。邾国大夫庶其献出城邑，背叛国君，是为了谋取利益，行为卑鄙，在史书上还能记上一笔；莒国大夫牟夷献出领土，向诸侯乞食，其名声仍然留存青史。大丈夫做事，首先要想到“礼”，采取行动前，首先要想到“义”，没有听说舍弃“礼义”仍能够保全名誉的。为伯玉考虑，不如与鲍尚书同心协力，以此表明没有忘记忠贞之节，再立超世之功。如果母亲被羁押，选择弃官逃走，把城邑交还尚书，同样能保全大节，也可以让敌人消除怨恨。对上，不辜负守城之责，对下，可挽救百姓性命，向人谈起这些，也能无愧于天下。如果贪恋权位，舍不得到手的利益，像冯亭一样，向赵国献城，冯衍担心，上党又会陷入被屠戮的命运。在往昔，晏平仲采纳延陵季子的谏言，最终免除栾氏、高氏之祸；孙林父违逆穆子的忠告，终身背负恶名。我想，伯玉看到这样的警示，一定会有锥心之痛，不能据城坚守，可策马扬鞭而去，不顾及其他。圣人转祸为福，智士转败为功，愿伯玉勉力，看清形势，不要像俗人一样，犹豫不决。

田邑回信：

仆虽然驽钝、怯懦，也愿意做一个坚守义理之人，怎么会苟且偷生，贪生怕死！即使刀刃架在脖子上，也绝不会改变主意，这就是我的回答。
此前，老母、兄弟被羁押在敌营，田邑仍然不管不顾，难道不是为了节操？如果人生于天地间，寿命能像金石般长久，那么，长生不老，逃避死亡，当然可以。可是，人活至百岁，已经遥不可及，老年与壮年，又有何区别？如果旧主仍在，我愿意尽忠守节，即使老母身受屠戮，妻子儿女惨遭离散，田邑也愿意。
此前，上党黠贼围困愁城，义军分为两路，占领井陉。田邑冲破重围，抗击宗正刘延，自以为勇气过人，并非不能应敌。确实是看到更始帝已经被贼兵杀害，原司徒刘秀平定三辅，陇西郡、北地郡闻风响应，刘秀顺利即位为皇帝，这些都是事实，已经摆在眼前。犹如日月经天，江河流经大地，再明白不过。死生有命，富贵在天，天下存亡，也是命里注定。田邑即使愿意牺牲，又能为谁牺牲？
做人的道理，在于知恩守义，义有所报，恩有所与。君臣大义，母子至恩。如今，旧主被杀，“义”将回报予谁？老母横遭羁押，“恩”将留于何处？先生讥讽我贪恋权位，又以策马扬鞭劝诱。我已经抛弃谋利之心，义无反顾，先生的劝诱，又何其愚蠢！
田邑已经三十岁，担任卿士，没有其他愿望，也不会再有所作为。况且，田邑位居尊位，面临危途，财多命蹇，傻子都看得清楚，君子又有何怀疑？
鲍君长、敬通坚守节操，相互委任要职。人们常讲，仲由安排门人，帮孔子料理丧事，孔子讥讽仲由欺天。鲍君长占据两州，再加上一郡，河东背叛朝廷，军队并未开入彘县。上党被围，却不肯窥视大谷县一眼。宗正刘延兵临上党，也不能前来救援。敌军威逼，朝廷的威望遭到侵夺，三王背叛，赤眉军杀害皇帝，也没有看到有谁日夜兼程，赶去救援。犹如墨翟义无反顾救援宋国，申包胥泣血秦庭保全楚国，卫女驰归吊唁兄弟。更始帝下落不明已经有一年，不知命丧何处，各种流言难以采信，道路阻隔，消息闭塞。不能事生，又如何事死？不能为臣，又焉能为主？难道厌恶做臣子，想要做君父！君欲撼动泰山，激荡北海，而今身败名裂，世事维艰，也请想想田邑的话。

冯衍听不进田邑劝谏。有人散布谣言，说更始帝刘玄跟随赤眉军到了北边，鲍永、冯衍竟然相信，把军队驻扎在界休，又向上党郡传递书信，说皇帝还在雍县，以此来迷惑百姓。鲍永派弟弟鲍升及女婿张舒诱降涅城县，张舒的家眷在上党，田邑把他们抓了起来。又写信劝降鲍永，鲍永没有回信。从此之后，鲍永与田邑的矛盾加深。田邑，字伯玉，左冯翊人，后来担任渔阳郡太守。鲍永、冯衍知道更始帝确实死了，这才放下武器，头上缠着幅巾，前往河内郡投降。

光武帝恨冯衍等人不能早日归降。鲍永立功，得以免罪，此后，皇帝委以重任。冯衍却遭贬黜。鲍永劝说冯衍：“在往昔，高祖赦免季布之罪，诛杀丁固之功。而今君遇上明主，又何必担心！”冯衍回答：“有这样一个故事，有人调戏邻居的妻子，调戏年长的一位，年长者骂他不要脸；调戏年少者，年少者以笑脸相迎。后来，邻居去世，此人娶了年长者为妻。有人问：‘她当初骂了你，你为何还要娶她为妻？’此人答：‘她做别人的妻子，我勾引她；做了我的妻子，我要她拒绝别人勾引。’天命难以违逆，道义仍可坚守，能坚守道义，臣死且不惧，又有何担心！”过了一段时间，光武帝任命冯衍为曲阳县令。在曲阳县，冯衍杀了当地豪强郭胜等，逼降五千余贼寇，论功应当受赏，因为有人进谗言，冯衍没有得到封赏。

建武六年，天上出现日食，冯衍上书朝廷，就八件事情陈述看法：一是昭显文德，二是奖励武功，三是肯定旧功，四是招揽俊杰，五是区分善恶，六是简化法令，七是俸禄等级，八是安抚边境。上书呈上，光武帝欲召见冯衍。冯衍曾担任狼孟县长，打击犯罪，按照法律惩治豪门大姓令狐略，此时，令狐略在司空（御史大夫）府担任长史，向尚书令王护、尚书周生丰进谗言：“冯衍求见皇帝，是想要诋毁君等。”王护等人害怕，遂共同谮毁排挤冯衍。最终，冯衍没能入朝觐见皇帝。

再后来，卫尉阴兴、新阳侯阴就以外戚身份在朝中显贵，他们很敬重冯衍，冯衍与他们的关系也很好，与诸侯王的关系密切，受到诸侯王聘请，不久，担任司隶校尉从事。光武帝惩治西京（洛阳）外戚门客，很多人被绳之以法，有些人被判处死刑，或流放至边郡，其余者也遭贬黜。冯衍在劫难逃。冯衍到诏狱自首，光武帝下诏，赦免冯衍，不再追究。此后，冯衍西行，返回家乡，闭门自守，不再与故旧亲朋来往。