李泌在乡间隐居的时候穿的是布衣，到了灵武，还是穿着自己的旧衣服。肃宗经常与李泌并马而行。兵士们看见后，在后面指指点点说：说“穿黄衣服者是圣人（皇帝），穿白衣服者是山人。”肃宗听到兵士们的议论，觉得这样太显眼了，就给李泌一件紫色的官服，硬要他穿上，还说：“现在是艰难之时，不敢屈从你的意志委以官职，暂衣紫袍以绝群疑。”李泌不得已，只好穿上。肃宗笑着说：“你既然穿上了官服，还能没有个官衔？”说着，从袖里拿出一份诏书，任命李泌为侍谋军国、元帅府行军长史（相当于军师）。李泌坚决推辞。肃宗说：“我不敢以你为相，只是想要渡过此艰难时机。待讨平叛军后，随你的意愿。”李泌这才同意。
当时灵武已经成为唐帝国新的政治中心，朝廷要指挥全国的战事，军务繁忙，四方奏报，从早到晚不断。肃宗将元帅府设在禁中，命令把收到的文书一律先送到元帅府给李泌拆看，有紧急大事才送给肃宗。事无大小都要先征求李泌的意见，而且言听计从，甚至将相的任免都与他商议。宫门的钥匙由肃宗太子李俶和李泌两人负责掌管，可见肃宗对李泌信任到了无以复加的地步。
肃宗在灵武的时候，曾经与李泌谈论：“现在郭子仪、李光弼已为宰相，如果收复两京，平定叛乱，则无官以赏其功，怎么办呢？”李泌回答说：“古时官以任能，爵以酬功。汉、魏以来，虽然推行的是郡县制，但有功者仍赐以土地，可以传给子孙，至于周、隋仍然没有改变。本朝初年，关东还未平定，所以封爵都是虚名，其食实封者，只是给缯布而已。贞观年间，太宗想要恢复古制，分土为王，由于大臣异议而止。所以赏功臣多以官。但以官赏功有二害，非才则废事，权重则难制。所以有功之臣居大官者，都因为不能传之子孙，皆乘有权之时以邀利，无所不为。过去如果使安禄山有百里之国可以传给子孙，就不会反叛了。为今之计，待天下平后，不如分爵土以赏功臣，就是大国，也不过几百里，与现在的小郡差不多，也不难节制。对于人臣来说是万世之利。”肃宗深以为然。李泌却突然说：“至于我所希望的，就和别人不一样。我对禄位和土地都没有欲望。我为陛下运筹帷幄，收复京城以后，只要能枕在天子的膝上睡一觉，让钦天监来奏报客星侵犯帝座，能动一动天上星宿就满足了。”肃宗听了大笑不止。李泌的疏放性格由此可见。但正是这样的人，对权力名利无所图，反而更得天子信任。
后来有一天，李泌因为太累，在院子里睡着了。肃宗刚好来到，不让人惊动李泌，然后把李泌的头捧到自己膝上。好长时间后，李泌才醒。肃宗笑道：“天子的膝你已经枕了，攻克敌营收复失地的日子在什么时候？可以缩短时间酬报我。”李泌急忙起来谢恩。
肃宗曾经叫来颖王等三个弟弟，与李泌一起，几人在地炉地毯上进食。肃宗亲自烧了两个梨递给李泌。颖王却不干了，硬要吃那梨。肃宗不给，说：“你吃了一肚子肉，李先生不吃肉（李泌修道，不吃荤），为什么你要争这点东西？”颖王说：“我们只是要试一试皇上的心，为什么偏向李泌？要不然，我们三个人共要一个梨也行。”肃宗也不答应，另外让人拿来别的果品送给他们。三个弟弟又说：“我们因为那梨是皇上亲自烧的所以才要，别的果品要来又有什么用？”接着又说：“李先生受到如此恩宠，请允许我们联句，作为以后的故事。”颖王先开头：“先生年几许，颜色似童儿。”信王接着说：“夜抱九仙骨，朝披一品衣。”益王接道：“不食千钟粟，唯餐两颗梨。”然后三王请皇帝完成此诗。肃宗便说：“天生此间气，助我化无为。”李泌要站起来致谢。肃宗坚决不让，还说：“你住在山上，隐居在幽林之中，不参与人间的事；你住在宫内，秘密地谋划救国大计，把握神妙的机宜，你是镇守社稷的人。”李泌在肃宗心目中的地位由此可见一斑。
正因为李泌受到的如此恩宠，所以宦官李辅国等人非常嫉妒他。李泌颇谠直而通权变，他也知道这点。李泌与肃宗之间有一段“五不可留”的对话。一天，李泌夜间与肃宗饮酒宫中，然后同榻而睡。李泌突然说：“臣今儿个报答了皇上的恩德已足够，此后重新回到民间，该多快乐呀！”肃宗大吃一惊：“朕与先生很久以来同甘苦共患难，如今正在同享欢乐，为何要骤然离去？”李泌说：“臣有五个不可留的理由。臣遇见陛下太早，陛下用臣太重，宠臣太深，臣的功劳太高，谋略也太奇，这些就是我不能留下的理由。”肃宗由此大为称奇。
至德二年（757年）十月，唐军收复东京洛阳，李泌立即请求到衡山隐居。肃宗很不能理解，说：“我和你同忧患，现在正好同享乐，你怎么说要走呢？”极力挽留不成，只好下敕令郡县为李泌筑室于衡山山中，给三品禄。代宗立，复召李泌，舍蓬菜殿书阁。又为元载等人所嫉。出历楚州、杭州刺史，皆有政绩。德宗幸奉天，召赴行在授左散骑常侍，旋拜中书侍郎，同平章政事。遇事多所匡救。后累功封邺侯。
李泌一生极富传奇色彩，不娶妻，不吃肉。喜欢谈佛论道，经常以鬼神讽世，为当时的正派人士所不容。时人也将他视作另类。但李泌与肃宗、代宗、德宗三个皇帝都能很好地维持着一种亦师亦友的关系：与肃宗“出陪舆辇，同榻而寝”；李泌不荤不娶，代宗还强使其娶妻食肉；对德宗，则指其为桀纣而无妨。尽管李泌因遭权臣忌嫉，四次下野流放，但新帝每一即位，便立即征召李泌。连为四帝所宠幸，史所罕见。
李泌习儒工诗文，却喜欢谈论“神仙诡道”，在衡山也与僧人结交，留有“懒残煨芋”的佳话，可谓集三教于一身的奇人。他屡次推辞高官厚禄，出入于朝廷与名山之间，既能对朝廷政治施加影响，又能明哲保身，“白衣苍狗变浮云，千古功名一聚尘”，穿梭在山中隐士和帝师宰相的双重身份之间，可谓进退自如，其思想性格、生平行事可以使人对中国的文化传统、士人遭遇产生许多遐想。宋人徐钧有《李泌》一诗：“衣白山人再造唐，谋家议国虑深长。功成拂袖还归去，高节依稀汉子房。”
