刘表死后,曹操到荆州,刘备向江南撤退。曹操军队追击,一日一夜后追到了当阳长阪。刘备听说曹操军队即将追上,抛弃了妻子和孩子,快速逃跑,命令张飞率领二十名骑兵断后。张飞凭借一条河水,破坏了桥梁,瞪着眼睛,拿着长矛,大喊,我是张益德,过来决一死战。敌人没有敢上前决斗的人,保证了刘备的逃脱。
刘备在益州时,回头攻打刘璋,张飞和诸葛亮顺着水陆逆流而上,分别攻打各郡县。到达江州的时候,击败了巴郡太守严颜,并将其生擒。张飞大声问,我们的大军攻打过来,你们为什么不投降而胆敢迎战?严颜说,你们没有信义,侵略、夺取我们的州郡,我们这里只有断头的将军,没有投降的将军。张飞很生气,命令手下把严颜带出去斩首,严颜神色不变,说,砍头就砍头呗,你生什么气啊!张飞对他很赞许,就释放了他,并任用他担任自己的幕僚。张飞经过的地方都被他攻克,于刘备会师于成都。