六月，随朱元璋南渡长江作战，率领水军大破元朝水军，随军攻克采石、太平，和徐达攻打陈野先的水寨，生擒陈野先。
至正十六年（1356年），随徐达攻克金陵、镇江，升任秦淮翼元帅。
二月，攻打金坛、丹阳。十二月，随汤和攻打宁国长枪诸军。
至正十七年（1357年）二月，和赵馘一同攻克水阳。
三月，和徐达、常遇春一起攻克马驮沙，随军入建康，授予昭武大将军、统兵元帅，随军攻克常州，升任行枢密院判官。
攻略大浦口、江阴、太湖、宜兴。
战死石牌
至正十八年（1358年）元月，张士诚部将参政朱定、守将栾瑞镇守石牌，在桑世杰等人攻打江阴之时，派遣水军前往支援，因此朱元璋命桑世杰和廖永安率军攻打石牌，栾瑞顽强抵抗，桑世杰发誓一定攻克城池，拿起武器，骑马冲入阵中，力战而死。
至正二十三年（1363年）十月，朱元璋念其军功，追赠他为安远大将军、轻车都尉、永义侯，配享太庙，肖像功臣庙。
《明太祖实录》：自少慷慨，有大志，熊罴之士，心膂之臣。
《明史》：明祖之兴，自决策渡江，始力争于东南数千里之内，摧友谅，灭士诚，然后北定中原，南图闽、粤，则廖永安胡大海以下诸人，厥功岂细哉！计不旋踵，效命疆场，虽勋业未竟，然褒崇庙祀，竹帛烂然。以视功成命爵、终罹党籍者，其犹幸也夫。
喜欢三国：乱世第一枭雄请大家收藏：(m.msxsy.com)三国：乱世第一枭雄陌上香书院更新速度全网最快。