很少有了解他的生平。现在还不知道他出生的地方。安德烈·鲁勃廖夫可能住在莫斯科附近的谢尔盖圣三一修道院，此时[[谢尔盖·拉多涅日斯基]]已去世，拉多涅日的[[尼孔·拉多涅日斯基]]成为修道院院长(1392)。 从史书中，我们了解到，他在1370－1390年期间曾在莫斯科画派的画家团中学习和工作过。
第一次关于鲁勃廖夫的记载是在1405年。他与希腊的[[狄奥法内斯]]（Theophanes）和[[戈罗杰茨]]（今卡西莫夫）的[[费奥凡·格列克]]和[[普罗霍尔]]（Prokhor）合作为莫斯科克里姆林宫的的报喜大教堂装饰圣像和壁画。他的名字在画家名单的最后，因为他神职最低(只是个普通修士)，年龄最小。在修道院中，他潜心钻研了同时代进步思想家，如修道院创始人[[谢尔盖]]及其弟子的哲学著作，并有机会与他们直接交流。[[狄奥法内斯]]是一个移居到俄罗斯重要的拜占庭画家，被认为是影响、教育鲁勃廖夫的老师。
他与好友及一直的合作伙伴[[丹尼尔·乔尔内]]一道，在1408年为弗拉基米尔的圣母安息教堂绘过圣像和壁画。当时最珍贵的作品，包括3幅祷告圣像画以及1幅节日游行专用圣像画，被收藏在特列季亚科夫画廊中。教堂西墙上以“可怕庭审”为主题的图案，气势恢宏，部分壁画得以保存至今。
安德烈·鲁布廖夫流传至今的节日游行圣像画共7幅：“报喜”、“洗礼”、“耶稣诞生”、“奉献节”、“主易圣容”、“乞丐复活”、“进入耶路撒冷”。与其他画师的作品相比，鲁布廖夫的作品笔法绵软、构图和谐。在描绘福音场面时，他加入了个人的特殊理解，赋予了画作灵性和人性的温暖。
据推测，祷告仪式圣像画都是由鲁布廖夫统一构思并在学生帮助下完成的。圣徒形象都是一群睿智长者、心平气和、品德高尚。其中以耶酥、先知圣约翰、圣保罗的形象最为丰满。显然，他们是鲁布廖夫亲自完成的。而节日游行圣像画中，他只创作了一幅——“升天”。由此看来，鲁布廖夫在这—时期创作的圣像画，是对东正教拜占庭“弗拉基米尔圣母”形象进行的自由式模仿。圣母怀抱圣婴，色调柔和，娴静纤美，流露出母性的光辉，她因为预感到爱子命运多舛而心生哀愁。
1918年，[[兹韦尼哥罗德]]发现了三幅祷告仪式圣像：“救主”、“天使长米哈伊尔”和“圣徒保罗”，估计是鲁布廖夫在15世纪10年年代的作品，尤其出色的是“兹韦尼哥罗德救主”。据推测，画家参与了兹韦尼哥罗德郊外[[萨维诺一斯托罗热夫斯基]]修道院基督诞生教堂的装饰工作。留传至今的少量圣堂壁画很有鲁布廖夫的风格。
14241424-1427年期间，鲁布廖夫应修道院院长尼孔的邀清，与丹尼尔·乔尔内以及若干不知名的助手一道，在谢尔盖圣三一修道院的圣三一教堂工作。他是教堂彩绘及圣像壁工程的负责人。教堂壁画已经无迹可寻，只留下来3层高的圣像壁。
在此期间，鲁布廖夫创作了三位一体圣像，它堪称十五世纪世界绘画艺术的瑰宝。这一圣像是鲁布廖夫为纪念谢尔盖·拉多涅日斯基而创作的。在库利科夫战役期间．谢尔盖·拉多涅日斯基从精神上鼓舞了俄罗斯人民的士气。在他的不懈努力下，内讧得以避免，俄罗斯大公们同仇敌忾，抗击鞑靼军队。这幅圣像画珍藏在1411年建成的圣三一教堂中。
唯一被完全鉴定的画作是他的圣像《三位一体》 （1410—1410），目前在莫斯科特列季亚科夫画廊。这是根据早先被称为《好客的亚伯拉罕》（说明创世记的圣像）创作的。 鲁勃廖夫在画面中去掉亚伯拉罕和莎拉的形像，并通过使用一种微妙的组成和变化的象征意义的主题集中于神秘的三位一体。两个传统在鲁勃廖夫的艺术里相结合：最高的禁欲主义和经典的和谐拜占庭奇异的特点，他的画总是和平与平静。此后一段时期，他的艺术来被视为理想的教堂绘画和东正教意象 。
在丹尼尔死后，安德烈来到莫斯科安德罗尼科夫修道院，1428年以前，他—直在完成自己的最后作品一一救主教堂的彩绘工作(如今只保留下很少部分)。1430年1月19日（这个日期仍然值得怀疑），他在安德罗尼科夫修道院与世长辞。
古俄罗斯的杰出画师，包括[[季奥尼西]]，都深受鲁布廖夫作品的影响。 在1551年召开的百条宗教会议上，鲁布廖夫的圣像画被定为典范。 自17世纪起，鲁布廖夫在地方上被当作圣者崇拜。如今，他已正式成为全俄罗斯的圣徒，俄罗斯东正教会于1988年宣布他为圣徒，每年1月29日和7月4(17)日，教会都会纪念他。
1959年，安德罗尼科夫修道院开设了安德烈·鲁布廖夫纪念馆，展出与画家同时代的艺术品。