为了躲避残暴的商纣王、伯夷叔齐居住在北海之滨和东夷人一起生活。听到西方伯主周文王兴起，国内稳定，生产发展很快。他们高兴地说：“应该从东夷回去了，我们听说西伯的国内很安定，很适合老年人居住。”于是他们相约到周国去。
但是走在中途，就遇见了周武王伐纣的大军，原来这时周文王已经死去，周武王用车拉着周文王的木主奔袭商纣。他们二人大失所望就叩马而谏说：“父死不埋葬，就动起武来，这能算作孝吗？以臣子身份来讨伐君主这能算作仁吗？”武王的卫兵要杀害他俩，军师姜尚劝解说：“这是讲义气的人呀，不要杀害他们。”就把他俩扶走了。
后来周武王与商纣王大战于牧野，血流飘杵，由于商纣王阵前的奴隶兵倒戈，周武王才取得了决定性的胜利，灭掉了商朝，建立了新的王朝周朝。
伯夷叔齐认为这种做法太可耻了，发誓再不吃周朝的粮食。但是当时各地都属于周朝了。他们就相携着到首阳山上采薇菜吃。在采薇菜时，他们还唱着歌说：“上那个西山哪，采这里的薇菜。用那强暴的手段来改变强暴的局面，我真不理解这样作算是对呀？先帝神农啊，虞夏啊！这样的盛世，恐怕不会有了。我们上那里去呢，真可叹啊！我的生命就要结束了。”于是就饿死在首阳山之上。