春秋时期，晋国有一个品行高尚的大夫，名叫祁黄羊。一天，晋平公召见祁黄羊，问：“现在南阳县缺个县令，你看派谁去比较合适呢？”祁黄羊说：“叫解狐去吧。”晋平公道：“解狐不是你的仇人吗？你们见了面彼此连招呼都不打，你怎么会推荐他到这样重要的地方当县令呢？”祁黄羊笑了笑，说：“您并没有问我的仇人是谁，而是问我什么人能胜任南阳县令，因此，我就把我认为最合适的解狐推荐给您。”于是，晋平公就派解狐到南阳县，结果解狐充分发挥他的才干，受到了当地百姓的称赞和欢迎。
后来，晋平公又问祁黄羊：“现在朝廷缺个法官，你觉得谁可以胜任呢？”祁黄羊很诚恳地说：“祁午去做法官再合适不过了。”晋平公十分惊讶地说：“祁午是你的儿子啊，你推荐自己的儿子，难道不怕别人说闲话吗？”祁黄羊说：“您是问我谁可以当法官，并没有问我祁午是不是我的儿子啊。”晋平公于是就派祁午当了法官。祁午办事十分公正，处理案件果断公正，受到了百姓的爱戴。
祁黄羊的行为受到了许多人的赞扬，连孔子都称赞说：“祁黄羊这样做很对，他推荐人，对外不排斥仇人，对内不回避儿子。像祁黄羊这样的人，可真是大公无私呀！”
后来，人们就用“大公无私”这个成语，来形容某人办事公道、顾全大局、毫无私心。