这个成语来源于《论语。季氏》，今由与求也，相夫子。远人不服，而不能来也。邦分崩离析，而不能守也。

春秋时，鲁国的大夫季康子住在费邑(今山东费县)，他虽然名位是卿大夫，但权势极大，甚至超出当时国君鲁哀公。季康子为了进一步扩大和巩固自己的统治权力，想攻伐附近的一个叫颛臾的小国，把它并吞过来。

孔子的学生冉有和子路当时都是季康子的谋臣，他俩觉得很难谏劝季康子，于是向孔子求教。孔子却怀疑这是冉有的主意。冉有说：“这是季康的主意，我和子路都想制止他。”

孔子说：“你俩既然辅佐季康，就应该尽力劝阻他。”

冉有又说：“不过，如今颛臾的国力越来越强大。现在不攻取，以后可能会成为祸患。”

孔子说：“这话不对!治理一个国家，不必去担忧土地、人口的多少;而应该多去想想怎样使百姓安居乐业。百姓一安定，国家就会富强。这时再施行仁义礼乐的政教来广泛招致远方的百姓，让他们能安居乐业。而你们俩辅佐季康，使得远方的百姓离心而不来归附，人民有异心而不和，国家分裂而不能集中。在自己的国家处于分崩离析的情况下，还想去用武力攻伐颛臾，我恐怕季康的麻烦不在颛臾，而在萧墙之内。”

“萧墙”是国君宫门前的照壁。孔子的意思是季康的麻烦在内部而不在外面。在这个故事中又引伸出另一个成语“祸起萧墙”，形容内部发生祸乱。