孔子54岁时,为了“强公室、抑三桓”,他曾以三桓的三座城的城墙太高不合礼制为由,搞“堕三都”,虽毁一城、收一城(又还原主)、败一城(没攻下),“堕三都”以基本失败告终。“堕三都”暴露了孔子的政治倾向,从此他失去了三桓的信任。但国外不知此情。孔子55岁时,齐国因忧心“孔子为政必霸,霸必兼并齐国”,于是对鲁国大施“美人计”,共送美艳动人的“女乐”80名,以诱使鲁国君臣乱政。结果鲁国君臣真的“怠于政事”,“三日不朝”,沉溺于歌舞宴乐之中不能自拔。孔子劝阻无效,愤而离鲁,去周游列国。当时因子路正任季氏宰,特以冉雍换回任保镖,另有冉有、颜回、子贡等随从。孔子初到卫,卫灵公要以高薪聘用,后因有人进谗言,孔子变为被“冰杖跟踪”。

56岁时,孔子离卫赴陈、过匡,因貌似害过匡人的洋货,被误拘错押五日,吃了很多苦,这是出游第一难。孔子57岁时又回到卫,卫灵公夫人南子召见,因她名声不好,子路曾批评孔子去见。灵公与南子同乘招摇过市,孔子说出“吾未见好德如好色者”。孔子59岁时,卫灵公以“问阵”为名,表示不欢迎孔子之道,孔子第二天就离卫。同年卫灵公卒。孔子60岁时,季桓子病重,自责气走孔子,造成鲁不兴旺,欲召回孔子,左右以“丢面子”为由反对,主张召冉有回国代孔子辅政。孔子失去一次体面回国的机会。同年,孔子经曹、宋、郑至陈,正与学生在大树下演习周礼,司马桓魋追杀而来。在他拔大树的过程中,学生掩护孔子更衣得逃。逃到郑国都城东门,因孔子形象狼狈不堪,看到他的人说他“累累如丧家之狗”,孔子自己也承认确实如此。这是孔子出游所遇第二大难。孔子就是这样迎来“六十而耳顺”。

孔子63岁在从陈返蔡途中,曾遭遇吴伐陈之战,深受惊吓。过蒲,蒲人怕孔子到卫不利于蒲,曾扣押不让出境,后“立盟”才放行;孔子说“要挟”所立誓言,不必遵守,仍去卫。此时晋赵简子攻打同僚范中行,范的家臣佛肸死守中牟,曾召孔子相助。因子路误判佛肸为叛国,阻止孔子去。孔子从卫经陈、蔡入楚。孔子一行到陈、蔡间时,陈怕他适楚不利于己,断粮围困师生于荒野达七日之久,学生饿倒不止一人,子贡偷越包围圈搬来楚兵才解围。这是孔子出游所遇第三大难。当孔子得知楚王有请他辅政之意时,去意更坚。因楚权臣怕用孔子师生后自己被冷落,挑拨离间,结果楚王没有聘用孔子。在此期间,孔子又多次受隐者嘲讽。

64岁时,孔子回到卫,侍卫出公。他主张以正名解决出公父子争位,子路说他“迂”。孔子65岁时,吴伐鲁,弟子有若抗战立功。孔子67岁时,夫人死于鲁。孔子68岁时,齐鲁交战,冉有率鲁左师抗齐大捷。季康子问他从哪里学来的指挥才能,他说“学之于孔子”。季氏决定马上以重礼迎孔子回鲁。结束14年周游时,孔子曾自嘲,出游不是“鸟择木而栖”,而是“树择鸟而栖”。孔子周游虽没有达到求仕目的,但也不是一无所获,他的学生纷纷走上各国政坛,扩大了儒学的影响,开创了百家争鸣的先河。