孔子54岁时，为了“强公室、抑三桓”，他曾以三桓的三座城的城墙太高不合礼制为由，搞“堕三都”，虽毁一城、收一城（又还原主）、败一城（没攻下），“堕三都”以基本失败告终。“堕三都”暴露了孔子的政治倾向，从此他失去了三桓的信任。但国外不知此情。孔子55岁时，齐国因忧心“孔子为政必霸，霸必兼并齐国”，于是对鲁国大施“美人计”，共送美艳动人的“女乐”80名，以诱使鲁国君臣乱政。结果鲁国君臣真的“怠于政事”，“三日不朝”，沉溺于歌舞宴乐之中不能自拔。孔子劝阻无效，愤而离鲁，去周游列国。当时因子路正任季氏宰，特以冉雍换回任保镖，另有冉有、颜回、子贡等随从。孔子初到卫，卫灵公要以高薪聘用，后因有人进谗言，孔子变为被“冰杖跟踪”。
56岁时，孔子离卫赴陈、过匡，因貌似害过匡人的洋货，被误拘错押五日，吃了很多苦，这是出游第一难。孔子57岁时又回到卫，卫灵公夫人南子召见，因她名声不好，子路曾批评孔子去见。灵公与南子同乘招摇过市，孔子说出“吾未见好德如好色者”。孔子59岁时，卫灵公以“问阵”为名，表示不欢迎孔子之道，孔子第二天就离卫。同年卫灵公卒。孔子60岁时，季桓子病重，自责气走孔子，造成鲁不兴旺，欲召回孔子，左右以“丢面子”为由反对，主张召冉有回国代孔子辅政。孔子失去一次体面回国的机会。同年，孔子经曹、宋、郑至陈，正与学生在大树下演习周礼，司马桓魋追杀而来。在他拔大树的过程中，学生掩护孔子更衣得逃。逃到郑国都城东门，因孔子形象狼狈不堪，看到他的人说他“累累如丧家之狗”，孔子自己也承认确实如此。这是孔子出游所遇第二大难。孔子就是这样迎来“六十而耳顺”。
孔子63岁在从陈返蔡途中，曾遭遇吴伐陈之战，深受惊吓。过蒲，蒲人怕孔子到卫不利于蒲，曾扣押不让出境，后“立盟”才放行；孔子说“要挟”所立誓言，不必遵守，仍去卫。此时晋赵简子攻打同僚范中行，范的家臣佛肸死守中牟，曾召孔子相助。因子路误判佛肸为叛国，阻止孔子去。孔子从卫经陈、蔡入楚。孔子一行到陈、蔡间时，陈怕他适楚不利于己，断粮围困师生于荒野达七日之久，学生饿倒不止一人，子贡偷越包围圈搬来楚兵才解围。这是孔子出游所遇第三大难。当孔子得知楚王有请他辅政之意时，去意更坚。因楚权臣怕用孔子师生后自己被冷落，挑拨离间，结果楚王没有聘用孔子。在此期间，孔子又多次受隐者嘲讽。
64岁时，孔子回到卫，侍卫出公。他主张以正名解决出公父子争位，子路说他“迂”。孔子65岁时，吴伐鲁，弟子有若抗战立功。孔子67岁时，夫人死于鲁。孔子68岁时，齐鲁交战，冉有率鲁左师抗齐大捷。季康子问他从哪里学来的指挥才能，他说“学之于孔子”。季氏决定马上以重礼迎孔子回鲁。结束14年周游时，孔子曾自嘲，出游不是“鸟择木而栖”，而是“树择鸟而栖”。孔子周游虽没有达到求仕目的，但也不是一无所获，他的学生纷纷走上各国政坛，扩大了儒学的影响，开创了百家争鸣的先河。
