Muhammad Ali regrettera plus tard d’avoir tourné le dos à Malcolm X quand celui-ci lui demanda de quitter la Nation of Islam avec lui. Il affirme que les accusations sur les mœurs d’Elijah Muhammad ainsi que sur sa pratique religieuse douteuse (Malcolm X affirmait qu’il ne savait pas faire la prière) l’ont déstabilisé car elles visaient l’homme qui lui avait donné son nom musulman. Il ne se sentait pas assez mûr pour remettre en cause ses enseignements lorsque Malcolm X splitta avec les Black muslims.
En 1964, Ali et Malcolm X se retrouvèrent par hasard au Ghana. Malcolm X revient tout juste de son pèlerinage et s’apprête à saluer son ex-ami quand Muhammad Ali passa sans même lui répondre. Dans son livre « The Soul of a Butterfly: Reflections on Life’s Journey », Muhammad Ali relate cette rencontre à Accra et critiquait ouvertement l’accoutrement de Malcolm X en affirmant qu’il était allé trop loin dans son mimétisme arabe, portant une robe blanche, une canne et une barbe à l’image du style vestimentaire des Arabes (“He was wearing the traditional Muslim white robes,”).
C’était le point de vue qu’il avait à ce moment de fortes tensions entre Malcolm et les partisans de la NOI. Ali regrettera son comportement en assurant que c’était là une des plus grandes erreurs de sa vie.