Sin dai primi secoli dell'Îslâm appare presente in questa religione una tendenza al misticismo, che è forse da porsi come base del Sufismo storico, a sua volta affiancato sin dal suo primo apparire da un'altra corrente mistica musulmana, la Malâmatiyya. La distinzione fra Malâmatiyya e Sufismo fu fatta dagli stessi scrittori Sufi che tracciarono le varie storie del Sufismo.

Un malâmatî può percorrere le quattro tappe del "disgusto", della "povertà", dello "zelo" e della "devozione", ma non le supera. Del pari un asceta, o un penitente. I Sufi percorrono questi gradi e li superano, perché il loro termine ultimo è Dio. Possiamo dire quindi che i Malâmatî furono gli asceti dell'Îslâm, ed i Sufi ne furono i mistici. Il ricco mondo del Vicino e del Medio Oriente, erede dei fasti alessandrini e romani, bizantini e sasanido-partici, offre plurime vocazioni culturali a un Îslâm che da sempre ne tenta l'unificazione in un sincretismo monolitico.

È indubbio quindi che i Sufi trovarono termini, espressioni, e perfino l'itinerario mistico per le proprie esposizioni anche nelle filosofie occidentali: Aristotelismo, Neoplatonismo, Stoicismo, Ermetismo, Gnosticismo. Molta di questa filosofia, rivisitata in chiave ellenistica, venne mediata dai Sabei, seguaci dei tre Ermete egizi, e per i quali tutte le religioni erano conciliabili.

Non poche volte anzi i primi Sufi vennero accusati dai teologi ortodossi d'essere dei cripto-Sabei, e, da qui, degli ermetisti paganeggianti. Va comunque tenuto conto che la Via del Sufismo non fu facilmente percorribile nei primi cinque secoli dell'Îslâm. Spesso un divario d'opinioni portò gli culamâ (i dotti, i teologi) a scontrarsi con i Sufi. Entrambe le categorie si consideravano "gente di Fede"; ma se i primi pretendevano di essere i soli depositari dell'erudizione religiosa (se non addirittura i giudici di tutta l'erudizione islamica),

i secondi si basavano sull'affermazione del Corano secondo la quale è possibile giungere alla conoscenza di Dio attraverso l'esperienza diretta, individuale, senza intermediari di sorta.