L'ensemble de Mandelbrot  est l'ensemble des complexes c tels que la suite récurrente définie par  soit bornée, autrement dit tels que 0 soit un "prisonnier" de la fonction  définie par , ou encore que c appartienne à l'ensemble de Julia rempli:. Une condition équivalente est que l'ensemble de Julia  soit connexe.
 

On montre que si la suite dépasse 2 en module, alors elle est non bornée ; on en déduit que  est l'intersection des domaines Dn (limités par une courbe algébrique de degré 2n ) définis par  ;  est donc fermé et borné. La figure de gauche montre le tracé des courbes implicites pour n = 1,2,3,4 ; malheureusement, à partir de n = 5, la courbe devient illisible. La figure de droite, qui fait apparaître les 100 premiers domaines ci-dessus, a été obtenue comme suit : appelant "durée de vie" le premier entier n tel que  dépasse 2, on représente la vue de dessus de la surface associée à la fonction qui à c associe 1 si la durée de vie est paire, 0 sinon.
On obtient une meilleure vision de l'ensemble de Mandelbrot en représentant la fonction qui à c associe sa durée de vie si celle-ci est inférieure à 100, et 100 sinon ; on obtient une surface que l'on pourrait désigner par "plateau de Mandelbrot"; ce plateau, représentant D100 et les contreforts qui y mènent, donne une bonne idée de l'ensemble de Mandelbrot limite. Si, comme à droite, on ne représente que D100, on perd certaines ramifications extrêmement fines de .
La partie principale de  est formée d'une cardioïde et de son "intérieur" ; elle correspond tout simplement aux valeurs de c pour lesquelles la suite  est convergente. Les ensembles de Julia correspondants sont des courbes fermées simples (mais fractales). D'après un théorème sur les fonctions complexes, l'intérieur de la cardioïde est l'ensemble des valeurs de c pour lesquelles la fonction  possède un point fixe attractif (car le bassin d'attraction d'un point fixe attractif contient toujours un point critique de la fonction, ici 0 en l'occurrence). Cet ensemble est donc formé des points c tels qu'il existe un z vérifiant  et , soit  et  avec, d'où la cardioïde frontière . Son intersection avec  est ]-3/4,1/4[.
On définit de même l'ensemble  des valeurs de c pour lesquelles la fonction possède un cycle d'ordre k attractif. On montre que  est formé de 2k-1 discoïdes ouverts "centrés" aux 2k-1 solutions de, appelés "composantes hyperboliques" de . On conjecture que la réunion des  forme l'intérieur de . Pour obtenir la frontière de  (d plus grand diviseur strict de k) , éliminer t et z entre les équations  et  ; on obtient que  est tout simplement le disque de centre -1 et de rayon 1/4 (en rose ci-contre),  est formé des 3 discoïdes verts ci-contre, et  formé des 6 discoïdes bleus ci-contre.
D'autres points de , appelés points de Misiurewicz, sont les c tels que la suite  est périodique à partir d'un certain rang non nul. On montre que ces points sont dans la frontière de  et sont même denses dans cette frontière. Le cycle de  correspondant est alors répulsif. Pour déterminer les points de Misiurewicz, on résout ; les points de Misiurewicz les plus simples sont -2 (suite (0,-2,-2,...)) et i (suite (0,i, i-1, i, i-1,...)).

On peut définir plus généralement un ensemble de Mandelbrot pour toute famille () de transformations du plan complexe comme étant l'ensemble des c tels que la suite , où a est un point critique de , est bornée.
Quelques exemples ci-dessous (voir aussi cette page):
 

Ensembles de Mandelbrot associé à  pour n = 3 et 4 ; la composante principale est limitée par l'épicycloïde à n -1 arches définie par .

Ensemble de Mandelbrot pour ; la composante principale est limitée par les deux cercles de centres 0 et 2 et de rayon 1. L'ensemble est symétrique par rapport à 1 car  avec  et .

 

Ensembles de Mandelbrot pour  et

fractal suivant

fractal précédent

courbes 2D

courbes 3D

surfaces

fractals

polyèdres

© Robert FERRÉOL  2010