Préchauffer le four à 375 F et tapisser une plaque de cuisson de papier parchemin.
Dans une petite casserole, faire chauffer l'huile, les graines de fenouil, le poivre de Cayenne, l'ail, les zestes et les olives à feu le plus doux possible. Faites cuire, en remuant de temps en temps, jusqu'à ce que vous commenciez à voir l'ail et les épices grésiller et faire griller dans l'huile, 5 à 8 minutes. (Surveillez attentivement pour éviter qu'elle ne brûle). Continuez à faire cuire à feu doux jusqu'à ce que les épices soient grillées et que l'ail soit doré, soit encore 3 à 5 minutes. Retirez du feu et jetez les tranches de zestes de citron et d'orange. Incorporer 1 cuillerée à soupe de miel et réserver.
Déroulez une feuille de pâte feuilletée sur un plan de travail propre. Étendre le mélange d'olives de façon uniforme sur la pâte feuilletée. (Un pinceau à pâtisserie permet de bien étaler l'huile). Répartissez le brie uniformément sur la pâte.
Roulez la pâte aussi serrée que possible. S'il reste de l'huile, badigeonnez le rouleau avec celle-ci. À l'aide d'un couteau bien aiguisé, coupez en 8 tourbillons.
Placez les rouleaux sur la plaque de cuisson préparée et faites-les cuire 20-25 minutes ou jusqu'à ce que le fromage bouillonne et que la pâte soit dorée (ceux-ci sont un peu salissants, ne vous inquiétez pas). Arroser les petits pains avec le reste du miel et recouvrir de sel de mer en flocons et de zeste de citron. Servez immédiatement.