либо плагин какой..хотя навряд ли....либо фотошоп с использованием дымовых кистей с последующей подгонкой по режимам наложения.... склоняюсь ко второму.
... еще была мысля что из выделения делается путь, а потом по пути пускается кисть дымовая...ну и в конце доработка руками
п.с. теорем Ферма прям какая-то!))))))....у меня вот так получилось: