Посмотрите
это и почитайте
это. Вкратце делается это так:
1. Копируете на новый слой всё изображение (Ctrl+Alt+Shift+E) (назовём его "source")
2. Делаете копию этого слоя.
3. Применяете к ней фильтр Surface blur. Там два параметра - первый как сильно блюрить, второй - насколько контрастной должна быть граница, чтобы остаться неразблюренной - второй параметр надо подбирать так, чтобы контуры (например, линия горизонта, ствол дерева и т.д) оставались неразмытыми, а мелкая детализация (трава, листья) размывались.
4. Применяете к слою команду Apply Image с параметрами: Layer: Source, Channel: RGB, Blending: Subtract, Scale:1, Offset: 128.
5. Инвертируем полученное изображение (Ctrl+I)
6. Десатурируем (Ctrl+Shift+U)
7. Меняем режим наложения слоя с Normal на Overlay.