Манастирот Света Петка се наоѓа на падините на ридот "Олмец" во селото Велгошти.
На средната страна од надворешниот дел на петтостраната апсида е забележан следниот запис: "Света Петка. Изградена по повелба на цар султан Абдул Хамид. Со помош на народот во времето на игуменот Наум Илиев. Во лето 1890, 22 мај“.
Света Петка е едноброда базилика со две куполи. Иконостасот е нов, но има икони што се регистрирани како споменици на културата при Републичкиот завод за заштита на спомениците, меѓу кои е Богородица со Христа. Постои киват од 1833 год. Под сегашната црква има остатоци од малтер на пештерска црква.
Црквата е проширена во 1922 год. за време на свештеникот од с.Велгошти Алексо Шокароски. Името на монахињата Параскева, односно Петка, на Балканот се појавило на крајот на 10 и почетокот на 11 век. Св.Петка (Параскева) е позната со својата чудотворна моќ за лечење на тешки заболувања.
За градбата на манастирот Света Петка има легенда во која се вели дека Велгоштани почнале да градат црква во знак на благодарност кон светицата за добрите дела. Градбата почнала во близина на селото. Изграденото ноќта Света Петка го разурнала. Тоа се повторило и вториот ден, па мајсторите третиот ден поставиле стража. На мајсторите им рекла дека ја урива градбата зошто тука не сака да и градат црква туку на местото каде што црквата сега се наоѓа.
Манастирот е привлечно место за верниците во секој дел од годината, како место каде се добива душевен мир, спокојство и радост. Особено и масовно е посетена ноќта спрема 8-ми август кога се чествува Светицата, како слава во целото село - Св. Петка.