સતયુગમાં આ નગર ખેડબ્રહ્મા બ્રહ્મપુર દ્વાપરયુગમાં ત્રબકપુર અને કળયુગમાં બ્રહ્મખેટક તરીકે ઓળખાયું છે. શિવજીના લગ્નમાં સાવિત્રી દેવીના રૂપથી ક્ષણિક મોહભંગ થયેલા બ્રહ્માજીએ પાપ મુક્ત થવા માટે આ સ્થળે યજ્ઞ કરેલો. યજ્ઞમાં સાવિત્રી દેવી રિસાઈ ગયેલા એટલે દર્ભ કન્યાને ઉતપન્ન કરી તેમની સાથે બેસી બ્રહ્માએ યજ્ઞ કરેલો ત્યારબાદ સાવિત્રી દેવી આવી જતા બન્નેની સાથે રહી યજ્ઞ સંપન્ન કરેલો. એટલે ગર્ભ ગૃહમાં ભગવાન બ્રહ્મા સાવિત્રી દેવી થતા ગાયત્રી દેવીની મૂર્તિ સ્થાપિત કરેલ છે.
સમગ્ર ભારતમાં પુષ્કર અને ખેડબ્રહ્મા બેજ સ્થળોએ બ્રહ્માજીના મદિર હાલમાં અસ્તિત્વ ધરાવે છે.
મંદિર આશરે 1500 વર્ષ પહેલા બંધાયેલું જણાય છે. બ્રહ્માજીની ચતુર્થમુખી આશરે 6 ફૂટની ઊંચી પ્રતિમા છે. હાથમાં માળા, કમલ, પુસ્તક છે. બન્ને બાજુ સાવિત્રી દેવી અને ગાયત્રી દેવી બિરાજમાન છે. મંદિરની બહારની બાજુએ ત્રણે દિશાઓમાં બ્રહ્માની મૂર્તિઓ મુકેલી છે. જેના રૂપ બીન્યાસ મંદિરની મુખ્ય પ્રતિમાને અનુરૂપ મુકેલી છે. ત્રણેના વાહનો અનુક્રમે નંદી, ઘોડો તથા હંસ બતાવેલ છે. ઘોડા કે નંદી ને બ્રહ્માના વાહન તરીકે દર્શાવતા નથી છતાં ગુજરાતની પ્રતિમાઓમાં આ એક વિશિષ્ટતા જાહેર થાય છે.
પુરાણોમાં વર્ણવ્યા પ્રમાણે બ્રહ્માનો જન્મ શેષશાયી વિષ્ણુની નાભીમાંથી ઉત્પન્ન થયેલા કમળમાંથી થયો છે. તેઓ વેદોનાં પિતા છે અને જન્મથી જ મહાન વિદ્વાન છે, તેમણે સૃષ્ટિનું સર્જન કર્યું અને જગતને વેદોનું જ્ઞાન આપ્યું. કમળ ખુલતાજ તેમણે પોતાની આજુબાજુ શું છે તે જોવા ચારે દિશામાં માથુ ફેરવ્યું તેથી તેમના ચારે દિશામાં ચાર મુખ છે, જેથી બ્રહ્માને ચતુર્મુખ બ્રહ્મા પણ કહેવામાં આવે છે. ઘણી વખત એક હરોળમાં ચાર મસ્તક વાળી છબીઓ જોવા મળે છે, જે ખરૂં નથી.
ઇતિહાસ એવું કહે છે કે આખા ભારત દેશમાં શ્રી બ્રહ્માજીના પુરાતન ફક્ત બે જ મંદિર આવેલ છે એક શ્રી પુષ્કરજીમાં તથા બીજું ખેડબ્રહ્મામાં છે જેમાં બ્રહ્માજીની મૂર્તિ પૂરી છ ફૂટની છે તેમજ તેની આજુબાજુશ્રી ગાયત્રી માતા તથા શ્રી સાવિત્રી માતાની મૂર્તિઓ પણ છે. સદીઓથી આ મંદિરનો વહીવટ તેમજ સેવા પૂજા અહીંના શ્રી ખેડાવાળ ભીંતર બ્રાહ્મણ સમાજ કરતો આવ્યો છે. મંદિરના આગળ વિશાળ પુરાતન વાવ આવેલી છે જેને બ્રહ્માજી વાવ તરીકે લોકો ઓળખે છે જેની અંદર બ્રાહ્મણોના તથા હમ્મડ જૈની જેટલી ગોત્ર દેવીઓના કલાત્મક ગોખ આવેલા છે.
આ યજ્ઞ કાર્ય માટે જે બ્રાહ્મણો અહિ આવી વસ્યા તેમણે બ્રહ્માજીને વિનંતી કરી આપ દેવલોકમાં પરત જશો. પરંતુ આપનું સ્વરૂપ અમને આપો એટલે બ્રહ્માજીએ પોતાની ૬૪ મુખી પ્રતીમા બ્રાહ્મણોને આપી જે આ મંદિરમાં સ્થપાઈ. કાળક્રમે સતયુગ પછીના યુગમાં બ્રાહ્મણોની શક્તિ ક્ષીણ થતી ગઇ એટલે બ્રાહ્મણો એ ભગવાનને અલ્પ સ્વરૂપ આપવા કહ્યું એટલે બ્રહ્માજીએ ૩૨ મુખવાળી પ્રતિમા આપી આમ છેવટે ૩૨માંથી ૧૬ અને ૧૬માંથી ૮ થઇ ૮માંથી ૪ સ્વરૂપવાળી મૂર્તિ થઇ જેની નિયત પુજા થાય છે.
ખેડબ્રહ્મા ખાતે નાના-અંબાજી તરીકે જગવિખ્યાત અંબાજી માતાનું મંદિર આવેલું છે. તેમાય આ પવિત્ર ભૂમિ પર યજ્ઞ કરવા માટે બ્રહ્માજી વતી વિશ્વકર્માએ જે જગ્યાએ સોનાના હળથી ખેડ કરી હતી. તે જગ્યા બ્રહ્માની ખેડ તરીકે ઓળખાય છે. અને કાળ ક્રમે તે આજનું ખેડબ્રહ્મા યજ્ઞમાં વિઘ્ન નાખનાર મહિષાસુર રાક્ષસનો મા આદ્ય શકિત જગદંબાએ વધ કર્યો હતો. અને ત્યાર બાદ બ્રહ્માજીની વિનંતિથી માતાજીએ કાયમ માટે ખેડબ્રહ્મામાં વાસ કર્યો હતો. મા આદ્ય શકિત અંબાના જુદા જુદા વાર પ્રમાણે માતાજીની સવારી બદલાય છે.