تاریخ شکل گیری اولین محل تجمع مسلمانان شیعه در فرانکفورت به پیش از سال 1993 باز می گردد. زمانی که جماعتی از مسلمانان شیعه مقیم با دغدغه حفظ هویت دینی خویش بر ایجاد جلسات مذهبی در مناسبتهای دینی اهتمام ورزیدند. حاصل تلاشهای آنان تأمین یک زیر زمین در یکی از محلات فرانکفورت بود که تا مدتها به عنوان حسنیه و محل اجتماع مورد اقبال مسلمانان شیعه منطقه بود. با مرور زمان و با همگرایی ملیتهای مختلف، حضور مسلمانان در این مجموعه رو به افزایش گذارد و در نهایت با همت مردم و خیرین به خرید محلی در منطقه هاوزن فرانکفورت انجامید که به نام مرکز اسلامی امام علی (ع) موسوم شد.
روحانیون متعددی در بازه های زمانی متفاوت در این مرکز اسلامی و محل اجتماع مسلمانان شیعه فرانکفورت به خدمت مشغول شدند. حجج اسلام آقایان اسماعیل سابقی، معین شیرازی، محمود منتظری مقدم، سید ابراهیم هاشمیان و زکریا مشکور از جمله روحانیونی بودند که هر یک برای مدتی اداره امور آن مکان را بر عهده گرفتند.
شیخ محمود خلیل زاده در سال ۲۰۰۹ به دعوت مؤمنان مقیم و با توصیه برخی از مراجع معظم تقلید به عنوان مدیرو امام این مرکز به فعالیت مشغول گردید. با استقبال روز افزون مردم و درخواستهای فزاینده عمومی در خصوص رشد فعالیتهای دینی و آموزشی، در سال ۲۰۱۰ و با انگیزه به روز آوری و گسترش فعالیتها به صورت قانونمند و افزایش حوزه آن فعالیتها در منطقه جغرافیایی آلمان ، با همت آقای خلیل زاده مؤسسه ای مردم نهاد با نام رسمی «مرکز فرهنگ اسلامی فرانکفورت» در مراجع قانونی آلمان به ثبت رسید. با تأسیس مرکز فرهنگ اسلامی فرانکفورت، مسجد امام علی (ع) که پیش از این تمام هویت مجموعه به شمار می آمد بدل به قسمتی از فعالیتهای این مؤسسه شد.
با رونق گرفتن مرکز فرهنگ اسلامی فرانکفورت از یک سوی و افزایش شمار مسلمانان شیعه از ملیتهای گوناگون از سوی دیگر، انتقال مرکز به مکانی بزرگتر و مناسب تر یک ضرورت غیر قابل انکار بود. از این روی در سال ۲۰۱۳ با مساعدتهای خیرین، مؤمنان و مراجع معظم تقلید و با همت شیخ محمود خلیل زاده ساختمان مناسبی خریداری شد و پس از دو سال که ساخت فاز اول مسجد به پایان رسید، مرکز فرهنگ اسلامی فرانکفورت به مکان جدید منتقل گردید.
در سال ۲۰۱۶ در ماه محرم و حضور جمع بسیاری از مسلمانان، شبستان اصلی مرکز به عنوان مسجد جامع امام علی (ع) نامگذاری گردید و صیغه شرعی مسجد در آن جاری گشت و نیز بخشهای مختلف مرکز در حوزه های علمی، آموزشی و فرهنگی به بهره برداری رسید.
