آیا به دستگاهی نیاز دارید که بتواند صدها تریلیون محاسبه نقطه شناور را در ثانیه انجام دهد؟ یا آیا به یک داستان بار در مورد نحوه عملکرد ابر رایانه در زیرزمین شما به عنوان یک شکستن نیاز دارید؟ ایجاد خوشه محاسباتی با عملکرد بالا ، به عنوان ابررایانه ، چالشی است که هر متخصص حرفه ای با تعطیلات آخر هفته وقت آزاد و مقداری پول نقد می تواند با آن مقابله کند. از نظر فنی ، یک ابر رایانه مدرن و چند پردازنده ، شبکه ای از رایانه ها است که به طور موازی برای حل یک مشکل کار می کنند. این مقاله به طور خلاصه هر مرحله از این فرآیند را با تمرکز بر سخت افزار و نرم افزار شرح می دهد.
مراحل
مرحله 1. ابتدا اجزای سخت افزاری و منابع مورد نیاز را تعیین کنید
شما به یک گره سر ، حداقل دوازده گره محاسبه یکسان ، یک سوئیچ اترنت ، یک واحد توزیع قدرت و یک رک احتیاج دارید. تقاضای الکتریکی ، سرمایش و فضای مورد نیاز را تعیین کنید. همچنین در مورد آدرس IP مورد نظر برای شبکه های خصوصی خود ، نام گره ها ، بسته نرم افزاری که می خواهید نصب شده و فناوری مورد نظر برای ارائه محاسبات موازی تصمیم بگیرید (بیشتر در این مورد بعداً) تصمیم بگیرید.
- اگرچه سخت افزار گران است ، اما همه نرم افزارهای ذکر شده در این روش رایگان هستند و اکثر آنها منبع باز هستند.
- اگر می خواهید ببینید سرعت رایانه شما از نظر تئوری چقدر سریع است ، از این ابزار استفاده کنید:
مرحله 2. گره های محاسبه را بسازید
شما باید گره های محاسبه کننده را جمع آوری کرده یا سرورهای پیش ساخته را بدست آورید.
- شاسی سرور رایانه ای را انتخاب کنید که فضا ، سرمایش و بهره وری انرژی را به حداکثر برساند.
- یا می توانید از ده ها سرور قدیمی و قدیمی استفاده کنید - کل آنها از مجموع قطعات آنها بیشتر است و در عین حال شما را از حجم قابل توجهی از پول خود صرفه جویی می کند. همه پردازنده ها ، آداپتورهای شبکه و مادربردها باید یکسان باشند تا کل سیستم بتواند به خوبی با هم بازی کند. البته ، RAM و ذخیره سازی برای هر گره و حداقل یک درایو نوری برای گره سر را فراموش نکنید.
مرحله 3. سرورها را در رک نصب کنید
از پایین شروع کنید ، بنابراین قفسه بالا سنگین نیست. شما در این زمینه به یک دوست احتیاج خواهید داشت - سرورهای متراکم می توانند بسیار سنگین باشند و هدایت آنها به ریل هایی که آنها را در رک نگه می دارند دشوار است.
مرحله 4. سوئیچ اترنت را در بالای شاسی سرور نصب کنید
این لحظه را برای پیکربندی سوئیچ اختصاص دهید: اجازه دهید اندازه فریم جامبو 9000 بایت باشد ، آدرس IP را بر روی آدرس استاتیک که در مرحله 1 تصمیم گرفته اید تنظیم کنید و پروتکل های مسیریابی غیر ضروری مانند SMTP Snooping را خاموش کنید.
مرحله 5. PDU (واحد توزیع برق) را نصب کنید
بسته به میزان جریان گره های شما در حداکثر بار ، ممکن است برای محاسبه با کارایی بالا به 220 ولت نیاز داشته باشید.
مرحله 6. با نصب همه چیز ، می توانید روند پیکربندی را آغاز کنید
لینوکس یک سیستم عامل واقعی برای خوشه های HPC است - نه تنها محیط ایده آل برای محاسبات علمی است ، بلکه نصب آن روی صدها یا حتی هزاران گره هزینه ای ندارد. تصور کنید که نصب ویندوز روی تمام آن گره ها چقدر هزینه خواهد داشت!
- با نصب آخرین نسخه BIOS و سیستم عامل مادربرد شروع کنید ، که باید در همه گره ها یکسان باشد.
- توزیع لینوکس دلخواه خود را روی هر گره نصب کنید ، با یک UI گرافیکی برای گره سر. گزینه های محبوب عبارتند از CentOS ، OpenSuse ، Scientific Linux ، RedHat و SLES.
- این نویسنده استفاده از توزیع خوشه ای سنگها را بسیار توصیه می کند. علاوه بر نصب تمام ابزارهای لازم برای عملکرد یک خوشه محاسباتی ، Rocks از یک روش عالی برای "توزیع" موارد بسیاری از خود به سرعت در گره ها با استفاده از بوت PXE و روش Red Hat "Kick Start" استفاده می کند.
مرحله 7. رابط پیام رسان ، مدیر منابع و سایر کتابخانه های ضروری را نصب کنید
اگر در مرحله قبل Rocks را نصب نکرده اید ، باید نرم افزار لازم را برای فعال کردن مکانیزم های محاسبات موازی به صورت دستی تنظیم کنید.
- ابتدا به یک سیستم مدیریت قابل حمل قابل حمل مانند Torque Resource Manager نیاز دارید که به شما امکان می دهد وظایف را در چندین دستگاه تقسیم کرده و توزیع کنید.
- برای تکمیل تنظیم ، گشتاور را با برنامه زمانبندی خوشه Maui جفت کنید.
- در مرحله بعد ، باید رابط عبور پیام را نصب کنید ، که لازم است فرآیندهای جداگانه در گره های محاسباتی جداگانه داده های یکسانی را به اشتراک بگذارند. OpenMP یک برنامه کاربردی نیست.
- کتابخانه ها و کامپایلرهای ریاضی چند رشته ای را برای ساختن برنامه های محاسباتی موازی خود فراموش نکنید. آیا اشاره کردم که شما فقط باید Rocks را نصب کنید؟
مرحله 8. گره های محاسبه را با هم شبکه کنید
گره سر وظایف محاسباتی را به گره های محاسبه کننده ارسال می کند ، که به نوبه خود باید نتیجه را به عقب ارسال کند ، و همچنین پیام هایی را برای یکدیگر ارسال می کند. هرچه سریعتر بهتر.
- برای اتصال همه گره های خوشه از یک شبکه خصوصی اترنت استفاده کنید.
- گره سر همچنین می تواند به عنوان یک سرور NFS ، PXE ، DHCP ، TFTP و NTP در شبکه اترنت عمل کند.
- شما باید این شبکه را از شبکه های عمومی جدا کنید ، که این اطمینان را می دهد که بسته های پخش با سایر شبکه های LAN شما تداخل ندارند.
مرحله 9. خوشه را آزمایش کنید
آخرین کاری که ممکن است بخواهید قبل از انتشار این همه قدرت محاسبه به کاربران انجام دهید ، آزمایش عملکرد آن است. معیار HPL (High Performance Lynpack) یک انتخاب محبوب برای اندازه گیری سرعت محاسباتی خوشه است. شما باید آن را از منبع با تمام بهینه سازی های ممکن کامپایلر خود برای معماری که انتخاب کرده اید ، کامپایل کنید.
- البته باید از منبع با تمام گزینه های بهینه سازی ممکن برای پلتفرم خود کامپایل کنید. به عنوان مثال ، در صورت استفاده از پردازنده های AMD ، با Open64 با سطح بهینه سازی -0 سریع کامپایل کنید.
- نتایج خود را در TOP500.org مقایسه کنید تا خوشه خود را با سریعترین 500 ابر رایانه جهان مقایسه کنید!
ویدئو - با استفاده از این سرویس ، ممکن است برخی از اطلاعات با YouTube به اشتراک گذاشته شود
نکات
- برای سرعت بسیار بالای شبکه ، به رابط های شبکه InfiniBand مراجعه کنید. هرچند آماده پرداخت هزینه های برتر باشید.
- IPMI می تواند مدیریت یک خوشه بزرگ را با ارائه KVM-over-IP ، دوچرخه سواری قدرت از راه دور و موارد دیگر ، نسیم کند.
- از Ganglia برای نظارت بر بارهای محاسباتی روی گره ها استفاده کنید.
