بررسی معماری گرافیک ها از نگاهی دیگر

[asdaf]

با هر چه عشق نام تو را ميتوان نوشت


بعد از تحقيقاتم تصميم بر ان گرفتم که نکات و تفاوت هاي اصلي معماری گرافيک ها را توضيح دهم


ALU واحد منطقي که وظيفه عمليات رياضي را بر عهده دارد و در کنار ان يک حافظه Register براي نگه داري مقادير شناور که عمليات رياضي بر روي ان انجام مي شود احتياج داريم
ساده ترين پردازنده داراي حداقل اين قسمت ها هست . که ابتدا ورودي دريافت و بعد پردازش و بعد ارسال مي گردد و یک دور کامل از اين مراحل را يک چرخه cycle مي گويند
در اينجا ما یک چرخه داريم با یک بار عملیات پردازنده


به ALU که وظيفه انجام رياضيات عددي تکي را دارند scalar مي گويند


اما در صورتي که ورودي ها زياد باشند scalar مجبور است تا انها را يکي پس از ديگري انجام دهد که باعث مي شود که چرخه cycle هاي زيادي داشته باشيم

[Only registered and activated users can see links. ]


و نتايج انها ديرتر به دست ما خواهد رسيد . هرچه قدر که فرکانس و سرعت بيشتر باشد فقط چرخه ها را سريع تر انجام ميدهد اما در اصل موضوع که cycle هاي بيشتري داريم تفاوتي ايجاد نمي کند


در صورتي که بخواهيم عمليات هاي بيشتري را روي داده هاي بيشتر بدون افزايش چرخه ها انجام دهيم بايد از ALU هاي بيشتري هم زمان استفاده ببريم (موازي سازي)
اما استفاده از تعداد زياد scalar به صورت جدا هزينه بر خواهد بود




Single instruction, multiple data (SIMD)


ALU هايي که در کنار هم متصل باشند و تمام انها هم زمان عمليات رياضي را انجام دهند SIMD مي گويند تمام ALU هاي آن يک واحد را تشکيل مي دهند

[Only registered and activated users can see links. ]


بر خلاف scalar ها که مقادير دلخواه و مستقل را دارند يک واحد SIMD بايد داراي يک دستور العمل ورودي يکسان باشد اما نتياج هر کدام متفاوت خواهد بود


معادله رياضي را فرض کنيد که داراي چند مجهول مي باشد . و ضرايب X در SIMD X ذخيره مي شوند و ضرايب Y در SIMD Y ذخيره مي شود و ضرايب Z در SIMD Z ذخيره مي شود
يعني SIMD ها فقط يک دسته بندي را مي پذيرند . بعد نتايج همزمان پردازش مي شود
به SIMD ها پردازنده VECTOR يعني برداري هم گفته مي شود

[Only registered and activated users can see links. ]


با استفاده از SIMD مي توان مقادير زيادي را در چرخه (Cycle) هاي کمتر پردازش کرد . در صورتي که تعداد داده ها از طول SIMD بيشتر نباشد تمام انها را در یک دور چرخه انجام ميدهد


ابر کامپيوتر هاي SIMD استفاده زيادي در گذشته داشته اند
يکي از مشکلات SIMD اين هست که بايد داده هاي ورودي براي ان دسته بندي شود . به همين موضوع دستور العمل هاي خاصي مانند MMX و SSE2 و ... براي محاسبات ان توسعه يافتند
بهترين کاربرد اين نوع پردازنده ها براي کار بر روي مولتي مديا هست که سبک ان مناسب پردازنده هست


Very long instruction word


VLIW "کلمه دستور العمل خيلي طولاني" معماري سابق ATI بود که از SIMD به صورت ILP يعني "موازي سازي در سطح دستور العمل" استفاده مي برد
ورودي و خروجي SIMD هاي ان به صورتي بود که چهار SIMD طولاني که بر روي دستور العمل ها کار مي کردنند (يعني VLIW ها) در کنار هم به مرور دستور العمل ها را بيرون بدهند ILP
اين معماري بهترين بازدهي و تاکيد بر روي گرافيک خام داشت که دستور العمل هاي اجزاي تصاوير بدون هيچ گونه مشکلي و به صورت موازي پردازش مي شدند
اما در زمينه محاسبات ضعيف بود چرا که بايد محاسبات به صورت ILP دسته بندي مي شدند که يکي از سخت ترين مسائل حتي براي امروز هست
[Only registered and activated users can see links. ]


Single instruction, multiple thread (SIMT)


اگر لوله هاي SIMD درون معماري RISC به صورت گروه هايي از نخ داده با دستور العمل مشترک تبديل شوند SIMT گفته مي شود
معماري RISC در پردازنده هاي ARM استفاده مي شود که شعار ان محاسبات با استفاده از دستور العمل هاي محدود هست که بازدهي بالايي دارد
يعني يک پردازنده ساده را درون يک پردازنده عمومي قرار دهيد تا وظيفه هدايت ان را بر عهده بگيرد
[Only registered and activated users can see links. ]


تمام گرافيک هاي مدرن امروزي چنين معماري را دارند


تقسيم بندي و نام گزاري داده ها

[Only registered and activated users can see links. ]


thread به معناي نخ هست يعني داده هايي که از يک منبع تکي پردازش به مرور زمان توليد شده اند
thread Block بسته يا گروهي از نخ ها را مي گويند که از يک منبع نزديک توليد شده اند که ممکن است داراي ويژگي مشترکي باشند يا نباشند
در AMD اطلاعاتي که از واحد پردازشي هاي ان ايجاد مي شود را Wavefront و در انويديا ان را Warp مي گويند


در معماري GCN هر CU ان 4 عدد SIMD با ضرفيت توليد حداکثر 16 ترد دارد
که هرکدام از SIMD ها بسته هاي داده فقط از يک دستور العمل خاصي را توليد مي کند و داده ها قبل از ان توسط سخت افزار دسته بندي مي شوند و به SIMD مخصوص خودشان فرستاده مي شوند
Wavefront هايي که از اين SIMD ها بيرون مي ايد همگي داراي دستور العمل مخصوص به خود و همانند هستند

[Only registered and activated users can see links. ]
ميزان register هاي هر SIMD اجازه نگه داري 10 wavefront را مي دهد تا بر روي ان کار کنند اگر در يک چرخه داده محاسبه نشد در چرخه هاي بعدي انجام ميشود
هر CU هم 40 wavefront مي شود يعني ضرفيت ریجستر cu هاي GCN زياد هست


براي اولين بار در فرمي هسته هاي کودا معرفي شد کودا ها بر خلاف مدل GCN ارزش تکي و مستقل دارند
اما اين به ان معنا نيست که معماري ان متفاوت هست بلکه با استفاده از ترفند هاي سخت افزاري و نرم افزاري SIMD را طوري کرده اند که تصور هسته هاي مستقل همانند MIMD داشته باشد

[Only registered and activated users can see links. ]

MMID معماری خیلی پرهزینه و منعطفی هست . رابطه افزایش انعطاف و قدرت خام محاسباتی برعکس هستند و هرچقدر معماری منعطف تر باشد قدرت خام ان کاهش پیدا میکند


واحد هايي مثل SFU و ... در کنار هسته های کودا براي همين امر هستند که انويديا اولين بار نام ان را SIMT گذاشت اما کاملا متفاوت با مدل GCN
اين مدل از ترانزيستور بيشتري استفاده ميبرد مخصوصا در قسمت کنترل و منطق آن و همچنين بخش پذيري و قابليت خاموش کردن بخش هاي اضافه را دارد
ميزان داده هايي که Sm هاي انويدا توانايي کار بر روي ان را دارند ربطي به تعداد کودا هاي ان ندارد بلکه هميشه 2 عدد warp با 16 ترد بوده است

[Only registered and activated users can see links. ] [Only registered and activated users can see links. ]

به صورت تئوری توانایی محاسبات GCN بیشتر است اما در برنامه های واقعی همه wavefront ها به صورت 16 ترد نیستند و بعضی از داده ها احتیاج به نتایجی دارند که هنوز پردازش نشده و stall می شوند
که در برنامه های عادی بخش های زیادی که در معماری gcn بدون استفاده می مانند باعث مصرف بیهوده و افزایش تاخیر می شوند اما در صورت استفاده از حداکثر توان تئوری مشکلی نخواهد بود
به این دلایل بازدهی و سرعت معماری انویدیا در برنامه های متوسط بیشتر است اما به همان نسبت ترانزیستور بیشتر احتیاج می برد

Cu های GCN به صورت ابکی هستند و در برنامه های متوسط تاخیر بالایی دارند و توانایی کار بر روی ترد های بیشتری به صورت همزمان و موازات بیشتری را دارند
برنامه های که برای کودا نوشته شده باشند سرعت خیلی پایینی روی GCN دارند
اما با استفاده از DX 12 و استفاده از حداکثر توان سخت افزار و موازات می بینیم که گرافیک های متوسط AMD هم رده گرافیک های گران قیمت انویدیا هستند
درصورتی که بازی های حجیم کنسول های GCN برای معماری انویدیا تقسیم و شکسته نشوند باعث Crash و هنگ کردن میشود

FRONT END یا بخش CONTROL LOGIC در SM های انویدیا بدون در نظر گرفتن اینکه حداکثر تعداد کوداهای تراشه چقدر هست حجم و مصرف بالایی دارند
که می بینیم انویدیا هر جا که پیشرفت قابل ملاحظه در بازدهی به مصرف را داشته است مربوط به این بخش می شود

[Only registered and activated users can see links. ]

از فرمی به کپلر با سه برابر بازدهی بیشتر با استفاده از کاهش حجم این قسمت و از کپلر به مکسول با استفاده از SMM یا SM های سری موبایل انویدیا که مصرف کمتری دارند
نسبت کودا ها به هر SM اهمیتی ندارد به جز اینکه هر Front end که دو warp شانزده تردی را پشتیبانی می کنند همیشه یکسان بوده و فقط بر دسترسی و موازات به هر کودا ها تاثیر دارد

یک تفاوتی که بین این گرافیک ها وجود دارد این است که
هر SM انویدیا یک poly morph Engine دارد که در ان واحد tessellator وجود دارد یعنی یکی به ازای هر SM و در بخش GPC بالاتر raster بین چند عدد از انها اشتراک شده است
معماری GCN تعداد CU خیلی زیادی دارد و گروهی از انها در گروه بندی shader engine دارای یک tessellator در Geometry engine و raster مشترک هستند

به طور مثال در معماری Hawaii با 44 عدد CU به صورت کلی چهار tessellator وجود دارد اما در معماری مکسول با شانزده عدد SMM شانزده عدد tessellator هست

نوع برنامه نویسی مغلوب و اینده انها بر معماری های بعدی خیلی تاثیر گذار هست انویدیا در حال حرکت به سمت معماری مناسب بهره گیری از ضرفیت بازی های کنسول های GCN هست
و amd نیز در صورت اینکه بخواهد بازدهی به مصرف خودش را افزایش دهد باید تقصیم پذیری و خاموش شدن بخش های اضافه را به SIMD های خودش اضافه کند که باعث افزایش ترانزیستور میشود

در صورت نیاز در اینده به روز رسانی خواهد شد
کپی فقط با ذکر منبع

[magiteq]

با تشکر از برسی موشکافانت

[golabettruter]

درود محمد علی جان بسیار عالی منتها اگر ادامه دار باشه خیلی بهتره
مثلا با اومدن دیاگرام پاسکال و پولاریس بررسی موشکافانه اونها رو هم بزارید
باتشکر

[asdaf]

من سعی کردم که از منابع معتبر و اصول اصلی استفاده کنم .
پس اشتباهی در اصول مطالب گفته شده وجود ندارد . در غیر این صورت ممکن است شیوه توضیح ان درست نباشد
مطلب یک بار به صورت جزئی ویرایش شد

[asdaf]

الان زمانش هست که به حکومت نام های تبلیغاتی و گراف هایی که برای برنامه نویسان بیرون میدهند پایان دهیم
و نگاهی بدون این نقاب و پوشش ها داشته باشیم که ذهنیت دقیقی به شما می ده و اتمام حجتی باشه
ببینید که براتون چیا پیدا کردم !!

معماری فنی Cayman و VLIW

[Only registered and activated users can see links. ]

با چیزی که فکر می کردم قدری متفاوت هست . اما همون طور که گفتم طبق اصول اصلی ، تاکید بر روی دستور العمل های همزمان دارد یعنی اجزای تصاویر نه محاسبات
و معماری دقیقا نقطه مقابل و معکوس GCN هست . 16 عدد SIMD با طول 4 که یک واحد پردازشی را تشکیل میدهند با ضرفیت کلی 64 همانند CU های GCN
اما دارای یک ویژگی مشترک هستند (از بعد محاسبات) و نتایج که همگی اجزای تصاویر را تولید کنند
باید بگم که در زمینه گرافیک خام بازدهی شگفت انگیزی دارد . اما محاسبات ضعیف
هر CU از GCN چهار دستور العمل را تولید می کند در حالی که فقط یک واحد SIMD با طول چهار از VLIW همین کار را میکند
که یعنی برتری VLIW از نظر دستور العمل در هر بخش پردازشی ان برابر با 16 به 1 از CU های GCN هست

اینم از معماری tonga اخرین دستاورد amd
هر Shader engine هشت CU دارد

[Only registered and activated users can see links. ]

اینم از داخل CU

[Only registered and activated users can see links. ]

پنج دستور العمل برای هر چرخه که یک دستور العمل جدا برای یک واحد Scalar اضافه در کنار 64 SIMD هست که معمولا به عنوان ترد اسمی ازش نمی برند
همچنین اگر دقت کنید شباهت زیادی با معماری Bulldozer دیده می شود


معماری مکسول که در این قسمت تفاوت اصولی با نسل های قبلی و معماری رقیب ندارد

[Only registered and activated users can see links. ]

تصویر ارتباطات اجزای SMM های مکسول و پیشرفته ترین گرافیک جهان!

[Only registered and activated users can see links. ]

cuda core ها همون طور که گفتم در واقع SIMD هستند . و SFU که در کنار اجزای هسته ها پخش شده اند وظیفه اعمال ویژه را بر عهده دارند
تفاوت فلسفی wavefront و warp از دو شرکت را می توانید توی معماری انها ببینید

واحد های محاسبات در واقع پایه معماری هستند و اجزای دیگر در بالاتر برای رسیدگی به انها طراحی می شود و در اولویت بعدی قرار دارند که نباید باعث گلوگاه شوند
هرچقدر سرعت بیشتری داشته باشیم تعداد کمتری از انها اجزائ اشتراکی خواهند داشت و برعکس . یا به توضیح دیگر قسمت های پر سرعت بین کم سرعت ها اشتراک میشوند
در غیر این صورت اضافه بودن نسبت به دیگر اجزا فقط باعث مصرف بیشتر ترانزیستور و فضای تراشه و ... خواهد شد

[golabettruter]

درود
مرسی خیلی حال کردم
ادامه بدید لطفا
یک سوال محمد علی جان عاملی که شایع هست در کارتهای گرافیک amd و اینکه میگن دارای لگ و استاتر هست ایا بر میگرده به معماری amd یا باز هم همون بحث ناکارامد بودن درایور هست
وایا اینکه amd با تغییر درایورهاش از ریشه (یعنی همین کریمسون )ایا تونسته بر این مشکل غلبه کنه یا هنوز هم جای کار داره
با تشکر

[SYNCMASTER]

تصویر ارتباطات اجزای SMM های مکسول و پیشرفته ترین گرافیک جهان!

یعنی چی مکسول پیشرفته ترین گرافیک جهان؟
منظورتون اینه یعنی گرافیک های amdساده هستند؟
شایدم من بدمتوجه شدم!

[asdaf]

با تشکر از تمام دوستان عزيز که ما را تا اينجا ياري کرده اند
پيامي که شما ارسال کردين خيلي کوتاه است. لطفا" اندازه 10 کارکتر پيامتان را بيشتر کنيد.

عاملي که شايع هست در کارتهاي گرافيک amd و اينکه ميگن داراي لگ و استاتر هست ايا بر ميگرده به معماري amd يا باز هم همون بحث ناکارامد بودن درايور هست
وايا اينکه amd با تغيير درايورهاش از ريشه (يعني همين کريمسون )ايا تونسته بر اين مشکل غلبه کنه يا هنوز هم جاي کار داره

جواب اين سئوال چندان مربوط به سخت افزار نميشه اما درايور مخصوصا توي دايرکس 11 چيزي هست که بايد هميشه انجام داد
مخصوصا انويديا که ادعا ميکنه يک پا شرکت نرم افزاري هست . سخت افزار انويديا هم قابليت هايي براي دستکاري هاي درايوري و ... در ان گذاشته شده
کريسمون هم روي بهبود بخش هايي از درايور که در بازي هاي مختلف متفاوت نيست کار ميکنه
دايرکس 12 هم امده که amd بدون زحمت هايي که انويديا براي درايوراش ميکشه به بازدهي مشابه برسه


دايرکس 11 فقط از دو هسته استفاده ميکنه اما انويديا با درايور بار کاري سريالي SM هاش رو به هسته هاي ديگر مي سپره اما معماري amd اين اجازه رو بهش نميده
چون به صورت سريالي ساخته نشده و با دايرکس 12 همون اتفاقي براي amd مي افته که انويديا با درايور توي دايرکس 11 ميکنه
البته بدون تمام هزينه هاي جانبي و ...

يعني چي مکسول پيشرفته ترين گرافيک جهان؟
منظورتون اينه يعني گرافيک هاي amdساده هستند؟
شايدم من بدمتوجه شدم!

يعني شما فقط اين قسمت رو متوجه نشدي و مهم بوده. شعار من اينه که نبايد به اين چيزاي کلي اهميت داد بلکه بايد پايه رو ديد و فهميد
در هر صورت من اهداف خاصي از اون داشتم که از جنبه هاي مختلف ميشه بهش نگاه کرد
از نظر تعداد اجزاي جانبي بله معماري Amd ساده تر هست اما اين به حکمتي بر ميگرده که نشان از تفاوت فلسفي اونها داره
همون طور که اگه توجه کرده باشيد که گفتم هسته ها پايه هستند و بقيه قسمت ها در جهت اونها طراحي ميشه


انويديا با تعداد تسليشن بالا و دستورات کوچک و زياد مشکلي نداره . برعکس اون GCN هست که براي حجم بالا و ترد هاي زياد طراحي شده
CU هاي GCN به خاطر طراحيشون نيازي به تعداد زياد قسمت هاي تسلاتور و ... همانند انويديا ندارند بلکه باعث اتلاف ميشه
و در حجم هاي بالا همون تسلاتور و رستر کم تعدادشون کار رو راه مي اندازه . اما در دستورات کوچيک و زياد و تسليشن زياد نه تنها CU ها کافي و سريع نيستند بلکه تسلاتور overhead ميشه
به همين خاطر توصيه کرده اند که مثلاثات و تسليشن رو با حجم بالا و تعداد کم انتخاب کنيد که تاثير مستقيمي روي Raster و تصوير سازي هم داره

[moc]

با این اوصاف و گفته های شما مشکل پردازش موازی در انویدیا و تسلیتور در AMD که خود مبدع تسلیتور بوده خیلی پایه ای تر از اینه که به راحتی حل بشه و حالا حالا ها نباید منتظر حل این مسائل بود چون از اساس با معماری چیپست ها مشکل دارند و این دو مساله نیازمند دو نوع معماری مقابل همند که اگر یکی حل شود دیگری خراب خواهد شد مگر اینکه معماری انقلابی بیاد و طوری این تضاد رو حل کنه

[asdaf]

میشه کل معماری و تراشه رو تغییر داد و کلا یک گرافیک دیگه بیرون داد اما نکته اصلی اینه که مدل برنامه نویسی قبلی با جدید باید سازگاری داشته باشه
صد در صد معماری انقلابی بعدی amd با کنسول ها و 64 ترد هماهنگی خواهد داشت
هر دو شرکت می تونند یک معماری بسازند که همه چیزهای فعلی و موجود برنامه نویسی داشته باشه . اما در اخر می بینید که یک معماری مشابه می زنند و ترانزیستور و سطح تراشه خیلی زیادی مصرف می کنند
این تعریف تضاد شما درست نیست

وقتی ترجیهات و اولویت چیزی بر دیگری پیش میاد که ما محدودیت داشته باشیم . وقتی شما فضای ترانزیستور و اهمیت سطح تراشه در هدف اصلی شما باشه
با استفاده از سلیقه خودتون معماری با تاکید و ضعف بر چیزی را می سازید که .قابلیت مورد تاکید شما پتانسیل اصلی اون میشه

خود تسلیتور مشکلی نداره و حتی شاید عملکرد خیلی بهتر از انویدیا داشته باشه . مشکل تعداد پایین یا هسته های حجیم هست. که اونم به خاطر اینه که لازم نیست
اگه amd بخواد تسلیشن اش رو بهبود بده باید به سادگی تعداد این قسمت رو افزایش بده که در حال حاظر فقط چهار تاست در مقابل 16 تای مکسول
amd می تونه بخش پذیری و خاموش شدن قسمت های اضافه رو به SIMD هاش اضافه کنه و در نتیجه بهبود کارایی تعداد تسلیشن اونها رو زیاد کنه
اما ترانزیستور کلی تراشه نسبت به تعداد هسته افزایش خواهد یافت . که الان دوران معماری 14 نانومتر رسیده

انویدیا مشکلی در تعداد warp های موازی نداره بلکه حرف اول رو هم میزنه .اما فقط wap هاش کم ضرفیت نسبت به GCN هستند
مدل کودای انویدیا بدون کنار گذاشتن معماری غیر قابل اصلاح هست از نظر توان به ترانزیستور
انویدیا هم بخواد میتونه SM های با مدل قبل و غولی بسازه !!! یا اینکه فقط یک کمی تراشه رو ساده تر کنه . برای کاهش مصرف کلی
اصلا ممکنه نخواد اهمیتی به کنسول یا بازی بده .
اما انویدا تا اینجای کار که پیش امده و با تمام مدل نرم افزار هایی که ساخته تنها یک راه شعار براش مونده که اونم Deep Learning هست
______________________________________

کپلر نسبت به فرمی دو تکنولوژی جدید رو معرفی کرد .
Hyper Q .
یعنی SM هاش رو می تونه به صورت موازات دربیاره و برای هرکدوم از بخش هاش یک CPU تئیین کنه
کاری که دایرکس 12 می کند

[Only registered and activated users can see links. ]

Dynamic parallelism
روشی به صرفه تر با کارایی کمتر هست به جای اینکه تمام بخش ها رو به CPU سپرد و بار تمام هسته های CPU رو افزایش داد .
در اینجا خود SM ها به SM دیگری دستور می فرستد و نقش CPU را اجرا میکند و به صورت شبکه هوشمند با شاخه های افزایشی هست

[Only registered and activated users can see links. ]
به تصاویری که برای مثال داده شده است دقت کنید . سمت چپی حالت عادی است . وسط حالت cpu زیاد و سمت راستی حالت هوشمند و شبکه ای

[Only registered and activated users can see links. ]

Deep learning
Dynamic parallelism در واقع ایده پایه برای Deep learning انویدیا هست
که گفته شده در این قسمت و دسترسی شبکه ای 10 برابر مکسول هست نه اینکه قدرت خام محاسباتی 10 برابر باشد

[Only registered and activated users can see links. ]

قابلیت تشخیص چهره که اول خطوط اصلی را شناسایی بعد ویژگی های اصلی را شناسایی بعد تصویر فرد رو از تصاویر حافظه خودش پیدا میکنه
که انویدیا بهش شبکه نورون مغزی گفته و بعضیا گفتن مثل شبکه Skynet توی ترمیناتور شده

گرچه انودیا تنها کسی نیست که ادعای ساختار مغز و هوش مصنوعی رو کرده . که باید ببینیم ایا انویدیا به رستگاری خواهد رسید یا نه