Czym jest rdzeń CUDA i jak działa?

Rdzeń CUDA to jedna z niewielkich jednostek matematycznych wewnątrz procesora graficznego NVIDIA, która wykonuje podstawowe zadania związane z grafiką i obliczeniami równoległymi. Każdy rdzeń znajduje się w większym bloku zwanym wieloprocesorem strumieniowym (SM), a w nowoczesnych procesorach graficznych GeForce „Blackwell” każdy SM zawiera 128 rdzeni CUDA. Dlatego w przypadku karty RTX 5090 można zobaczyć łączną liczbę 21 760 rdzeni CUDA. Układ po prostu ma wiele SM, z których każdy zawiera te rdzenie.

CUDA (platforma obliczeń równoległych firmy NVIDIA) to oprogramowanie: umożliwia aplikacjom i frameworkom wydajne wysyłanie do tych rdzeni zadań wymagających masowo równoległego renderowania, sztucznej inteligencji i symulacji.

Pomyśl o procesorze graficznym jak o fabryce zaprojektowanej do wykonywania zadań masowych. Rdzenie CUDA obsługują zadania w grupach warp składających się z 32 wątków, które wykonują tę samą instrukcję na różnych danych (model nazywany przez firmę NVIDIA SIMT). W ten sposób procesory graficzne przetwarzają tysiące operacji jednocześnie. Każdy moduł SM posiada harmonogramy, które utrzymują wiele warp w ruchu, aby ukryć opóźnienia pamięci i zapewnić ciągłe obciążenie rdzeni.

Przydatny obraz mentalny:

• Rdzeń CUDA = pojedynczy procesor (wykonuje operacje arytmetyczne, takie jak dodawanie i mnożenie).
• SM = obszar produkcyjny z własnymi harmonogramami, pamięciami podręcznymi, jednostkami o specjalnych funkcjach, rdzeniami Tensor Core itp.
• GPU = cała fabryka, w której wiele SM działa równolegle.

• Nie są to rdzenie procesora: rdzeń CUDA to prostsza ścieżka arytmetyczna zoptymalizowana pod kątem przepustowości, a nie duży, dostosowany pod kątem opóźnień rdzeń procesora ogólnego przeznaczenia. Procesory graficzne skalują się dzięki współpracy wielu takich małych ścieżek. (Przewodnik programowania CUDA wyjaśnia tę zorientowaną na przepustowość konstrukcję).
• Różni się od wyspecjalizowanych rdzeni GPU:
  • Rdzenie Tensor to silniki matematyczne do obliczeń macierzowych, które zwiększają wydajność sztucznej inteligencji/uczenia maszynowego oraz funkcji takich jak DLSS.
  • Rdzenie RT przyspieszają ray tracing (przechodzenie BVH, testy promieni/trójkątów).

Odciążają one określone zadania, dzięki czemu rdzenie CUDA mogą skupić się na cieniowaniu/obliczeniach.

Zazwyczaj tak, ale nie same w sobie. Architektura ma duże znaczenie. Na przykład generacja Ampere firmy NVIDIA podwoiła przepustowość FP32 na SM w porównaniu z generacją Turing, więc moc „na rdzeń” zmieniła się między generacjami. Ada znacznie rozszerzyła również pamięci podręczne (zwłaszcza L2), co zwiększa wydajność wielu zadań bez zmiany liczby rdzeni. Krótko mówiąc: porównywanie liczby rdzeni CUDA w różnych generacjach nie jest porównywaniem identycznych elementów.

Inne istotne czynniki wpływające na wahania:

• Szybkość zegara i rezerwa mocy (szybkość działania rdzeni).
• Przepustowość pamięci i rozmiary pamięci podręcznej (zasilające rdzenie).
• Wykorzystanie rdzeni Tensor/RT (sztuczna inteligencja i ray tracing przejmują zadania rdzeni CUDA).
• Sterowniki i oprogramowanie (jak dobrze aplikacja wykorzystuje procesor graficzny za pośrednictwem CUDA).

• Gry/grafika: Pod maską uruchamiają programy shaderowe (vertex, pixel, compute). Rdzenie RT obsługują ciężkie etapy ray tracingu; rdzenie CUDA nadal wykonują wiele operacji cieniowania i obliczeń wokół nich.
• Tworzenie treści i symulacje: solwery fizyczne, moduły usuwające szumy, jądra renderujące, efekty wideo – wiele z nich zostało napisanych z myślą o wykorzystaniu modelu równoległego CUDA.
• AI/ML: Operacje tensorowe są wykonywane przez rdzenie tensorowe, ale wiele zadań związanych z przetwarzaniem wstępnym, przetwarzaniem końcowym i zadaniami niezwiązanymi z macierzami nadal jest wykonywanych przez rdzenie CUDA.

Przyjazna zasada ogólna:

• Gry w rozdzielczości 1080p–1440p z wysoką liczbą klatek na sekundę: należy zwrócić uwagę na cały procesor graficzny (architekturę, taktowanie, pamięć, funkcje RT/Tensor), a nie tylko liczbę rdzeni. Wyniki testów porównawczych mają większe znaczenie niż sama liczba.
• 4K lub intensywne ray tracing: skorzystasz z większej liczby rdzeni SM/CUDA i wydajnych bloków RT/Tensor, a także przepustowości i pamięci podręcznej.
• AI/obliczenia: Liczba rdzeni ma znaczenie, ale przepustowość często zależy od wydajności rdzeni Tensor Core, rozmiaru pamięci VRAM i przepustowości pamięci.

Jeśli chcesz szybko sprawdzić skalę, RTX 5090 ma 21 760 rdzeni CUDA, co pokazuje, jak NVIDIA liczy rdzenie na SM w wielu SM. Ale znowu, wzrost wydajności wynika z całościowego projektu, a nie tylko z liczby.

Nie potrzebujesz specjalnego kabla, ale potrzeb ujesz odpowiedniego zestawu oprogramowania. CUDA to platforma firmy NVIDIA; aplikacje korzystają z niej za pośrednictwem sterowników, zestawów narzędzi i bibliotek. Wiele popularnych aplikacji i frameworków zostało już zaprojektowanych tak, aby korzystać z przyspieszenia CUDA po zainstalowaniu sterowników NVIDIA i (w razie potrzeby) zestawu narzędzi CUDA. Obsługiwane aplikacje po prostu... z niego korzystają.

CUDA działa na procesorach graficznych NVIDIA z obsługą CUDA we wszystkich liniach produktów (GeForce/RTX do gier i tworzenia treści, profesjonalne RTX oraz procesory graficzne do centrów danych). W przewodniku programowania zaznaczono, że model ten obejmuje wiele generacji procesorów graficznych i modeli. Firma NVIDIA prowadzi listę procesorów graficznych z obsługą CUDA i ich możliwości obliczeniowych.