2
HPC 컴퓨팅과 관련된 용어에 완전히 익숙하지 않지만, EC2는 새로운 코어 유형 인 Cuda Core (5.120)와 두 가지 "코어"를 모두 갖춘 새로운 Nvidia Tesla V100으로 AWS에서 새로운 유형의 인스턴스를 출시 한 것을 보았습니다. , 텐서 코어 (640) 등이있다. 두 가지의 차이점은 무엇입니까?쿠다 대 텐서 코어의 차이점은 무엇입니까?
A
답변
2
이제 테슬라 V100과 타이탄 V에만 텐서 코어가 있습니다. 두 GPU 모두 5120 개의 쿠다 코어를 가지고 있으며, 각 코어는 1 GPU 클럭 당 1 회의 단 정밀도 곱셈 누적 연산 (예 : fp32 : x + = y * z)을 수행 할 수 있습니다 (예 : Tesla V100 PCIe 주파수는 1.38Gz).
각 텐서 코어는 크기가 4x4 인 작은 행렬에 대한 연산을 수행합니다. 각 텐서 코어는 1 GPU 클럭 당 1 행렬 곱셈 - 누적 연산을 수행 할 수 있습니다. 이것은 두 개의 fp16 행렬 4x4를 곱하고 곱셈 곱 fp32 행렬 (크기 : 4x4)을 누적 기 (즉, fp32 4x4 행렬)에 더합니다.
입력 행렬이 fp16이지만 곱셈 결과와 누산기가 fp32 행렬이므로 혼합 정밀도라고합니다.
아마도 적절한 이름은 4x4 매트릭스 코어 일 뿐이지 만 NVIDIA 마케팅 팀은 "텐서 코어"를 사용하기로 결정했습니다.
0
GPU는 항상 기계 학습에 유용했습니다. GPU 코어는 원래 행렬 작업과 관련된 물리 및 그래픽 계산을 위해 설계되었습니다. 일반적인 컴퓨팅 작업은 많은 행렬 연산을 필요로하지 않으므로 CPU의 속도가 훨씬 느립니다. 물리 및 그래픽은 일반 컴퓨팅 작업보다 병렬 처리가 훨씬 쉬워 코어 수가 많습니다.
기계 학습 (신경망)의 매트릭스 무거운 성격 때문에 GPU는 매우 적합했습니다. Tensor 코어는 기계 학습 소프트웨어와 관련된 계산 유형 (Tensorflow와 같은)에 훨씬 더 많이 특화되어 있습니다.
Nvidia는 자세한 블로그 here을 작성했습니다. here은 Tensor 코어가 작동하는 방식과 CUDA 코어보다 향상된 성능에 대해 자세히 설명합니다.