NVIDIA A100 GPU½éÉÜ
NVIDIA A100ÈÚºÏÁ˳¬540ÒÚ¸ö¾§Ìå¹Ü£¬ÊÇĿǰȫÊÀ½ç×î´ó³ß´çµÄ7nmÖÆ³Ì´¦ÀíÆ÷£¬ÄÚÓÐ6912¸öCUDAºËÐÄ¡¢40GBÔËÐÐÄڴ棬ÒÔ¼°ÄÚ´æÍøÂç´ø¿í´ï1.6TB/s£¬ÕÅÁ¿¼ÆËãºËÐÄÄÚÈÝÐÔÄÜ´ó·ù¶ÈÌá¸ß£¬TF32ÐÔÄÜ´ï156ÍòÒÚ´Î/Ã룬Èç¹ûÀûÓÃÏ¡ÊèÐÔ£¬Æä¼ÆËãÄÜÁ¦¿É·±¶´ïµ½312ÍòÒÚ´Î/Ãë¡£
NVIDIA A100 Tensor Core GPU »ùÓÚ×îÐ嵀 Ampere ¼Ü¹¹£¬Ïà±ÈÉÏÒ»´ú NVIDIA V100 GPU Ôö¼ÓÁËÐí¶àÐÂÌØÐÔ£¬ÔÚ HPC¡¢AI ºÍÊý¾Ý·ÖÎöÁìÓò¶¼ÓиüºÃµÄ±íÏÖ¡£A100 Ϊ GPU ¼ÆËãºÍÉî¶ÈѧϰӦÓÃÌṩÁ˳¬Ç¿À©Õ¹ÐÔ£¬¿ÉÒÔÔËÐÐÔÚµ¥¿¨»ò¶à¿¨ GPU ¹¤×÷Õ¾¡¢·þÎñÆ÷¡¢¼¯Èº¡¢ÔÆÊý¾ÝÖÐÐÄ¡¢ ±ßÔµ¼ÆËãϵͳÒÔ¼°³¬ËãÖÐÐÄ¡£A100 GPU ¿ÉÒÔ¹¹½¨Áé»î£¬µ¯ÐÔÇÒ¸ßÐÔÄܵÄÊý¾ÝÖÐÐÄ¡£
A100 ´îÔØÁ˸ïÃüÐԵĶàʵÀý GPU£¨Multi-instance GPU »ò MIG£©ÐéÄ⻯Óë GPU ÇиîÄÜÁ¦£¬¶ÔÔÆ·þÎñ¹©Ó¦ÉÌ£¨CSPs£©¸ü¼ÓÓѺᣵ±ÅäÖÃΪ MIG ÔËÐÐ״̬ʱ£¬A100 ¿ÉÒÔͨ¹ý·Ö³ö×î¶à 7 ¸öºËÐÄÀ´°ïÖú¹©Ó¦ÉÌÌá¸ß GPU ·þÎñÆ÷µÄÀûÓÃÂÊ£¬ÎÞÐè¶îÍâͶÈë¡£A100 Îȶ¨µÄ¹ÊÕÏ·ÖÀëÒ²Äܹ»Èù©Ó¦Ḛ́²È«µÄ·Ö¸îGPU¡£
A100 ´øÓÐÐÔÄÜÇ¿¾¢µÄµÚÈý´ú Tensor Core£¬Ö§³Ö¸üΪ·á¸»µÄ DL ºÍ HPC Êý¾ÝÀàÐÍ£¬Í¬Ê±¾ßÓÐ±È V100 ¸ü¸ßµÄ¼ÆËãÍÌÍ¡£A100 еÄÏ¡Ê裨Sparsity£©ÌØÐÔÄܹ»½øÒ»²½ÈüÆËãÍÌÍ·±¶¡£
еÄTensorFloat-32 (TF32) ºËÐÄÔËËãµ¥ÔªÈà A100 ÔÚ DL ¿ò¼ÜºÍ HPC ÖÐÇáËɼÓËÙÒÔ FP32 ×÷ΪÊäÈë/Êä³öÊý¾ÝµÄÔËË㣬±È V100 FP32 FMA ²Ù×÷¿ì10±¶£¬Ï¡ÊèÓÅ»¯£¨sparse£©Ï¿ÉÒÔ´ïµ½20±¶¡£ÔÚ FP16/FP32 µÄ»ìºÏ¾«¶ÈÏÂÒ²ÄÜ´ïµ½V100 µÄ 2.5 ±¶£¬Ï¡ÊèÓÅ»¯ºó´ï 5 ±¶¡£
Ð嵀 Bfloat16(BF16)/FP32 »ìºÏ¾«¶È Tensor Core ÔËËãµ¥ÔªºÍ FP16/FP32 »ìºÏ¾«¶ÈÒÔÏàͬµÄƵÂÊÔËÐС£Tensor Core ¶Ô INT8¡¢INT4 ºÍ INT1 µÄ¼ÓËÙΪ DL ÍÆÀíÌṩÁËÈ«ÃæÖ§³Ö£¬A100 sparse INT8 ±È V100 INT8 ¿ì 20 ±¶¡£ÔÚ HPC ÖУ¬A100 Tensor ºËÐÄµÄ IEEE ¼æÈÝ FP64 ´¦ÀíÈÃËüµÄ±íÏÖÊÇ V100µÄ 2.5 ±¶¡£
A100 GPU µÄÉè¼Æ¾ßÓй㷺µÄÐÔÄÜÀ©Õ¹ÐÔ¡£¿Í»§¿ÉÒÔʹÓà MIG GPU ·ÖÇø¼¼Êõ¹²ÏíÒ»¸ö A100 £¬»òÕßÔÚÇ¿´óµÄȫРNVIDIA DGX™ ¡¢NVIDIA HGX™ ºÍ NVIDIA EGX™ ϵͳÖÐʹÓöà¸ö A100 GPU£¬²¢Í¨¹ýȫеĵÚÈý´úNVLink® ¸ßËÙ»¥Á¬½øÐÐÁ¬½Ó¡£»ùÓÚ A100 µÄϵͳÓÉÈ«Ð嵀 NVIDIA NVSwitch™ ºÍ Mellanox® ×îÏȽøµÄinfiniBand™ ºÍÒÔÌ«Íø½â¾ö·½°¸Á¬½Ó£¬¿ÉÒÔÔÚ¼ÆË㼯Ⱥ¡¢ÔƼÆËãʵÀý»ò´óÐͳ¬¼¶¼ÆËã»úÖÐÀ©Õ¹µ½Êýʮ̨¡¢Êý°Ų̀»òÊýǧ̨ A100£¬ÒÔ¼ÓËÙ¶àÖÖÀàÐ͵ÄÓ¦Óú͹¤×÷¸ºÔØ¡£´ËÍ⣬A100 GPU¸ïÃüÐÔµÄÐÂÓ²¼þÄÜÁ¦Í¨¹ýеÄCUDA 11¹¦Äܵõ½ÔöÇ¿£¬Ìá¸ßÁ˿ɱà³ÌÐÔ£¬½µµÍÁËAIºÍHPCÈí¼þµÄ¸´ÔÓ¶È¡£
NVIDIA A100 GPU ÊÇÊ׿ÐÔ GPU ¼Ü£¬Äܹ»ÀûÓà NVLink¡¢NVSwitch ºÍ InfiniBand À©Õ¹µ½¾ÞÐÍ GPU£¬»òÀûÓà MIG À©Õ¹µ½Ö§³Ö¶à¸ö¶ÀÁ¢Óû§£¬µÎµÎÔÆGPU/vGPUÔÆ·þÎñÆ÷¾ßÓÐÓÅÒìÐԼ۱ȣ¬¼Û¸ñÓÅÊÆÃ÷ÏÔ¡£
NVDIA A100 Tensor Core GPUÔÚ NVIDIA GPU ¼ÓËÙ¼ÆËãÁìÓòʵÏÖÁËÓÐÊ·ÒÔÀ´×î´óµÄ´ú¼Ê·ÉÔ¾¡£
µÎµÎÔÆGPUºÍ»úÆ÷ѧϰ²úÆ·È«ÃæÓµ±§A100
×÷ΪӢΰ´ïµÄ³¤ÆÚºÏ×÷»ï°é£¬µÎµÎÔÆ¼´½«ÍƳö»ùÓÚNVIDIA A100 GPUµÄÔÆ·þÎñÆ÷²úƷϵÁУ¬°üÀ¨GPUÔÆ·þÎñÆ÷²úÆ·ºÍÂã½ðÊô·þÎñÆ÷²úÆ·£¬µ±Ç°Âã½ðÊô·þÎñÆ÷²úÆ·ÒѾÏòÑû²âÓû§¿ª·Å²âÊÔ¡£¸Ã²úƷϵÁн«ÎªÉî¶ÈѧϰѵÁ·/ÍÆÀí¡¢Êý¾Ý·ÖÎö¡¢¿ÆÑ§¼ÆËã¡¢»ùÒò¹¤³Ì¡¢ÔÆÓÎÏ·µÈ³¡¾°Ìá¹©ÔÆ¶Ë¼ÓËÙ·þÎñ¡£ÎªÁ˸üºÃ·¢»Ó A100 »ìºÏ¾«¶ÈѵÁ·ºÍÍÆÀíÐÔÄÜ£¬µÎµÎÔÆÎª¿Í»§ÌṩÁË NGC ¾µÏñ¼ÓËÙ¹¦ÄÜ£¬Ö§³Ö¿ìËÙ²¿Êð TensorFlow 1.x/2.x¡¢PyTorch¡¢MXNet µÈÐÔÄÜÓÅ»¯°æ AI ѵÁ·¿ò¼ÜºÍ TensorRTÍÆÀí¿ò¼Ü£¬½ÚÊ¡³õ´Î°²×°»·¾³Ê±¼ä¡£
µÎµÎÔÆ»úÆ÷ѧϰ¹¤×÷ÊÒ£¨DAI£©Notebook·þÎñÒ²½«Ôö¼Ó¶ÔA100 GPUµÄÖ§³Ö¡£Notebook»ùÓÚJupyter±Ê¼Ç±¾£¬Í¨¹ýA100 GPUµÄËãÁ¦Ö§³Ö¿É°ïÖú»úÆ÷ѧϰ¿ª·¢Õß¹¹½¨¡¢ÑµÁ·¶ÔËãÁ¦ÒªÇó¸ü¸ßµÄ¸´ÔÓ»úÆ÷ѧϰģÐÍ¡£
µÎµÎÔÆ¼°GPU²úÆ·¡¢»úÆ÷ѧϰ²úÆ·½éÉÜ
µÎµÎÔÆ³ÉÁ¢ÓÚ2017Ä꣬»ùÓڵεγöÐеÄÒµÎñ¼¼ÊõºÍ¾Ñé»ýÀÛ£¬²ÉÓÃÁìÏȵÄÔÆ¼ÆËã¼Ü¹¹¡¢¸ß¹æ¸ñ·þÎñÆ÷¼¯Èº´î½¨¡¢¸ßÐÔÄÜ×ÊÔ´ÅäÖûúÖÆ¡¢¾«Ï¸»¯ÔËӪģʽ£¬ÖÂÁ¦ÓÚΪ¿ª·¢ÕßÌṩ¼òµ¥¿ì½Ý¡¢¸ßЧÎȶ¨¡¢¸ßÐԼ۱ȡ¢°²È«¿É¿¿µÄIT»ù´¡ÉèÊ©ÔÆ·þÎñ¡£
µÎµÎÔÆGPUÔÆ·þÎñÆ÷ÊǵεÎÔÆµÄÓÅÊÆ²úÆ·£¬µ±Ç°ÌṩÁË»ùÓÚNVIDIA Tesla P4¡¢P40¡¢P100¡¢T4¡¢A100µÄ5ÖÖGPUÔÆ·þÎñÆ÷²úÆ·£¬ÒÔ¼°»ùÓÚP4¡¢P40¡¢T4µÄvGPUÔÆ·þÎñÆ÷²úÆ·£¬ÔÚÉî¶ÈÑ§Ï°ÍÆÀí/Ô¤²â¡¢Éî¶ÈѧϰѵÁ·¡¢Í¼ÏñäÖȾ¡¢¸¡µã¸ßÐÔÄܼÆËã¡¢ÊÓÆµ±à½âÂëµÈÓ¦Óó¡¾°µÃµ½Á˹㷺µÄÓ¦ÓᣵεÎÔÆGPU/vGPUÔÆ·þÎñÆ÷¾ßÓÐÓÅÒìÐԼ۱ȣ¬¼Û¸ñÓÅÊÆÃ÷ÏÔ¡£
µÎµÎÔÆ AIBench ½«Îª¿Í»§Ìṩ¿É´¥´ïµÄÐÔÄÜÌåÑ飬Õë¶Ô·×·±¸´ÔӵĶàÖÖÐͺźͲ»Í¬¹æ¸ñ GPU ÔÆ·þÎñÆ÷£¬Ò»¼üÅÜ·Ö¹¦ÄÜ¿ÉÒÔÈÿͻ§¹ØÐÄµÄ AI ÐÔÄÜÖ¸±ê(ѵÁ·ËÙ¶È/ÍÆÀíÑÓ³Ù)һĿÁËÈ»£¬·½±ã½øÐвúÆ·ºÍ¹æ¸ñÑ¡ÐÍ¡£
µÎµÎÔÆ»úÆ÷ѧϰ¹¤×÷ÊÒ£¨DAI£©ÌṩÍйܻúÆ÷ѧϰ»·¾³£¬°ïÖúÆóÒµºÍAI¿ª·¢Õß¿ìËÙ¹¹½¨¡¢ÑµÁ·ºÍ²¿Êð»úÆ÷ѧϰģÐÍ¡£DAIÌṩÁ˷ḻµÄ»úÆ÷ѧϰ¿ª·¢»·¾³£¬Ê¹µÃ¿ª·¢ÕßרעÓÚ»úÆ÷ѧϰÈÎÎñ±¾Éí£¬²ú³ö¸ßÖÊÁ¿AIÄ£ÐÍ¡£
ÉêÇë²âÊÔ
µ±Ç°¿ª·ÅA100 GPUÂã½ðÊô·þÎñÆ÷²âÊÔ£¬É¨Âë×Éѯ¿ÉÉêÇëÊÔÓÃ,ÊäÈëAI´óʦÂ롾1122¡¿£¬µÎµÎÔÆGPUÈ«Ïß²úÆ·Ïí9ÕÛÓŻݡ£