AI应用百花齐放,两大AI巨头英伟达、超微全力冲刺高效能运算(HPC)市场,传出包下台积电今、明年CoWoS与SoIC先进封装产能,助攻台积电AI相关业务订单热转。
台积电高度看好AI相关应用带来的动能,总裁魏哲家于4月法说会上修AI订单能见度与营收占比,其中,订单能见度从原预期2027年拉长到2028年。
台积电认为,伺服器AI处理器今年贡献营收将成长超过一倍,占公司2024年总营收十位数低段(low-teens)百分比,预期未来五年伺服器AI处理器年复合成长率达50%,2028年将占台积电营收超过20%。
业界指出,AI需求强劲,亚马逊AWS、微软、Google、Meta等全球云端服务(CSP)四巨头积极投入AI伺服器军备竞赛,使英伟达、超微等AI芯片大厂产品出现供不应求盛况,并对台积电先进制程、先进封装全力下单,以因应云端服务大厂庞大订单需求,台积电2024年与2025年CoWoS或SoIC等先进封装产能都已全数被包下。
因应客户庞大需求,台积电正积极扩充先进封装产能。业界推估,今年底台积电CoWoS月产能上看4.5万至5万片,较2023年的1.5万片呈现倍数成长,2025年底CoWoS月产能更将攀上5万片新高峰。
SoIC方面,预期今年底月产能可达五、六千片,同样较2023年底的2,000片倍数成长,并于2025年底冲上单月1万片规模。由于大厂全数包下产能,台积电相关产能利用率将维持高档水准。
据了解,英伟达目前量产出货主力H100芯片主要采用台积电4纳米制程,并采用CoWoS先进封装,与SK海力士的高频宽记忆体(HBM)以2.5D封装形式供货客户。
至于英伟达新一代的Blackwell架构AI芯片虽然同样采用台积电4纳米制程,惟是以加强版N4P生产,同时搭载更高容量及更新规格的HBM3e高频宽记忆体,因此运算能力将比H100系列倍数成长。
另外,超微的MI300系列AI加速器则采用台积电5纳米与6纳米制程生产,与英伟达不同之处在于,超微在先进封装上,先行采用台积电SoIC将CPU、GPU晶粒做垂直堆叠整合,再与HBM做CoWoS先进封装,因此制程良率多了一道先进封装难度较高的SoIC制程。
先进封装,成未来决胜点
日前台积电举办2024年科技研讨会北美高峰会,会中亮相许多前沿技术,摩根大通在最新报告中强调,台积电在技术创新和先进封装领域的地位,未来在AI时代将起到关键作用,透过一系列技术突破,台积电有望在未来几年继续保持在半导体产业的领先地位。
尽管如此,知识力专家社群创办人曲博指出,晶体管越小,理论上芯片就越小,一片晶圆能做出来的芯片就会变多, 所以理论上单位成本会随晶体管的缩小而降低。然而先进制程发展到一个程度之后,技术复杂度大幅增加,特别是极紫外光(EUV)一旦用下去,成本立刻暴增,导致进入3纳米,成本不但下不来,反而是增加,更遑论未来进入2纳米甚至1纳米。
无论是晶体管缩小来到极限,抑或是成本因素的考量,未来半导体产业的重要发展,就是采用先进封装技术把不同的芯片堆起来,让晶体管的密度再增加。台积电日前已推出其晶圆级系统(SoW)产品,该产品允许封装大量芯片(逻辑芯片、复合SoIC封装、HBM和其他芯片),以及在完整12英寸硅晶圆尺度上的电源和热模组。与CoWoS和3DSoIC相比,先进封装复杂性和能力的显著提升,因为整个运算系统可能会被封装在单一晶圆中。
但曲博也提醒,台积电投入这一块虽然花了很多功夫,但是先进封装这个领域英特尔(Intel)其实技术也是很强的,大家一定要分清楚一件事, 在「先进封装」上,台积电并没有绝对领先英特尔,台积电是在「先进制程」上领先Intel。所以随着先进封装这个领域的重要性慢慢提高,台积电并没有大意的本钱。也可预见,台湾相关先进封装设备与技术的供应链厂商,未来应该会有不错的成长空间。
生成式人工智能仰赖大型语言模型的训练,现在的做法是分三阶段,第一个阶段是「预训练」、第二个阶段是「微调」(Find Tune)、最后一个阶段是「推理」。预训练需要大量的图形处理器运算,,训练一个月的成本就要1,000万美金。但是微调就不一样,微调是用大量的数据进行标注、微调参数而已,所以并不需要大量的算力, 而是需要大量的高频宽记忆体(HBM)。
顶级GPU太贵、中小企业想用却用不起,群联电子本身也遇到相同痛点,遂开始投入研发,以自身于记忆体领域优势,在近期推出平价版生成式AI解决方案。GPU决定算力、HBM则决定模型大小,群联董事长潘健成就曾指出,群联以SSD取代造价高昂的HBM系统,加上辉达消费级GPU打造,将传统工作站升级为小规模AI伺服器,硬体成本大幅降低;尽管运算速度仍不如大型CSP运端运算,不过相当具备成本优势;他打比方说道,例如台北到高雄坐飞机其实最快、但是高铁才是性价比最高的选择。