계산 비용 절감

problem

대규모 언어 모델의 운영 및 유지보수에 필요한 계산 비용을 줄이는 문제로, ERNIE-4.5-21B는 Mixture of Experts 설계를 통해 이 문제를 해결했습니다.