국산 AI 반도체 성능지표 K-Perf가 한전 변전소에서 처음 쓰인다는데, 칩 성능은 무엇으로 재는 걸까?

01무슨 일인가

AI 반도체를 사려는 기업이 처음 묻는 말은 '이 칩이 내 서비스에서 얼마나 빠르냐'예요. 잰 조건이 제각각이면 숫자를 나란히 놓고 비교할 수가 없지요. 과학기술정보통신부가 10월 2일 낸 보도자료는 이 문제를 풀려고 만든 국산 AI 반도체 성능지표 'K-Perf'가 공공 현장 도입 검증에 처음 쓰인다고 알렸어요.

무대는 한국전력 변전소의 AI 영상분석이에요. 이를 전한 뉴시스 보도를 보면 한전이 현장 시범 운영과 활용모델 개발을, 리벨리온이 NPU 성능 최적화와 기술 지원을, 한국정보통신기술협회(TTA)가 성능과 신뢰성 검증을 맡아요.

검증은 칩끼리 줄 세우는 데서 끝나지 않아요. 지금은 여기저기 흩어진 AI 영상분석 설비를 NPU 기반의 통합 관제 체계로 바꿔 보면서, 처리 성능과 활용 가능성은 물론 비용이 얼마나 줄어드는지까지 확인하는 것이 목표예요. 검증 기간과 쓰이는 칩의 수는 이번 자료에서 확인하지 못했어요.

02왜 이렇게 됐나

NPU(신경망처리장치)는 AI 계산에 맞춰 설계한 칩이에요. 국산 칩이 나와도 수요 기업이 써 보지 않은 칩을 서비스에 들이기는 어렵고, 같은 잣대로 잰 데이터가 없으면 도입을 결정할 근거도 비어 있어요. 그래서 칩보다 먼저 재는 자를 만들었어요.

K-Perf는 첫 응답이 나오기까지 걸리는 시간(TTFT), 글자(토큰)를 만들어내는 속도(TPOT), 한 사람이 쓸 때의 처리량(TPS/1user) 같은 항목을 조건별로 나눠 재요. 지난해 12월 공개 때는 라마(Llama) 3.1 같은 최신 거대언어모델을 기준으로 입력과 출력 토큰 수, 동시 처리량까지 세분했다고 알려졌는데, 수요 기업이 실제 서비스에서 요구하는 조건을 표준으로 묶은 것이 특징이에요.

표준이 만들어지면 다음은 현장이에요. 12월에 표준을 세우고 6월에 생성형 AI 서비스에서 시험한 뒤 이번에 전력 설비의 영상분석으로 무대를 넓혔어요. 과기정통부 이도규 실장은 다른 수요기관으로 번지는 강력한 레퍼런스가 되도록 공공부문 확대를 돕겠다고 밝혔어요.

함께 운영하는 곳

03이 숫자는 큰 건가

숫자로만 보면 아직 작은 걸음이에요. 협의체는 지난해 12월 수요·공급기관 15곳으로 꾸려졌고, 올해 6월 시험은 국산 AI 반도체 2종이었어요. 이번 한전 검증에 직접 이름이 오른 곳은 한전, 리벨리온, TTA 세 곳이에요. 15곳 가운데 이 셋이 처음부터 협의체 일원이었는지는 확인하지 못했어요.

그런데 무대의 종류가 달라졌어요. 6월은 글을 만들어내는 생성형 AI였고 이번은 카메라 화면을 읽는 영상분석이라서, 같은 지표로 잰 값이 말을 만드는 일과 화면을 읽는 일 양쪽에서 쌓이게 돼요. 이 값이 맞게 나오면 다른 기관은 처음부터 시험하지 않고 이 결과를 근거로 삼아요.

다만 지금 공개된 것은 계획뿐이에요. 처리 성능이 얼마인지, 비용이 몇 퍼센트 줄었는지는 아직 없어서 이 걸음이 큰지 작은지는 결과가 나와야 판단이 서요.

04지난번엔 어떻게 됐나

앞선 두 단계가 있었어요. 지난해 12월 10일 서울 소공동 롯데호텔에서 열린 'AI반도체 미래기술 컨퍼런스'에서 K-Perf 협의체가 출범했고, 주요 NPU 수요·공급 기업 12곳과 유관기관 3곳이 참여했어요.

올해 6월에는 국산 AI 반도체 2종을 대상으로 생성형 AI 서비스에서 시범 적용이 이뤄졌어요. 이번 한전 검증은 그 세 번째 단계예요. 앞선 두 단계에서 나온 측정값은 이번에 확인하지 못해서, 칩 성능이 어디까지 올라왔는지는 견줄 수 없어요.

05나한테 뭐가 달라지나

AI 서비스에 쓸 칩을 고르는 담당자라면 비교표가 이미 있다는 점이 달라요. 협의체 15곳이 합의한 측정 조건이 공개돼 있어서, 내 서비스가 쓰는 모델과 동시 사용자 수를 대 보면 어느 항목을 볼지 정하면 돼요.

일반 시민이 당장 느끼는 변화는 없어요. 칩 값이 내려가는지, 변전소 감시가 어떻게 바뀌는지는 자료에 없고요. 독자가 지켜볼 숫자는 한전 검증이 끝난 뒤 공개될 처리 성능과 비용 절감 폭 두 가지예요.