24B의 지식을 2B로 깨우는 MoE, 온디바이스 에이전트를 어떻게 가볍게 만들까?

기기 안에서 스스로 도구를 쓰며 작업을 돕는 온디바이스 에이전트는 즉각적인 반응 속도와 가벼운 연산 부담이 무엇보다 중요합니다. 총 240억 개(24B)의 매개변수를 담고 있으면서도 단어를 하나씩 생성할 때 꼭 필요한 20억 개(2B)만 골라 깨우는 혼합 전문가(MoE, Mixture of Experts) 구조는, 모델이 가진 지식 폭은 넓히면서 실제 계산에 들어가는 부하를 대폭 줄여줍니다. 그 덕분에 스마트폰이나 노트북 같은 개인 기기에서도 에이전트의 도구 호출 과정을 버벅거림 없이 빠르게 이어갈 수 있습니다.

이해를 돕기 위한 가정으로 비유하자면 여러 분야의 전문 서적이 꽂힌 서재를 갖춘 사람이, 요리법을 물어볼 때는 필요한 전문 서적만 책상 위에 꺼내 놓고 바로 답을 찾는 모습과 비슷합니다. 질문이 바뀔 때마다 서재의 모든 책을 책상에 펼쳐놓지 않기 때문에, 책상이 좁은 기기에서도 복잡한 작업을 지치지 않고 빠르게 처리할 수 있습니다.

24B의 지식과 2B의 계산량: 전문가만 깨우는 MoE의 원리

보통 인공지능 모델은 질문 하나를 처리할 때 자신이 가진 모든 매개변수(두뇌 회로망의 연결 강도)를 동시에 가동합니다. 매개변수가 많을수록 똑똑해지지만, 그만큼 기기가 감당해야 할 계산량과 전력 소모도 함께 커집니다. 반면 2026년 10월 13일 Liquid AI 블로그를 통해 공개된 LFM2.5-24B-A2B는 전체 24B 매개변수 중 매 순간 단 2B만 활성화하는 방식을 택했습니다.

여기서 핵심 기술인 혼합 전문가는 여러 개의 전문 분야 모듈을 나누어 두고, 현재 문맥에 가장 적합한 소수의 모듈만 골라 경로를 연결하는 기법입니다. LFM2.5-24B-A2B는 64개의 전문가 블록 중 매 단계 4개의 전문가만 골라 활용하도록 설계되었습니다. 전체 지식의 그릇은 24B급으로 넉넉하게 갖추어 복잡한 지시나 도구 사용법을 기억하면서도, 실제 매 순간 연산하는 크기는 2B급으로 줄여 계산 효율을 극대화한 셈입니다.

온디바이스 에이전트가 체감하는 속도와 메모리 이점

온디바이스 환경에서 스스로 계획을 세우고 도구를 실행하는 에이전트는 일반 대화형 챗봇보다 연산 반복 횟수가 훨씬 많습니다. 질문 하나를 끝내기 위해 도구를 호출하고, 결과를 읽고, 다시 다음 행동을 결정하는 과정을 계속 되풀이해야 하기 때문입니다.

이 과정에서 2B 활성화 구조는 개인 기기 환경에 다음과 같은 뚜렷한 이점을 제공합니다.

• 연산 지연의 단축: 토큰당 연산량이 2B 수준으로 가벼워져 단어를 만들어내는 속도가 빨라지며, 개발사 발표 기준으로 동급 MoE 대비 온디바이스에서 최대 1.7배 빠른 처리 속도를 보입니다.
• 빠른 상호작용 체감: 계획 수립부터 도구 실행까지 이어지는 반복 루프가 수 초씩 지연되지 않고 1초 미만의 빠른 템포로 오가면서 실시간 작업 흐름을 유지합니다.
• 데이터 보호와 자원 효율: 클라우드 서버로 데이터를 보내지 않고 개인 노트북이나 PC 내부에서 동작하므로 개인정보 유출 걱정을 덜고 상시 구동 부담을 낮춥니다.

실제로 제조사 시험 결과에 따르면 애플 M5 맥스 환경에서 초당 184토큰, AMD 라이젠 AI 맥스+ 395 환경에서 초당 114토큰 수준의 디코딩 속도를 기록하며 로컬 환경에서도 매끄러운 반응성을 보여주었습니다.

가벼운 연산 뒤에 남은 한계와 현실적인 구별점

이러한 구조적 장점에도 불구하고 사용자가 염두에 두어야 할 현실적인 한계와 구별점이 존재합니다.

• 저장 공간과 메모리 탑재량: 순간 계산에 2B만 쓴다고 해서 모델 전체가 차지하는 저장 공간이나 기본 메모리 상주 용량이 2B 크기로 줄어드는 것은 아니므로, 24B 모델 가중치를 담을 수 있는 기기 사양이 기본적으로 필요합니다.
• 순수 지식 문제에서의 격차: 복잡한 전문 지식 시험이나 초대형 코딩 벤치마크에서는 수십억 개 이상의 매개변수를 상시 가동하는 초대형 모델들에 비해 여전히 점수 차이가 납니다.
• 검색 도구와의 병행 필요성: 방대한 암기형 지식을 요구하는 작업에서는 모델 단독 추론에 의존하기보다 웹 검색이나 로컬 문서 검색(RAG) 도구를 함께 연결해 활용하는 편이 안전합니다.

따라서 온디바이스 MoE 모델은 클라우드 연결 없이 내 컴퓨터 안에서 브리핑을 작성하거나 파일 정리 같은 도구 기반 반복 작업을 안전하고 신속하게 수행하고자 할 때 가장 알맞은 대안이 됩니다.