AI는 왜 화면 클릭 대신 글자를 칠까? CLI-Anything의 작동 원리

AI 에이전트가 복잡한 그래픽 화면(GUI) 대신 명령줄(CLI)로 데스크톱 프로그램을 제어하는 핵심 원리는, 마우스로 누르던 기능들을 소프트웨어 내부 명령어와 일대일로 짝지어 주는 전용 연결 도구(하네스)를 구축하는 데 있습니다. 인공지능이 화면 그림을 분석해 버튼 위치를 찾는 대신, 글자 명령어와 정돈된 데이터 규격(JSON)으로 프로그램과 직접 소통하게 만듭니다. 이를 통해 화면 배치가 바뀌어도 오류 없이 가볍고 일관되게 작업을 수행할 수 있습니다.

이는 비유하자면 손님이 식당 주방에 들어가 요리사의 손동작을 직접 밀고 당기며 요리를 시키는 대신, 명확한 주문 번호와 재료 옵션이 적힌 주문서를 전달하는 방식에 가깝습니다. 사람이 쓰기 편하게 만든 시각적 버튼을 거치지 않고, 기계가 가장 잘 알아듣는 언어로 본체 기능을 바로 호출하는 셈입니다.

화면 인식의 한계와 명령어 인터페이스의 강점

컴퓨터 화면을 시각적으로 보고 마우스 커서를 움직이는 방식(GUI 조작)은 화면 해상도, 창 크기, 팝업 창 유무에 따라 버튼 위치가 달라지면 에이전트가 길을 잃기 쉽습니다. 게다가 화면을 매 순간 이미지로 캡처해 분석해야 하므로 컴퓨터 자원과 시간도 많이 소모됩니다.

반면 CLI(글자 기반 명령어 인터페이스)는 구조가 단순하고 명확합니다. CLI-Anything 저장소에 따르면, 텍스트 기반 명령어는 대형 언어 모델의 작동 방식과 자연스럽게 맞아떨어지며 다른 작업과 연쇄적으로 결합하기 쉽습니다.

특히 명령줄 인터페이스가 제공하는 도움말(--help) 옵션 덕분에 에이전트는 사람이 일일이 가르쳐주지 않아도 소프트웨어의 사용법을 스스로 탐색할 수 있습니다. 또한 수행 결과가 정형화된 JSON(데이터 전달용 표준 글자 형식)으로 반환되므로, 화면을 다시 읽고 분석할 필요 없이 성공 여부를 곧바로 확인합니다.

7단계로 완성되는 에이전트 전용 제어 장치

CLI-Anything은 사람이 쓰던 프로그램을 에이전트용 도구로 바꾸기 위해 7단계 파이프라인을 거쳐 전용 연결 장치(CLI 하네스)를 자동 설계합니다. 이 과정은 다음과 같은 순서로 진행됩니다.

1. 대상 프로그램의 소스 코드를 분석해 화면 속 동작과 대응하는 내부 프로그래밍 인터페이스를 찾아냅니다.
2. 에이전트가 다룰 명령어 그룹과 작업 상태, 입출력 형식을 설계합니다.
3. 실행 취소나 대화형 모드, JSON 출력을 지원하는 실제 명령줄 프로그램을 만듭니다.
4. 단위 기능과 전체 실행 과정을 검증할 테스트 계획을 세웁니다.
5. 설계한 기능이 정상적으로 실행되는지 테스트 코드를 작성해 시험합니다.
6. 테스트 결과와 사용법을 문서로 정리합니다.
7. setup.py를 생성하고 시스템 실행 경로(PATH)에 설치하여 배포합니다.

이렇게 완성된 연결 장치는 오픈소스 저장소나 패키지 관리 도구(CLI-Hub)를 통해 다른 인공지능 에이전트들에게 공유되고 설치될 수 있습니다.

실무 적용 전 고려할 차이와 한계

텍스트 명령어는 대량의 사진 크기를 한 번에 줄이거나, 문서 형식을 일괄 변환하거나, 정해진 수치에 따라 3차원 도형을 만드는 등 규칙이 명확한 반복 작업에 적합합니다.

또한 원문 프로젝트 안내에 명시되어 있듯이, 에이전트용 명령어 도구는 껍데기 연결 장치이므로 실제 조작 대상이 되는 원본 소프트웨어(예: GIMP, Blender 등)가 컴퓨터에 미리 설치되어 있어야 작동합니다. 아직 모든 그래픽 기능이 완벽하게 명령어로 변환된 것은 아니므로, 필요한 기능이 빠져 있다면 명령어 범위를 넓히는 추가 보완 작업이 뒤따라야 합니다.