라이브킷(Livekit) AI 음성 서비스 만들기 1 - Agent Builder를 사용하여 에이전트 생성 및 배포하기 테스트

라이브킷(Livekit) AI 음성 서비스 만들기 1 - Agent Builder를 사용하여 에이전트 생성 및 배포하기 테스트

라이브킷의 에이전트 빌더를 사용하면 AI 음성 서비스를 빠르게 프로토타이핑하고 간단한 아이디어를 테스트할수있습니다.
라이브킷 무료계정으로 서버토큰ID 및 에이전트 빌더를 사용하여 AI 음성대화서비스를 구현할경우 제한된 기간동안 일시적으로 무료 테스트할수있습니다.

1)라이브킷(Livekit) 웹사이트에서 계정 로그인하고 새로운 프로젝트를 생성합니다.

 

2)agent observability를 활성화(Enabled)하면 디버깅을 위해 에이전트 세션의 흔적, 녹취록 및 오디오를 캡처합니다. 호스팅 및 자체 호스팅 에이전트 모두에서 사용할 수 있습니다.

 

3)라이브킷에서 새로운 프로젝트를 생성한것을 확인할수있습니다.

 

4)새로운 에이전트를 생성하려면 좌측의 Agents 메뉴로 이동해서 상단의 create a new agent를 선택합니다.

 

5)start in browser with agent builder를 선택합니다. 에이전트 빌더를 이용한 방법으로 AI 음성 서비스를 빠르게 프로토타이핑 또는 간단한 아이디어 테스트하는데 권장합니다.

 

6)사용 케이스에서 general assistant를 선택합니다. 

 

7)하단에서 에이전트 이름을 확인하고 생성합니다.

(에이전트 이름은 클라이언트에서 명시적으로 에이전트를 호출할때 사용될수있습니다)

 

8)Agents 메뉴에서 새로운 에이전트가 생성된것을 확인할수있으며 에이전트를 사용자지정 및 설정하고 테스트할수있습니다.

 

9)Conversation 탭의 지시문(Instructions)에서 에이전트의 행동 가이드(personality, tone, behaviour)를 정의합니다(영문 또는 한글)

Welcome message에서 에이전트의 greeting messages를 입력합니다. 에이전트가 빌더로 배포된 AI는 클라이언트가 해당 룸(Room)에 접속(Connect)하여 오디오 트랙을 발행(Publish)하거나 구독(Subscribe)이 완료되는 시점에  첫 인사(Welcome Message)를 시작합니다.

 

10)Models & Voice 탭에서 SST-LLM-TTS 를 설정합니다. 에이전트가 대화를 처리하는 기본방법으로 SST-LLM-TTS 파이프라인으로 설정되있는것을 확인할수있습니다.

 

11)TTS(Text-tospeech), LLM(Large language model), STT(Speech-to-text) 모델을 선택합니다.
(Noise cancellation에서는 입력 오디오로부터 배경 노이즈를 제거하는데 사용됩니다)

 

12)우측 실시간 미리보기(Live preview)에서 start call를 클릭하면 현재 설정한 에이전트에 대한 라이브 호출을 테스트할수있습니다.

 

13)현재 연결된 마이크 장치가있다면 사용자 음성 질문에 대하여 에이전트가 답변하는것을 확인할수있습니다.

 

14)현재 에이전트 설정을 라이브키트(LiveKit) 서버에 배포하려면 deploy agent를 클릭합니다.
(클라이언트에서 에이전트가 호출되려면 배포되어야합니다)

 

15)에이전트가 정상적으로 배포된것을 확인할수있습니다.

 

16)에이전트를 배포하면 Agents 메뉴의 상단에서 프로젝트에서 배포한 에이전트 목록을  표시합니다.

 

 

배포한 에이전트 수정
17)좌측의 Agents 메뉴에서 배포한 에이전트를 확인합니다.

 

18)해당 에이전트의 edit in agent builder로 이동합니다.

 

19)대화에 사용할 STT, LLM, TTS 모델을 변경합니다. STT, TTS는 모델에 따라서 보이스와 언어에 지원하는 국가가 다릅니다.

 

20)실시간 미리보기에서 변경사항이 반영된것을 확인할수있습니다.

 

21)수정한 에이전트를 배포하면 라이브키트 서버 또는 클라이언트에서 호출한 에이전트에 변경사항이 반영됩니다.