스프링 부트에 OpenAI Whisper API 적용하기

 

Whisper가 뭔데?

 
Whisper는 요즘 ChatGPT로 핫한 OpenAI에서 개발한 자동 음성 인식 모델이다. 음성을 텍스트로 변환하는 STT(Speech-to-Text) 기술을 활용하여, 대화 음성 파일을 텍스트로 저장할 수 있다.
OpenAI는 올해 3월 1일 GPT-3.5-turbo 모델을 기반으로 한 Whisper API를 출시하였다. API가 제공되기 이전엔 Whisper를 사용하기가 불편했지만, 이젠 고성능 모델(Large-v2)을 약간의 금액을 지불하고 이용함으로써 개발자들이 사용하기에 편의성이 좋아졌다. 그래서 간단하게 스프링 부트를 활용해서 Whisper API를 사용하는 방법을 알아보겠다.
 
우선 본격적으로 들어가기 전에, 간단하게 몇 개만 짚고 넘어가 보자.
보통 STT 기술은 WER(Word Error Rate), CER(Character Error Rate)로 정확도를 판별한다.
측정값이 작을수록 정확도는 높은 것인데, 아래 사진은 Large-v2 모델로 언어별 WER를 측정한 그래프이다.
 

한국어는 나름 그래도 선방한 모습이다. 퍼포먼스가 많이 좋진 않지만, 평균보다는 이상을 보여주고 있다.
그래도 아래 공식 이미지에서 대표 예시로 한글을 보여주고 있다는 건 좀 더 신뢰를 갖게 하는 포인트였다. (이미 난 ChatGPT 때문에 엄청난 신뢰를 하고 있는 중)
 

 
 

Whisper API는 유료? 무료?

 
그리고 위에서 잠깐 말했지만, Whisper API는 무료가 아니다. OpenAI의 API Key를 발급받아 사용 횟수마다 크레딧을 차감되게 되는데, Whisper의 경우 1분당 0.006달러, 한국 돈으로 약 8원 정도이다. 
 

 
이제 본격적으로 사용법에 대해 알아보자.
 
 
 

Whisper API를 스프링 부트에 적용하기

 

1. OpenAI API Key 발급

우선 Whisper API를 사용하기 위해서 OpenAI의 API Key를 발급받아야 한다.
 
https://platform.openai.com/account/api-keys

OpenAI Platform

위 공식 홈페이지 링크로 들어가서 로그인 후, 'Create new secret key' 버튼을 누르면 새로운 key를 발급받을 수 있다.
 
 

위와 같이 새로운 키가 발급되고, 다만 주의할 점은 한번 발급된 키는 재확인이 불가능하므로, 제일 소중한 곳에 잘 감춰놓아야 한다. (그래도 키를 잊었을 경우엔 다시 생성하면 되는 것 같다.)
 
추가로, 위 페이지 좌측 메뉴의 Usage 탭으로 들어가 사용 가능한 크레딧이 있는지 확인해야 한다. 나 같은 경우엔 처음 무료로 제공하는 크레딧이 유효기간이 지나 사용을 못하게 되어(유효기간 3개월 너무 짧다) 5달러를 결제하였다.
 
 
 

2. 프로젝트 생성

이제 스프링 부트 프로젝트를 생성해 보자. 
간략하게 코드를 설명하려 한다. 코드 전체는 글 맨 아래 깃허브 링크에서 확인 가능하다.
스프링 부트 2.7.8, java 11을 사용했고, Spring cloud의 OpenFeign을 사용하여 Whisper API 호출을 간단하게 구현할 수 있도록 하였다.
아래는 build.gradle 코드이다.
 

// build.gradle

plugins {
    id 'java'
    id 'org.springframework.boot' version '2.7.8'
    id 'io.spring.dependency-management' version '1.0.15.RELEASE'
}

group = 'com.eastshine'
version = '0.0.1-SNAPSHOT'

java {
    sourceCompatibility = '11'
}

configurations {
    compileOnly {
        extendsFrom annotationProcessor
    }
}

repositories {
    mavenCentral()
}

ext {
    set('springCloudVersion', "2021.0.3")
}

dependencies {
    implementation 'org.springframework.boot:spring-boot-starter-web'
    compileOnly 'org.projectlombok:lombok'
    developmentOnly 'org.springframework.boot:spring-boot-devtools'
    annotationProcessor 'org.projectlombok:lombok'
    testImplementation 'org.springframework.boot:spring-boot-starter-test'
    implementation 'org.springframework.cloud:spring-cloud-starter-openfeign'
}

dependencyManagement {

    imports {
        mavenBom "org.springframework.cloud:spring-cloud-dependencies:${springCloudVersion}"
    }

}

tasks.named('test') {
    useJUnitPlatform()
}

 
 
우선 application.yml에 아래와 같이 OpenAI Config를 작성해야 한다.
api-key에는 위에서 발급받은 key값을 넣어주도록 한다.
 

// application.yml

openai-service:
  api-key: (OpenAI에서 발급받은 Key 작성)
  gpt-model: gpt-3.5-turbo
  audio-model: whisper-1
  http-client:
    read-timeout: 3000
    connect-timeout: 3000
  urls:
    base-url: https://api.openai.com/v1
    chat-url: /chat/completions
    create-transcription-url: /audio/transcriptions

 
 
API 호출에 핵심이 되는 곳은 OpenFeign을 활용하여 인터페이스로 작성했다.

// OpenAIClient.java

@FeignClient(
        name = "openai-service",
        url = "${openai-service.urls.base-url}",
        configuration = OpenAIClientConfig.class
)
public interface OpenAIClient {

    @PostMapping(value = "${openai-service.urls.create-transcription-url}", headers = {"Content-Type=multipart/form-data"})
    WhisperTranscriptionResponse createTranscription(@ModelAttribute WhisperTranscriptionRequest whisperTranscriptionRequest);

}

 
 
Service 레이어에서 API을 호출하여 Audio파일을 요청 보내면 Text로 반환해 주도록 한다.

// OpenAIClientService.java

@RequiredArgsConstructor
@Service
public class OpenAIClientService {

    private final OpenAIClient openAIClient;
    private final OpenAIClientConfig openAIClientConfig;

    public WhisperTranscriptionResponse createTranscription(TranscriptionRequest transcriptionRequest){
        WhisperTranscriptionRequest whisperTranscriptionRequest = WhisperTranscriptionRequest.builder()
                .model(openAIClientConfig.getAudioModel())
                .file(transcriptionRequest.getFile())
                .build();
        return openAIClient.createTranscription(whisperTranscriptionRequest);
    }

}

 
Controller 레이어에서는 REST API로 구현했다.

@RequiredArgsConstructor
@RestController
@RequestMapping(value = "/api")
public class WhisperController {

    private final OpenAIClientService openAIClientService;

    @PostMapping(value = "/transcription", consumes = MediaType.MULTIPART_FORM_DATA_VALUE)
    public WhisperTranscriptionResponse createTranscription(@ModelAttribute TranscriptionRequest transcriptionRequest){
        return openAIClientService.createTranscription(transcriptionRequest);
    }

}

 
 
 

3. 음성 샘플

자, 이제 구현을 다했다면 실제 작동하는지 알아보자.
내가 직접 녹음해서 넣어봐도 되지만, 좀 더 실제에 가까운 음성을 찾기 위해 인터넷을 검색하던 중, ai hub라는 곳에서 아주 방대한 양의 샘플 데이터를 제공하고 있다는 것을 찾았다. 회원 가입을 하면 데이터를 무료로 사용 가능했다. (물론 상업적인 용도 이외에만)
 
https://www.aihub.or.kr/

AI-Hub

 
나는 Whisper의 성능이 궁금하기도 해서 깨끗한 음질이 아닌 저음질 데이터를 넣어보고 싶었다. 그래서 아래 '저음질 전화망 음성인식 데이터'를 다운로드하였다. 이것만 용량이 무려 236GB나 돼서 감당이 안되기에 아주 일부만 받아서 진행했다.

 
 
 

4. 포스트맨(Postman)으로 음성파일 전송

위 ai hub에서 받은 음성파일들은 실제 상담사와 고객의 목소리가 담겨있었다.
그중 하나를 임의로 선택했고, 그 음성파일의 내용은 이랬다.

''아 그러면 어 저희가 지금 컨설팅 예약 가능한 남은 스케줄이 이번 주 금요일 또는 다음 주 중 (버벅) 다음 주중으로 스케줄이 남아 있으시거든요. 혹시 괜찮으신 날짜가 있으실까요?"

상담사가 위처럼 말한 내용이 담겨있었다. 이제 이 파일을 포스트맨으로 전송해 볼 차례다.
 

 
위와 같이 음성파일과 모델명을 요청으로 보내주었더니 text으로 음성 파일 내용을 응답해 주었다..! 음질이 안 좋은데도 불구하고 나름 잘 변환한 것 같았다. (컨설팅을 콘서트라고 입력된 거 빼고는)
 
 

마치며

STT 기술을 지원하는 API는 Whisper 말고도 많이 존재하지만, ChatGPT의 아주 파워풀한 성능을 잘 쓰고 있고, 잘 알기 때문에 Whisper의 성능도 궁금했었다. 몇 번 돌려보진 못했지만 나름 훌륭하게 변환하는 것을 보고 돈이 많았으면 생각 없이 계속 돌려보면서 한국어 WER도 직접 측정해보고 싶지만 그건 다음 기회로..
 
 
 
 
 
참고
 
https://openai.com/research/whisper
https://betterprogramming.pub/integrating-chatgpt-and-whisper-apis-into-spring-boot-microservice-5545e2ea44fc
 
 
 
 
코드 전문 Github 링크
 
https://github.com/eastshine12/whisper-api

GitHub - eastshine12/whisper-api: Spring Boot에 OpenAI Whisper API 적용