서버 없이 프롬프트를 서비스에 통합하기

오늘은 서버 없이 프롬프트를 서비스에 연동할 수 있는 간단한 서비스를 만들어보고 관련된 내용을 포스팅해보겠습니다.

 

 

최근 다양한 서비스에서 AI 기능이 도입되고 있습니다. 예를 들어, 아래 스크린샷은 부동산 정보 앱 호갱노노에서 제공하는 "이야기" 탭의 "AI 요약" 기능입니다.

 

 

직접 ChatGPT나 Gemini 같은 AI 서비스를 사용 해보고 이걸 이용해서 뭘 할 수 있을까 하며 든 생각인데요.

"프롬프트를 좀 더 간편하게 서비스에 통합할 수 있으면 좋겠다."

물론 API Key를 발급받아 서비스에 통합하면 어렵지는 않은데요. 몇 가지 제약이 있습니다.

📌 LLM API 통합의 불편함

클라이언트 사이드에서 직접 OpenAI나 Google의 LLM API를 호출하는 방식은 API Key 가 노출됩니다.

또한, 모바일 앱의 경우 비즈니스 로직에 프롬프트를 하드코딩하면 프롬프트를 수정하려 할 때마다 앱을 다시 배포해야 하는 불편함이 있습니다.

그래서 프롬프트를 별도로 관리하고, 배포한 프롬프트를 곧바로 API로 사용할 수 있는 방식을 고민하게 되었습니다.

📌 Prompt Gateway

https://prompt-gateway.web.app

Prompt Gateway

 

이러한 문제를 해결해보기 위해 간단한 프롬프트 배포 서비스 Prompt Gateway를 개발했습니다. 현재는 베타 서비스이며, 구상한 모든 기능이 구현되어 있지는 않고, 거의 랜딩 페이지 수준에 가까운 상태입니다.

사용 방법

서비스 사용 방법은 매우 간단합니다

1. 프롬프트를 입력하고 배포합니다.
   • 이때 프롬프트 본문에는 ${}로 감싼 파라미터를 지정할 수 있습니다.
   • 예: "${place}에 대해 3줄로 요약해줘"
2. 바로 사용할 수 있는 API Endpoint가 생성됩니다.
   • 해당 프롬프트의 결과를 응답하는 API를 실제로 호출해보며 테스트할 수 있습니다.

예시

GET https://prompt-gateway-api.onrender.com/x/key123?place=서울

프롬프트 본문이 다음과 같았다면:

"${place}에 대해 3줄로 요약해줘"

위 API 호출 시, 실제 LLM 요청에는 다음 프롬프트가 전달됩니다:

"서울에 대해 3줄로 요약해줘"

📌 향후 계획

아직 프롬프트를 수정하거나 관리하는 기능은 없는 상태입니다. 하지만 사용자가 있다면..! 다음과 같은 기능들을 추가할 수 있을 것 같습니다 :)

• 배포한 프롬프트 관리
• 인증 및 접근 제한 설정 (선택적 도메인 허용 등)
• 다양한 LLM (OpenAI, Gemini, Claude 등) 선택 가능

📌 마무리

혹시 이런 걸 만들면 사용하실 분이 계실까? 하는 마음에 만들어봤는데요. 직접 테스트해보고, 개선이 필요하다고 느끼는 점이 있다면 언제든 피드백 주세요!