SageMaker는 추론 설정을 고르는 일을 화면으로 내려보냈어

생성형 AI 모델을 배포할 때 어려운 건 모델을 고르는 일로 끝나지 않아. 어떤 인스턴스와 서빙 컨테이너를 조합할지, 설정을 어떻게 바꿀지, 지연 시간·처리량·비용 중 무엇을 우선할지를 함께 정해야 해. AWS는 이 과정을 API로 먼저 제공했고, 2026년 7월 13일에는 Amazon SageMaker AI Studio 안에 화면 중심의 추론 최적화 기능을 공개했어.¹

핵심은 버튼 하나가 아니야. API가 원시 벤치마크 결과를 읽고 매개변수를 정할 줄 아는 사람을 전제로 했다면, 새 화면은 그 선택을 몇 가지 질문으로 바꿔. 어떤 workload인지, 무엇을 최적화할지, 어떤 모델을 쓸지 고르면 추천 구성을 비교하고 배포하는 흐름이 이어져.

설정값 대신 workload profile을 고른다

화면의 첫 단계는 workload 설정이야. AWS가 제시한 기본 profile은 세 가지야. Interact는 짧은 입력과 중간 길이 출력을 내는 대화형 작업을, Generate는 긴 출력을 만드는 작업을, Summarize는 입력에 비해 출력이 짧은 문서 요약을 모델링해. 직접 맞는 profile이 없으면 Custom에서 데이터셋과 동시성, 토큰 길이, 평가 데이터를 정할 수 있다고 설명해.¹

이렇게 하면 사용자가 토큰 분포와 동시 요청 수를 처음부터 직접 입력하지 않아도 돼. 선택한 profile이 벤치마크 매개변수를 정하고, 그 조건 위에서 추천 결과가 비교돼. 다만 profile이 실제 서비스의 트래픽을 얼마나 잘 닮았는지는 별개의 문제야. AWS가 제공하는 선택지를 쓰는 것과, 자기 업무의 요청 패턴을 정확히 표현하는 것은 같은 일이 아니지.

최적화 목표가 추천 순위를 바꾼다

다음에는 무엇을 우선할지 골라. Minimize latency는 사용자가 토큰을 기다리는 대화형 서비스에 맞춰 가장 짧은 응답 시간을 찾고, Maximize throughput은 배치나 대량 작업에 맞춰 초당 토큰 수를 높이는 방향이야. Minimize cost는 예상 트래픽에서 비용 효율적인 구성을 찾는 목표고.

목표는 이름만 바꾸는 필터가 아니야. AWS는 선택한 목표가 적용하는 최적화 기법과 추천 결과의 순위를 함께 바꾼다고 설명해. 같은 모델과 같은 workload라도 무엇을 우선하느냐에 따라 “좋은 구성”의 뜻이 달라진다는 얘기야. 추론 비용을 볼 때 비용 하나만 떼어 놓기 어려운 이유가 여기 있어. 응답성, 처리량, 동시성 조건이 서로 다른 결과를 만들 수 있으니까.

모델이 있는 곳에서 시작한다

최적화할 모델은 한 경로로만 가져오지 않아. SageMaker JumpStart 카탈로그의 foundation model을 고를 수도 있고, Amazon S3의 모델 파일, Model Registry에 등록한 패키지, 이전 학습·배포 작업에서 만든 SageMaker 모델을 지정할 수도 있다고 AWS는 적었어.¹

이 점은 새 화면이 모델 선택부터 강제하는 도구가 아니라는 걸 보여줘. 이미 가진 모델을 어떤 조건으로 서비스할지 비교하는 작업장에 가까워. 고급 사용자는 API로 세밀한 설정을 계속 조정할 수 있고, 화면은 인프라 전문성이 깊지 않은 팀도 같은 흐름에 들어오게 하는 입구 역할을 맡아.

확인된 것과 아직 모르는 것

확인된 것은 SageMaker AI Studio의 Jobs → Inference optimization 아래에 이 UI가 들어갔다는 점이야. AWS는 여기서 workload 구성, 최적화, 모델 선택, 배포를 한 흐름으로 안내하고, 추천 결과를 비교한 뒤 production endpoint에 배포할 수 있다고 설명해. 추천을 만드는 데 추가 요금은 없지만, 벤치마킹 중 띄운 최적화 작업과 endpoint에는 표준 컴퓨트 비용이 붙어.¹

반면 AWS가 말한 “일반 workload는 몇 분, custom workload는 몇 시간”이라는 시간 단축이 모든 모델과 트래픽에서 재현되는지는 이 발표만으로 확인할 수 없어. 실제 서비스의 요청 분포를 profile에 얼마나 잘 담았는지, 추천된 구성이 운영 중에도 같은 비용·지연·처리량을 보이는지는 별도로 봐야 해.

그래서 다음에 볼 것은 화면의 편리함보다 비교 조건이야. 어떤 profile과 평가 데이터로 벤치마크했는지, 선택한 목표에 따라 추천 순위가 어떻게 달라지는지, 벤치마킹 컴퓨트 비용까지 포함했을 때 배포 뒤의 비용·지연·처리량이 어떻게 남는지가 이 기능의 실제 범위를 가를 거야.

각주

1. AWS/Hrushikesh Gangur·Jesse Gliesman·Mona Mona·Muzart Tuman·Sheng Mouaa, 「Launching UI for generative AI inference recommendations in Amazon SageMaker AI」(2026-07-13) AWS Machine Learning Blog. ↩︎ ↩︎² ↩︎³ ↩︎⁴