13에서 최고의 it engineer expert network 채용공고 1개(지금 채용 중!)

LLM 서빙 및 추론 최적화 엔지니어
카카오뱅크 —성남 분당구
- 정규직
4일

Check out these similar jobs

Based on your search for it engineer expert network jobs.

LLM 서빙 및 추론 최적화 엔지니어
카카오뱅크 —성남 분당구
모델 압축, KV 캐시 최적화, 요청 스케줄링, 다중 GPU 분산 추론을 적용해 성능을 끌어올리는 동시에 모델 품질 저하 여부를 확인하며, Speculative Decoding이나 Prefill/Decode Disaggregation, Expert Parallelism 같은 새로운…
4일
AI Platform 추론 최적화 Engineer
카카오 —성남 판교역
분산 추론 전략 설계 및 구현 (Tensor / Pipeline / Expert / Sequence Parallelism, MoE 라우팅). Transformer 아키텍처 및 LLM 동작 원리(어텐션, KV cache, 디코딩 전략 등)에 대한 깊은 이해가 있는 분.

Show more similar jobs

13의 it engineer expert network에 대한 최신 취업소식을 받고 싶습니다.

계정에 로그인하면 SimplyHired의 서비스 이용약관과 쿠키 및 개인정보 취급방침에 동의하는 것입니다.

더 많은 지역의 채용공고 둘러보기

it engineer expert network jobs near 13

서울 압구정동 지역 홀 서빙 채용공고

서울 관악구 지역 서빙 채용공고

LLM 서빙 및 추론 최적화 엔지니어

카카오뱅크
성남 분당구

지금 지원하기

채용공고 세부정보

정규직
4일 전

상세 직무 내용

카카오뱅크, LLM 서빙 및 추론 최적화 엔지니어 채용 카카오뱅크가 AI코어개발팀에서 함께 일할 LLM 서빙 및 추론 최적화 엔지니어를 모집한다. 이번 채용은 LLM 추론 서비스 개발과 운영, 모델 추론 최적화 업무를 맡을 경력자를 대상으로 진행된다. AI코어개발팀은 금융 산업에 필요한 AI 기술을 직접 개발하는 조직으로, 사용자 관점에서 필요한 서비스를 정의하고 이를 뒷받침하는 기술을 구현해 비대면 금융 생활을 지원하고 있다. 이번에 합류하는 엔지니어는 LLM 구조와 서빙 워크로드, GPU 특성을 프로파일링해 병목을 찾아내고 서비스 요구사항에 맞는 추론 시스템을 설계·구현하는 일을 하게 된다. 추론 성능과 GPU 자원 사용 현황을 모니터링하면서 모델과 엔진 변경 전후를 비교하는 회귀 테스트로 문제를 조기에 발견하는 작업도 병행한다. 또한 Kubernetes 환경에 추론 시스템을 배포·운영하며 트래픽 변화에 맞춰 요청과 GPU 자원을 효율적으로 배분하고, vLLM·SGLang 등을 기반으로 추론 서버를 구현해 서비스 환경에 맞게 구성하고 튜닝하는 역할도 담당한다. 모델 압축, KV 캐시 최적화, 요청 스케줄링, 다중 GPU 분산 추론을 적용해 성능을 끌어올리는 동시에 모델 품질 저하 여부를 확인하며, Speculative Decoding이나 Prefill/Decode Disaggregation, Expert Parallelism 같은 새로운 기법을 검토하고 워크로드에 맞게 구현·검증하는 업무까지 폭넓게 경험하게 된다. 지원 자격은 LLM 서빙 또는 추론 최적화 분야에서 2년 이상 실무 경험이 있는 경우로 정해졌다. 최신 LLM 구조와 추론 과정을 이해하고 모델·워크로드 특성에 따라 성능 병목을 찾아 최적화 방향을 정할 수 있는 역량이 필요하며, vLLM, SGLang, TensorRT-LLM, TGI 중 하나 이상을 실무에 사용하며 내부 코드를 분석·수정해 튜닝해 본 경험도 요구된다. Python을 능숙하게 다루고 추론 엔진의 최적화 기능을 직접 구현·검증할 수 있어야 하고, 모델 압축이나 KV 캐시 최적화, 서빙 시스템 최적화, 고급 추론·서빙 최적화 중 한 분야 이상을 깊이 이해하고 구현·튜닝해 본 경험이 있어야 한다. 우대사항으로는 CUDA, Triton, TileLang 등을 활용한 GPU 커널 구현·튜닝 경험, 다중 GPU 환경에서의 분산 서빙 경험, MoE·긴 문맥·멀티모달 모델 서빙 경험, LLM·NLP 분야 논문 발표나 오픈소스 기여 경험, Kubernetes 환경에서 플랫폼팀과 협업한 대규모 서비스 운영 경험, 금융 등 규제 산업에서의 보안·규제 요건 반영 경험 등이 꼽힌다. 근무지는 경기도 성남시 분당구 분당내곡로 131에 위치한 카카오뱅크 판교오피스다. 자세한 내용은 카카오뱅크의 홈페이지에서 확인할 수 있다.

IT개발·데이터>AI·빅데이터>LLM엔지니어|IT개발·데이터>AI·빅데이터>MLOps엔지니어|IT개발·데이터>AI·빅데이터>딥러닝|IT개발·데이터>네트워크·보안엔지니어>WAS|IT개발·데이터>AI·빅데이터>신경회로망연구원

지금 지원하기

검색결과 새로고침

13 지역 채용공고 it engineer expert network건

LLM 서빙 및 추론 최적화 엔지니어

Check out these similar jobs

13의 it engineer expert network에 대한 최신 취업소식을 받고 싶습니다.

더 많은 지역의 채용공고 둘러보기

구직자 도구

기업회원 도구

찾아보기

연결 상태 유지하기