AWS Nova Hackathon 도전기 —
Vibe Coding으로 만난 가능성과 한계
김원

안녕하세요, 샐러드랩 코어 스쿼드 프론트엔드 엔지니어 ONE입니다.
아래 캐릭터는 이번 해커톤에서 만든 서비스 ‘납짝’의 마스코트입니다. ‘납짝’이라는 이름처럼 망치로 납작하게 내려찍는 모습이 컨셉인데,
돌이켜 보면 이번 해커톤 과정과 꽤 닮아 있었습니다. 각자의 방식으로 만들고, 부수고, 다시 시도하는 과정의 연속이었으니까요.
이 글에서는 같은 아이디어를 두고 네 명이 각자의 방식으로 Vibe Coding을 시도해 본 이야기를 정리해 보려고 합니다.

1. 들어가며 — Nova Hackathon에 도전하게 된 이유
이번 AWS Nova Hackathon은 거창한 목표보다는 “새로 나온 AI 도구들, 한번 제대로 써보자”는 이야기에서 시작되었습니다.
코어팀 4명이 모여 가볍게 참여하게 되었고, 하나의 결과물을 역할별로 나누는 대신 같은 주제를 각자의 방식으로 구현해 보기로 했습니다.
어떤 접근이 더 잘 맞는지, 어디에서 막히는지 비교할 수 있을 것이라 생각했고, 자연스럽게 작은 대회 같은 형식이 되었습니다.
2. Video → Comic — 단순해 보였지만 쉽지 않았던 아이디어
우리가 만들고자 했던 것은 영상을 입력하면 만화 형태로 변환해 주는 서비스 ‘납짝’ 이었습니다. 짧은 영상을 넣으면 장면을 나누고, 각 장면을 이미지로 만들고, 컷으로 배치해서 만화처럼 만들어 주는 구조입니다. 단순히 프레임을 추출하는 것이 아니라 Video → Story → Comic이라는 복합적인 문제를 풀어야 했습니다. 기술적으로는 AWS Bedrock의 Nova 2 Lite를 중심으로, Nova Canvas, Transcribe, Step Functions 등을 활용했습니다.
- 영상 내 등장인물 파악
- 장면 흐름 이해 및 컷 간 연결성 유지
- 만화적 연출과 표현으로 재구성
“이 정도면 AI로 충분히 만들 수 있지 않을까?” 라는 생각으로 시작했지만, 막상 구현에 들어가자 장면 분할부터 캐릭터 일관성, 컷 구성, 말풍선 배치까지 문제가 끊이지 않았습니다.
3. 코어팀 4인 4색 — 각자의 Vibe Coding 실험

실험 1. 태용 — “단 한 줄의 코드도 직접 작성하지 않기”
세부 구현을 100% AI에게 위임하는 방식으로 접근했습니다. 동작하는 초기 산출물은 놀라울 정도로 빠르게 나왔지만, AI는 ‘만화적 연출’을 이해하지 못했습니다. 말풍선 위치가 어색하고, 컷 간 연결성이 떨어지고, 같은 캐릭터가 장면마다 다른 모습으로 나오는 문제가 반복되었습니다.

결국 텍스트 프롬프트만으로는 한계가 있다는 것을 깨닫고, 명확한 JSON 데이터 포맷을 강제하는 방식으로 전환했습니다.
구조화된 입력을 통해 AI의 자유도를 제한하자 결과가 눈에 띄게 안정되었습니다.


여전히 완벽하지는 않았지만, 핵심 인사이트는 명확했습니다. 코딩 시간보다 프롬프팅과 디버깅에 더 많은 시간이 들어갔다는 것.
실험 2. 동혁 — “AI 자율주행 개발 환경 구축”
AI가 스스로 작업을 이어가는, 자율주행에 가까운 환경을 만들었습니다. 최소한의 개입으로 AI가 24시간 연속 작업할 수 있다는 장점이 있었지만, 시간이 지날수록 의도에서 이탈하는 로그가 누적되는 문제가 발생했습니다.

요구사항이나 완료 조건이 조금만 애매해지면 AI는 의도와 다른 방향으로 흘러갔고, 이를 되돌리는 데 오히려 더 많은 시간이 들었습니다.
동혁님의 결론은 이랬습니다.
ㅣ”좋은 도구를 쓰는 것보다 좋은 입력을 만드는 것이 먼저다.”
실험 3. 준수 — “개발 지식 없이 서비스 만들기”
‘개발을 모르는 사람이 서비스를 만든다’는 가정으로 시작했습니다. AI에게 제공한 것은 원하는 기능과 모습뿐이었고, 프레임워크가 무엇인지, 시스템 구조가 어떻게 되는지도 모르는 상태에서 진행했습니다.
기초 서비스 구조가 만들어지는 데는 10분도 걸리지 않았습니다. 하지만 핵심 기능으로 들어가자 문제가 드러났습니다. Nova AI는 동영상 내의 등장인물이나 비언어적 음성 같은 요소를 직접 파악하지 못했고, 누가 어떤 말을 했는지 매칭하는 것도 어려워했습니다.
특히 AI가 해결하지 못한 문제에 대해 비슷한 해결책만 반복적으로 제시하는 경우가 많았고, 결국 새로운 활로는 직접 찾아 제공해야 했습니다. 개발 지식 없이도 빠르게 시작할 수 있었지만, 문제를 돌파하는 것은 여전히 사람의 몫이었습니다.
실험 4. 원 — “흔들리지 않는 파이프라인 설계”
저는 구현 속도보다 흐름 설계(Pipeline)에 집중했습니다. AI가 흔들리는 지점을 파악하고, 그 지점에 가드레일을 세우는 데 시간의 대부분을 할애했습니다. AI를 하나의 동료처럼 두고, 함께 만들면서 방향을 맞춰 가는 방식이었습니다.
네 가지 실험을 거친 뒤, 최종적으로는 준수님의 결과물을 대표 제출물로 선정했습니다.
4. 흔들리지 않는 흐름을 만들기 위해 — 기술적 접근
네 명 모두 접근 방식은 달랐지만, 결국 부딪힌 문제는 같았습니다. 단일 프롬프트로는 결과를 통제할 수 없다는 것. 같은 입력을 넣어도 결과가 달라지고, 한 번 잘 되던 흐름도 다음 실행에서는 쉽게 깨졌습니다.
저는 이 문제를 구조로 해결하는 방향으로 접근했습니다. AI의 자유도를 제한하고, 각 단계에 명확한 역할과 제약 조건을 부여하는 파이프라인을 설계하는 것이었습니다.
1) 비트 기반 프레임 샘플링
영상을 일정 간격으로 자르는 대신, 스토리 비트(setup → trigger → action → result)를 먼저 도출하고 그 타이밍에 맞춰 프레임을 추출했습니다. 균일 샘플링으로는 클라이막스나 전환점이 샘플 사이에 빠져버리는 문제가 있었기 때문입니다.
2) 참조 이미지 기반 일관성 유지
첫 번째 컷의 만화 결과물을 참조 이미지로 삼아, 이후 컷들이 스타일과 캐릭터를 이어받도록 했습니다. 캐릭터 영역만 따로 크롭해서 아이덴티티 드리프트를 줄이는 방식도 시도했습니다.
3) Drift Guard — 흔들림 감지
컷마다 캐릭터가 달라지는 아이덴티티 드리프트, 화풍이 달라지는 스타일 드리프트, 대사와 장면이 어긋나는 내러티브 드리프트를 각각 감지하고, 문제가 생기면 해당 컷만 폴백하는 구조를 만들었습니다.
4) Structure Lock — 구도 고정 후 연출
만화적 연출(조명, 선 굵기, 동작 강조)을 적용하기 전에 먼저 구도(레이아웃, 캐릭터 위치, 카메라 앵글)를 고정했습니다. 구도가 흔들리면 아무리 연출을 넣어도 만화로 읽히지 않았기 때문입니다.

이런 접근을 통해 결과가 조금씩 안정되기 시작했습니다.
완벽하지는 않았지만, 어디에서 문제가 생겼는지 추적할 수 있게 되었고, 특정 단계만 수정해서 다시 실행하는 것이 가능해졌습니다.
5. 공통 인사이트 — Vibe Coding의 가능성과 한계
가능성: 개발 시작 속도의 비약적 상승
초기 구조 설정, 기본 UI, API 흐름 연동까지 배포 가능한 기초 상태에 도달하는 시간은 압도적으로 단축되었습니다. 코딩은 확실히 쉬워졌습니다.
한계: 좋은 결과는 좋은 입력에서
하지만 작업이 복잡해질수록 진짜 시간이 들어간 곳은 따로 있었습니다. AI가 왜 잘못 이해했는지 파악하고, 프롬프트와 입력 데이터를 조정하고, 가드레일을 설계하는 과정입니다.
결국 코드를 작성하는 시간보다 AI가 의도대로 움직이게 만드는 과정에 훨씬 더 많은 시간을 쓰게 된다는 것이었습니다.
6. 마무리 — 코드를 넘어, 문제를 설계하는 팀으로
l “Vibe Coding에서는 코딩이 가장 쉬운 일이고, AI를 제대로 사용하는 것이 가장 어려운 일이다.”
이번 해커톤을 관통하는 한 문장입니다.
AI는 시작 속도를 확실히 높여주지만, 완성도는 결국 문제와 흐름을 설계하는 사람의 능력에 달려 있었습니다.
앞으로의 개발자는 ‘구현자(Coder)’보다 ‘시스템 조율자(Orchestrator)‘에 가깝다는 것을, 네 명 모두 직접 체감한 시간이었습니다.
처음에 만들었던 납짝 캐릭터처럼, 이번 도전도 여러 번 내려찍고 다시 고쳐 보면서 조금씩 형태를 만들어 가는 과정이었습니다.
이 경험을 통해 샐러드랩의 코어팀은 코드를 넘어, 문제를 설계하는 팀으로 계속 나아가 보려고 합니다.
이번 해커톤에서 만든 납짝 서비스는 아래 링크에서 직접 확인할 수 있습니다.
👉 납짝 바로가기: https://napzzak.site/