E2E 테스트
강현우

E2E 테스트💡
안녕하세요. 알파업셀 프로덕트 개발자 강현우입니다.
알파업셀은 AI 상품 추천과 프로모션으로 쇼핑몰의 구매전환율을 높여주는 온사이트 마케팅 솔루션이에요. 저희 팀은 쇼핑몰 플랫폼 위에서 동작하는 업셀 추천 서비스를 개발하고 있고, 현재 10종의 추천 위젯을 운영하고 있어요. 매 스프린트마다 위젯들이 올바르게 작동하는지 검증해야 하는데, 위젯 수가 많다 보니 QA에 상당한 시간과 인력이 투입되고 있었어요.
이번 글에서는 AI를 활용해 E2E 테스트 자동화 파이프라인을 구축하면서 겪은 과정을 공유하려고 해요. 단순히 “AI 써서 좋았다”가 아니라, AI의 활용 수준을 단계별로 끌어올리면서 알게 된 것들, 효과가 있었던 것, 한계, 운영 관점에 초점을 맞췄어요.
E2E 테스트가 뭔가요?
E2E(End-to-End) 테스트라는 단어가 익숙하지 않으실 수도 있는데, 사실 여러분이 앱이나 웹사이트에서 버튼을 누르고 결과를 확인하는 그 행위 자체를 자동화한 거예요. 사용자의 시나리오를 처음부터 끝까지(End-to-End) 실제 브라우저에서 재현하는 테스트를 뜻해요.
예를 들어 “장바구니에 상품을 담으면, 추천 위젯에서 해당 상품이 사라져야 한다” 같은 시나리오를 코드로 작성해서 브라우저가 자동으로 클릭하고, 스크롤하고, 결과를 확인하게 하는 거예요.

E2E 테스트에는 시나리오뿐만 아니라 환경 조건도 중요해요. 시나리오가 “어떤 동작을 검증하는지”를 표현하는 거라면, 환경은 “어떤 조건에서 실행되는지”를 정의하는 거예요. 같은 “장바구니 담기” 시나리오라도 위젯 종류, Shadow DOM 구조, 외부 API 상태에 따라 결과가 달라질 수 있거든요.
E2E 테스트가 왜 중요한가요?
E2E 테스트가 있으면 배포 전에 위젯들이 실제로 잘 동작하는지 자동으로 검증할 수 있어요. 이게 생각보다 팀 전반에 큰 영향을 줘요.
품질 보장 측면에서는, 사람이 매번 시나리오를 하나하나 클릭하며 확인하는 대신 코드가 수십 개 시나리오를 몇 분 안에 돌려줘요. 빠뜨리기 쉬운 엣지 케이스도 매번 빠짐없이 검증돼요. 개발 속도에도 직결돼요. QA에 5~6일이 걸리면 그만큼 다음 스프린트가 밀려요. 자동화로 이걸 반나절로 줄이면 개발자들이 새 기능 개발에 집중할 수 있어요. 신뢰도 측면에서는, 자동화된 테스트가 통과했다는 건 “이 범위까지는 검증됐다”는 근거가 돼요. 코드 리뷰나 배포 승인에서 객관적인 기준 역할을 해줘요. 회귀 방지도 중요해요. 새로운 기능을 넣으면서 기존 기능이 깨지는 건 흔한 일인데, E2E 테스트가 있으면 변경 사항이 기존 동작에 영향을 주는지 바로 확인할 수 있어요.
이렇게 E2E 테스트는 품질, 속도, 신뢰, 안정성을 동시에 담보하는 인프라 역할을 해요.
우리 팀은 어디서 E2E 테스트가 필요한가요?

우리 팀은 그동안 어떻게 테스트해왔나요?
하지만 이 글을 읽으시는 분들은 “전담 QA 없이 어떻게 했어요?”라는 의문이 드실 거예요.
실제로 저희는 매 스프린트마다 스쿼드 전원이 수동으로 QA에 투입되는 구조였어요.
10개 위젯 × N개 시나리오를 사람이 브라우저에서 하나하나 클릭하며 검증했어요.
작년 12월 스프린트 때는 QA에만 5~6일이 걸렸어요. 100% 휴먼 리소스였죠.

다만 기존 방식엔 제품적, 기술적 아쉬움이 존재했어요.
시나리오만으로 표현력이 부족했어요. 단순히 “동작 확인”을 넘어서 “장바구니에 담긴 상품이 추천 목록에서 실시간으로 빠지는지”, “오버레이가 열린 상태에서 다른 위젯에 접근할 수 있는지” 같은 복합 시나리오를 체계적으로 관리하고 싶었어요. 재현 가능한 기록이 없었어요. 사람이 테스트하면 “통과” 혹은 “실패”라는 결과만 남지, 정확히 어떤 순서로 어떤 동작을 했는지 재현 가능한 형태로 남지 않았어요. 품질 관리가 부족했어요. 이번 스프린트에서 테스트를 잘 한 건지, 빠뜨린 시나리오는 없는지 검증하는 체계가 없었어요.
AI 기반 E2E 테스트 파이프라인을 어떻게 만들었나요?
AI 기반 E2E 테스트 파이프라인은 AI가 테스트 계획을 세우고, 테스트 코드를 작성하고, 실행 결과를 리포팅하며, 그 품질을 추적하는 시스템이에요. 구현과 운영의 중심에는 LLM이 있고, 실행 인프라는 Playwright를 선택했어요.

왜 Playwright를 사용했나요?
Shadow DOM 내부 요소에 접근할 수 있어야 했어요. 저희 위젯이 Shadow DOM 기반 Custom Element로 구현되어 있기 때문에 Shadow DOM을 네이티브로 지원하는 테스트 프레임워크가 필요했어요. TypeScript를 지원해야 했어요. 저희 위젯 코드베이스가 TypeScript 기반이라, 테스트 코드와 제품 코드 간의 타입 일관성을 유지하고 싶었어요. Cypress나 Selenium 같은 다른 선택지도 있었지만, Shadow DOM 지원의 성숙도와 API의 직관성 면에서 Playwright가 현실적인 선택이었어요.
AI의 역할은 어디서부터 어디까지인가요?
AI가 전부 다 하는 건 아니에요. 역할 분담이 있어요.

도메인 지식을 AI에게 어떻게 전달했나요?
AI가 우리 프로젝트를 이해하려면 컨텍스트가 필요해요. 그래서 두 가지 핵심 문서를 만들었어요.
위젯 동작 명세서 — 위젯 10종 각각이 어떤 Custom Element 태그를 쓰는지, 장바구니 변경 이벤트를 리스닝하는지, 상품이 소진되면 어떻게 동작하는지를 표로 정리한 문서예요.

테스트 케이스 가이드라인 — TC에 포함해야 할 항목을 정의한 문서에요.

이 두 문서를 AI에게 컨텍스트로 넘기면, “위젯 C는 상품 목록 요소가 없으니까 내부 데이터에서 직접 추출해야 한다”는 식으로 위젯별 특성을 반영한 답이 나와요.

브라운필드는 뭔가요?
여기서 한 가지 짚어야 할 게, 저희 프로젝트가 “브라운필드”라는 거예요. 깨끗한 빈 땅 위에 짓는 그린필드와 달리, 이미 존재하는 시스템 위에서 개발하는 구조를 뜻해요. 그리고 이 “브라운필드”라는 맥락은 AI를 도입할 때 두 가지 차원에서 작용해요.
첫 번째는 외부 환경이에요. 저희 위젯은 외부 쇼핑몰 플랫폼 위에서 동작해요. Shadow DOM, Custom Element, Swiper 같은 기술 스택이 얽혀 있고, 플랫폼이 제공하는 런타임 객체에 의존하는 구조예요. 우리가 통제할 수 없는 외부 환경 위에 올라가 있는 거죠.
두 번째는, AI 입장에서 우리 프로젝트 자체가 브라운필드라는 거예요. 이미 수개월 동안 쌓여온 코드베이스, 팀 내에서 암묵적으로 공유되는 규칙, 위젯별 예외 동작, 문서화되지 않은 사이드 이펙트 — 이런 도메인 지식이 이미 두텁게 쌓여 있는데, AI는 그 맥락을 전혀 모르는 상태에서 투입돼요. 사람이라면 입사 후 몇 주에 걸쳐 자연스럽게 체득할 지식을, AI에게는 명시적으로 문서화해서 전달해야 하는 거예요.

이 두 가지가 합쳐진 게 저희가 말하는 브라운필드예요. 단순히 “외부 플랫폼이 복잡하다”가 아니라, “AI가 우리 프로젝트에 대해 아는 게 없다”는 게 본질적인 문제였어요. 이런 환경에서 테스트를 자동화한다는 건, 단순히 “Playwright 설치하고 테스트 코드 짜면 끝”이 아니에요. 결국 AI에게 외부 환경과 내부 도메인 지식을 얼마나 잘 설명하느냐가, 출력 품질을 결정해요.
AI는 어떻게 테스트를 만드나요?
파이프라인의 핵심 흐름은 이래요.

1단계: 테스트 범위 분석. 커밋 diff를 AI에게 넘기면, AI가 위젯 동작 명세서와 PRD 문서를 교차 분석해요. 예를 들어 장바구니에서 상품을 제거하는 함수가 변경되면, AI가 이 함수를 호출하는 위젯이 몇 개인지, 어떤 위젯이 관련 이벤트를 리스닝하는지, 어떤 위젯은 예외 처리가 필요한지를 파악해요. PRD가 함께 전달되기 때문에 “무엇이 바뀌었는가”뿐 아니라 “무엇이 의도된 동작인가”까지 고려한 범위 분석이 가능해요.
2단계: TC 설계. 범위가 정해지면 AI가 TC를 설계해요. 여기서 중요한 원칙이 두 가지 있어요. 첫째, 동일한 결과의 재현성. 자연어로 “이렇게 테스트하세요”가 아니라 실행 가능한 코드 수준의 로직이 정의되어야 해요. 둘째, 가시성. 테스트가 어떤 동작으로 진행되는지 누구나 볼 수 있어야 신뢰할 수 있어요.
AI가 도출한 24개 TC는 Notion DB에 자동 삽입돼요.
3단계: 테스트 코드 작성. 승인이 떨어지면 AI가 Playwright .spec.ts 파일을 작성해요. 인상적이었던 건, AI가 위젯별 특성을 정확히 코드에 반영했다는 점이에요.

공통 패턴은 data-driven 루프로 7개 위젯을 한 번에 처리하고, 특수한 위젯만 별도 TC로 분리했어요.

4단계: 실행 & 리포트 24개 TC가 자동 실행되고, Playwright Custom Reporter가 결과를 Notion에 업로드해요. TC별 Pass/Fail/Skip 상태, 소요 시간, 에러 메시지는 물론이고 before/after 스크린샷과 추천 리스트 변화 요약까지 자동으로 기록돼요.

TC품질은 어떻게 평가했나요?
테스트를 아무리 많이 만들어도, 결국 그 TC가 적절했는지 품질을 알 수 있어야 해요. 특히 프로덕션에서 운영하며 프롬프트, 명세서, AI 활용 전략을 계속 튜닝하다 보면, 이 변경이 부작용은 없는지, 성능을 더 낫게 만들었는지를 빠르게, 반복적으로 판단할 수 있어야 해요.
TC정확도는 어떻게 측정하나요?
저희는 크게 세 가지 지표를 사용했어요.
TC 커버리지 — AI가 도출한 TC가 변경된 코드의 영향 범위를 얼마나 포괄하는지를 나타내는 지표예요. 변경된 함수가 영향을 주는 위젯 수 대비, AI가 실제로 TC를 생성한 위젯 수의 비율이에요.

Pass Rate — 생성된 TC 중 첫 실행에서 통과한 비율이에요. 이 수치가 낮으면 AI가 환경을 잘못 이해하고 있거나, 테스트 코드에 구조적 결함이 있다는 신호예요.

크리티컬 이슈 발견율 — 자동화된 테스트가 실제 버그를 얼마나 잡아내는지를 나타내는 지표예요. 배포 후 발견된 크리티컬 이슈가 0건이면, 테스트가 충분히 커버하고 있다는 근거가 돼요.
평가 체계의 검증
AI가 만든 TC의 품질을 AI 자체 지표로만 판단할 수는 없어요. 그래서 사람이 직접 검증하는 과정을 병행했어요.

AI가 도출한 TC 목록을 Notion에 올리면, 사람이 “이 TC가 비즈니스 로직에 맞는가?”를 하나하나 리뷰해요. 불필요한 TC는 삭제하고, 빠진 시나리오는 수동으로 추가해요. 이 과정에서 나온 수정 사항을 다시 명세서에 반영하면, 다음 스프린트에서 AI의 TC 품질이 올라가는 피드백 루프가 만들어져요.
만들고나면 끝이 아닌 시작, 운영은 어떻게 했나요?
이렇게 파이프라인을 만들었지만 사실 만들었다 자체보단 그 이후 운영하며 얻은 교훈이 더 많았어요.
정확도를 올리기 위한 프롬프트 엔지니어링
초기에는 커밋 diff만 넘기던 프롬프트에 위젯 동작 명세서를 추가했어요. 어떤 위젯이 어떤 이벤트에 반응하는지, 어떤 위젯은 특수한 데이터 접근 방식이 필요한지를 같이 넣어주면 AI가 실제로 무엇을 테스트해야 하는지 더 잘 파악할 수 있었고, 그게 TC 정확도로 이어졌어요.
다만 프롬프트를 손보면 항상 정확도가 오르는 건 아니었어요. 예를 들어 각 위젯의 전체 소스코드를 컨텍스트로 넣어 더 정밀한 TC를 만들어보려 했는데, 실제로는 컨텍스트가 너무 길어져 오히려 핵심을 놓치는 경우가 생겼어요. 그 외에도 Few-shot 예시를 늘리거나 세부적인 Instruction을 추가하는 건 수고에 비해 결과 변화가 미미하거나 오히려 과적합되는 경우도 빈번했어요.
TC 품질을 높이기 위한 명세서 개선도 했어요
AI의 TC 품질을 올리는 가장 효과적인 방법은, 프롬프트를 다듬는 게 아니라 명세서의 품질을 올리는 거였어요. 위젯 동작 명세서에 빠진 정보가 있으면 AI는 그 부분을 추측하거나 무시하게 되거든요.
그래서 명세서에 각 위젯의 예외 동작, 지원하지 않는 기능, 의존하는 외부 API를 더 구체적으로 추가했어요. 특히 “지원하지 않는 것”을 명시한 게 효과가 컸어요. AI가 불필요한 테스트를 생성하는 경우가 줄었거든요.
여기까지의 결론은 분명했어요
단순 프롬프트 개선만으로는 한계가 있었어요. 어느 순간부터는 프롬프트를 다듬더라도 TC 품질 향상이 미미해지는 시점이 오고, 컨텍스트를 늘리면 비용이 따라서 올라가는 형태였어요. 그래서 시선을 바꿨어요. 지금까지는 AI가 어떻게 더 좋은 TC를 만들게 할지를 고민했다면, 이제는 AI에게 어떤 정보를 어떤 구조로 전달할지를 설계하는 방향으로 접근했어요.

AI 활용 전략 개선
초기 전략: 통째로 넘기기
가장 먼저 시도한 방식이에요. 커밋 diff, 명세서, PRD, 가이드라인을 한 번에 AI에게 넘기고 “TC를 만들어줘”라고 한 거예요. 구현이 단순하고 AI 호출이 1회로 끝나요. 하지만 변경 범위가 넓을수록 컨텍스트가 길어져서 정확도가 떨어졌어요.
개선된 전략: 단계 분리
그래서 하나의 큰 요청을 여러 단계로 쪼갰어요.
1. 범위 분석 단계: 커밋 diff만 넘기고 “영향받는 위젯과 시나리오가 뭐야?”만 물어봐요.
2. TC 설계 단계: 분석 결과 + 해당 위젯의 명세서만 넘기고 “TC를 설계해줘”라고 해요.
3. 코드 작성 단계: TC + 기존 테스트 코드 패턴을 넘기고 “코드를 작성해줘”라고 해요.
매 단계에서 필요한 컨텍스트만 전달하기 때문에, AI가 더 집중해서 정확한 결과를 만들었어요.

실제로 얼마나 개선됐나?
세 번의 스프린트를 비교하면 변화가 뚜렷해요.

이렇게 만든 파이프라인, 어디에 쓰이나요?
이런 과정을 거쳐 구축된 파이프라인은 실제로 팀 내 여러 곳에서 쓰이고 있어요.
스프린트 QA가 가장 대표적이에요. 매 스프린트 종료 시점에 전체 위젯의 동작을 검증해요. Notion에 자동 생성되는 리포트를 보고 “이번 스프린트는 안전하다”는 판단을 빠르게 내릴 수 있어요. 회귀 테스트에도 활용돼요. 새로운 기능을 개발할 때, 기존 위젯들이 영향받지 않는지를 확인하는 용도로 파이프라인을 돌려요. 버그 발견의 부수 효과도 있어요. 테스트를 자동화하는 과정에서, AI가 실패 원인을 분석하다가 기존에 몰랐던 실제 버그를 발견하는 경우가 있었어요. 이런 건 버그 티켓으로 생성해서 별도로 수정했어요.
앞으로 더 뭘 할 건가요?
첫 번째는 Self-Healing 루프 자동화예요. 지금은 테스트 실패 시 사람이 에러 로그를 AI에게 전달하고, AI의 수정안을 확인하고, 다시 실행하는 과정을 수동으로 반복하고 있어요. 이 루프 자체를 파이프라인에 내장해서, 테스트 실패 시 AI가 자동으로 로그를 분석하고 수정 PR을 생성하거나, 최소한 원인 분석 리포트까지는 사람 개입 없이 완성되는 구조를 만들려 해요.
두 번째는 PRD Notion 자동 연동이에요. 현재도 커밋 diff, 위젯 명세서와 함께 PRD 문서를 AI에게 넘기고 있어요. PRD가 “무엇이 의도된 동작인가”를 알려주기 때문에, TC의 정확도를 높이는 데 이미 효과를 보고 있어요. 다만 지금은 PRD를 수동으로 전달하고 있는데, 이걸 Notion과 자동 연동해서 PRD가 업데이트되면 파이프라인이 최신 기획 의도를 자동으로 참조하는 구조를 만들려 해요.
세 번째는 AI가 읽을 수 있는 코드베이스 구축이에요. AI가 테스트를 잘 작성하지 못하는 경우를 보면, 대부분 우리 코드의 동작을 정확히 인지하지 못해서예요. 명세서에 빠진 내용, 코드 내 암묵적인 규칙, 문서화되지 않은 사이드 이펙트. 외부 플랫폼은 바꿀 수 없지만, 내부 코드의 문서화는 바꿀 수 있어요. 브라운필드 안에서 할 수 있는 가장 실질적인 개선이에요.
네 번째는 적은 인력으로 더 큰 아웃풋을 내는 것이에요. AI-DLC를 적극 활용하면서 QA 부담을 줄이고 있는데, 앞으로는 이런 방식을 테스트뿐 아니라 코드 리뷰, 문서화까지 확장해서 더 많은 개선을 만들어내려 해요.
끝으로
여기까지 AI를 활용해 E2E 테스트 파이프라인을 구축하고 운영해온 이야기를 읽어주셔서 감사해요.
완벽하지 않아요. 자동화되지 않은 구간이 있고, 명세서의 빈틈이 곧 테스트의 빈틀이 되는 한계도 있어요. 하지만 “QA 지옥”에서 시작해서, AI와 함께 반나절이면 끝나는 구조를 만들어낸 건 의미 있는 진전이라고 생각해요.
브라운필드 프로젝트에서 AI 기반 테스트 자동화를 고민하고 계신 분들에게, 이 글이 하나의 참고 사례가 되었으면 좋겠어요.