Can We Trust AI-Written Software?

We study whether the tests, gates, and benchmarks software engineering already relies on still hold when the code is written by AI.

Research Program

AI가 작성한 소프트웨어를 무엇으로 신뢰할 것인가

SELAB은 AI가 생성한 코드가 실제 개발 파이프라인을 지날 때 무엇이 검증되고 무엇이 남는지를 연구합니다. 평가 프로토콜의 타당성, 테스트를 통과한 변경에 남는 잔여 결함, 저장소에 남는 위험 산출물, 검증 관문의 상호보완성을 각각 독립된 연구 질문으로 다룹니다.

AI는 이미 소프트웨어를 빠르게 만들어냅니다. 우리 연구실은 그 소프트웨어를 무엇으로 신뢰할 수 있는지를 연구합니다.

How We Work

Evidence Before Claims

Study Design

  • 연구 질문과 성공·실패 판정 기준을 실험 전에 고정하고, 결과를 본 뒤에 바꾸지 않습니다.
  • 한 번의 실행을 결론으로 쓰지 않고, 반복 실행에서 나타나는 분산을 함께 보고합니다.
  • AI가 만든 변경을 사람이 만든 변경, 기존 도구가 만든 변경과 같은 기준으로 비교합니다.

Evidence & Artifacts

  • 실행 추적, 실패 사례, 구성요소 ablation을 남겨 주장의 근거를 되짚을 수 있게 만듭니다.
  • 정확도뿐 아니라 비용, 지연, 실패 전파, 사람의 개입 지점을 함께 측정합니다.
  • 공개 가능한 범위에서 데이터와 스크립트를 정리해, 제3자 재현을 전제로 실험을 설계합니다.

Research Infrastructure

SELAB의 AI R&D 인프라는 멀티-컴퓨트 노드로 운영됩니다. 아래 합계는 클러스터 전체의 통합 자원입니다.

CPU
256 Threads 188 physical cores
RAM
703 GiB Slurm-managed 768 GB installed capacity
GPU
10 NVIDIA GPUs RTX 4090 ×7 · RTX 5090 ×2 · RTX PRO 6000 ×1 · 328 GB VRAM
SSD
14 TB Local NVMe raw installed capacity

Conference

ACM SAC 2027

Join us at The 42nd ACM/SIGAPP Symposium on Applied Computing in Gwangju, South Korea (April 5 - 9, 2027). Connect with global researchers and shape the future of applied computing.

View Details