지난 시간, AI 및 컴퓨터 비전 국제 학회인 ECCV(European Conference on Computer Vision) 2024 Challenge에서 비주얼 프롬프팅 기반의 원샷 세그멘테이션 딥러닝으로 최고 혁신상(Most Innovative Prize)을 수상한 AI기술팀 김건욱 님을 만났습니다. 이번 인터뷰 2편에서는 이 기술을 연구하게 된 계기와 과정, 그리고 ECCV 2024에서 얻은 인사이트와 함께 향후 계획은 무엇인지 살펴보겠습니다.
“세계 최고 학회에서 비주얼 프롬프팅 기술을 인정받아 큰 보람을 느껴”
김건욱 님이 ECCV 2024 Challenge 부문에서 제안한 AI 기술은 바로 ‘비주얼 프롬프팅(Visual Prompting) 기반의 원샷 세그멘테이션(One Shot Segmentation) 딥러닝(Deep Learning)’입니다. 비주얼 프롬프팅(Visual Prompting)은 사용자가 입력한 프롬프트(Prompt)를 바탕으로 모델이 사물을 인식하는 딥러닝 기술 중 하나입니다.
성공적인 연구를 통해 최고 혁신상까지 수상한 김건욱 님. 석사 과정 이후 자신의 연구 성과를 현장에서 직접 발표할 기회를 가지게 되어서 감회가 새로웠다고 하는데요. 김건욱 님은 “프로젝트를 수행하며 발생하는 업무적인 고충을 기술적으로 해결하려고 했던 점을 학회에서도 인정을 받아 기쁘다”라고 소감을 밝혔습니다.
ECCV 2024 최고 혁신상 수상까지의 연구 여정!
김건욱 님은 ECCV 2024 Challenge 부문 정상에 오르기까지 수많은 연구 과정을 거쳤습니다. 어떤 계기로 비주얼 프롬프팅 딥러닝 기술을 연구하게 됐을까요? 김건욱 님을 만나 좀 더 자세한 이야기를 들어봤습니다.
Q. 비주얼 프롬프팅 딥러닝 기술을 연구하게 된 계기는 무엇인가요?
데이터 라벨링(Labeling) 업무를 하다가 비주얼 프롬프팅 딥러닝 기술의 필요성을 느꼈어요. 일반적인 딥러닝 기술에서 데이터 라벨링은 매우 중요한 작업인데요. AI가 수많은 데이터를 학습하려면 일반적으로 라벨링이 반드시 선행되어야 합니다. 당시 저는 양극과 음극을 용접하는 패키지 웰딩(Package welding) 공정 후 불량을 검출하는 비전 검사를 담당하고 있었는데요. 30만 장이 넘는 데이터를 분석하고 라벨링을 하는데, 데이터양이 너무 많아 업무에 어려움이 있었어요.
이보다 더 해결해야 할 문제는 새로운 형태의 불량이 발생하거나 불량 기준이 변해서, 불량이 양품 데이터에 섞인다는 것이었죠. 수많은 양품 데이터를 육안으로 보면서 새로운 불량을 찾고 라벨링을 해주는 일은 현실적으로 어렵거든요. 그래서 비전 검사 자동화와 불량 검출의 정확도를 높일 수 있는 방안을 마련하려고 했으며, 고민 끝에 비주얼 프롬프팅 기술을 활용하고자 했습니다.
Q. 이 기술을 연구하면서 기술 고도화를 위해 어떤 노력을 하셨나요?
소프트웨어 분야에는 오픈 소스(Open-Source)라는 문화가 존재합니다. 소스코드를 공개해 누구든 사용할 수 있도록 하는데요. 이 문화 덕분에 공개된 소스코드를 토대로 더 나은 방법론이 지속적으로 도출되고 있습니다.
제가 비주얼 프롬프팅 기술을 연구할 때는 기존에 알려진 소스코드가 불완전한 형태여서 그대로 사용할 수 없었어요. 논문을 꼼꼼히 비교하면서 놓친 부분은 무엇인지 확인했습니다. 이를 통해 비주얼 프롬프팅 기술에 완성도를 높일 수 있었고, 실제로 구현할 수 있었죠.
Q. 연구를 진행하면서 도움을 받았던 부분에 대해 말씀해 주세요.
비주얼 프롬프팅 방법론을 학습하는 데 많은 시간이 소요됐어요. 특히 방법론 설계에 어려움이 있었는데요. AI기술팀의 이강일 님과 기술적으로 토의하는 시간을 자주 가졌습니다. 그 당시 이강일 님이 트레이닝 없이 적용할 수 있는 딥러닝 모델을 활용해 보자는 아이디어를 제안하셨는데요. 이 아이디어를 비롯해 많은 점이 도움이 됐죠.
또한 팀 주간 미팅에서 다양한 과제를 서로 공유하는데요. 팀원이 진행하는 ‘최적 셀 설계 AI 과제’에서 많은 영감을 받았습니다. 이 과제는 셀 설계 특성값을 입력해서 설계 인자를 출력하는 기존 방식과 다른데요. 설계 인자 입력으로 셀 설계 특성값을 출력하는 것이에요. X에서 Y로 가는 방식에 집중했지만, 이제는 Y에서 X로 바꿔보자는 접근법이 인상 깊었죠.
AI 기술 고도화를 향해! 연구 성과와 앞으로 나아갈 길은?
김건욱 님은 지난 ECCV 2022에도 참가할 만큼 기술 연구에 대한 열정을 가지고 있었는데요. 이러한 열정 덕분에 AI 분야에 있어서 굵직한 성과를 쌓을 수 있었습니다.
그는 여기서 그치지 않고 ECCV 2024에서 얻은 인사이트를 바탕으로 앞으로 나아가겠다는 의지를 내비쳤습니다. 김건욱 님이 이번 행사에 참가하면서 얻은 가장 큰 수확은 연구 방향성을 확립한 것입니다. 실무 현장에는 도메인 변화, 경계성 샘플, 클래스 불균형 문제 등 여전히 해결되지 않은 많은 난제들이 존재합니다. 김건욱 님은 업계 전문가들과의 고충을 나누며 큰 용기를 얻었고, 앞으로 어떤 연구를 진행해야 할지에 대한 확신도 가질 수 있었다고 전했습니다.
Q. AI 분야에서 어떤 성과를 쌓아오셨나요?
AI는 학습 데이터가 충분히 확보되어야 하며, 이를 관리하는 것도 매우 중요합니다. LG에너지솔루션은 현재 배터리를 지속적으로 생산하고 있기에 데이터를 축적할 수 있어요. 그리고 이러한 데이터를 효율적이고 자동으로 라벨링(Labeling)하는 시스템이 필요하죠.
그래서 비주얼 프롬프팅에 이어 ‘액티브 러닝(Active Learning)’ 기술을 개발했어요. 액티브 러닝은 새로 확보된 데이터를 AI 모델이 직접 라벨링을 해주는 기술입니다. 특히 액티브 러닝은 모델이 기존에 학습한 내용을 토대로 매달 업데이트되는 데이터를 직접 추론하는 방식으로 라벨링을 하는데요. 모델이 판단 불가능한 것만 사용자가 라벨링 하면 되기 때문에 편리하다는 장점이 있죠. 그렇게 했을 때 작업시간은 약 75% 정도 감축되었습니다.
이처럼 제가 만든 AI 모델이 논문이나 코드 속에만 남아있지 않고, 현장의 문제를 실제로 해결했을 때 엔지니어로서 큰 성취감을 느껴요.
Q. 앞으로 LG에너지솔루션에서 진행할 연구는 무엇인가요?
비주얼 프롬프팅이 데이터 관리에 큰 혁신을 가져오지만 연산량이 많아지면 속도가 느려지는 현상이 발생합니다. 연산 속도를 높이면 이 모델에게 많은 일을 맡길 수 있기 때문에 최적화를 진행하려고 해요. 현재는 비주얼 프롬프팅 모델 경량화를 시도하고 있죠.
또한 AI기술팀의 목표인 ‘스마트 팩토리(Smart Factory)’ 구현을 위해 AI 기술을 연구할 계획입니다. 제가 진행하고 있는 비전 검사뿐만 아니라 셀 설계, R&D(Research and Development) 등에서도 AI를 활용하고 있는데요. 셀 설계 시간을 획기적으로 단축하려는 프로젝트도 있고, 배터리 충/방전 데이터를 활용해 리튬석출을 선제적으로 판정하려는 프로젝트도 있습니다. 이처럼 AI 기술팀은 AI를 하나의 도구로 삼아 배터리 생산부터 개발까지 전 영역에 적용시켜 전 공정을 자동화하기 위해 힘쓸 예정입니다.
Q. 마지막으로 한 말씀 부탁드립니다.
단순하고 고된 업무로부터 조그만 혁신을 떠올릴 수 있었습니다. 저의 경험이 누군가에게 영감이 돼 후속 연구에 도움이 된다면 그것만으로도 큰 보람을 느낍니다. 일련의 과정을 통해 AI가 발전해 인간을 더 자유롭고 편리한 삶을 제공해 주길 바라봅니다.
아울러 성장하는 배터리 시장에 함께 몸담고자 하는 분들에게 LG에너지솔루션은 좋은 기회라고 생각합니다. 이들과 함께 LG에너지솔루션이 더 높이 도약할 수 있도록 노력하겠습니다.
지금까지 총 2편에 걸쳐 ECCV 2024 Challenge 수상자 김건욱 님을 만나보았습니다! 업무적인 고충을 해결하기 위해 비주얼 프롬프팅 딥러닝 기술을 공부하며 연구했던 스토리와 나아갈 비전까지 살펴볼 수 있었네요.
김건욱 님을 비롯해 LG에너지솔루션 구성원들은 기술 혁신에 대한 열의를 불태우고 있습니다. 이러한 노력이 모여 편리하고 행복한 미래를 밝히는 데 큰 기여를 할 것으로 기대합니다!