인공지능(AI)으로 검사 프로세스를 혁신한 LG디스플레이 팀

2016년 3월, 전 세계를 깜짝 놀라게 했던 이세돌 9단과 인공지능(Artificial Intelligence, 이하 AI) ‘알파고'의 맞대결을 기억하시나요? 알파고가 승리를 거두면서 인간을 압도하는 AI의 저력이 세상에 알려졌죠. 지난 4월, LG어워즈 기반프로세스 부문에서 ‘우수상’을 받은 LG디스플레이 프로젝트팀도 바로 이 세기의 대전에서 영감을 얻어 기반프로세스를 혁신했다고 하는데요. LG디스플레이 박학수 팀장, 김종순 책임 그리고 정윤재 책임을 만나 자세한 이야기를 들어보았습니다.

(왼쪽부터) LG디스플레이 김종순 책임, 박학수 팀장, 정윤재 책임

사람의 눈보다 정확한 AI를 도입하다

디스플레이의 경우 공정 과정에서 생기는 불량을 감지하고 검사하는 것이 매우 중요합니다. 이 과정이 다른 제조업에 비해 난이도가 높기도 하지요. 불량은 다양한 원인에 의해 발생할 수 있기 때문에 자동화하기 무척 까다로운데요, 이에 LG디스플레이 프로젝트팀은 프로세스 혁신의 필요성을 절감했습니다.

정확한 검사를 위해 검사자의 판단에 따라 불량을 검출하던 기존의 수동 검사 방식은 생산성 관점의 효율이 낮을 뿐 아니라 검사 오류에 의한 불량 누출 위험이 존재했습니다. 프로젝트팀은 제품 품질과 생산성을 높이기 위해 AI를 활용한 자동화 과제에 돌입했습니다. 사람의 눈을 AI로 대체하는 시스템을 구축하기 시작한 것이죠. 

Q. AI를 활용한 검사 및 수리 프로세스를 구축하게 된 계기가 무엇인가요?

박학수 팀장(이하 박학수): 기존에는 제품을 촬영한 이미지를 보고 맨눈으로 불량을 판정하는 방식으로 검사를 진행했습니다. 업무 능률이 낮을 수밖에 없는 상황이었죠. 이에 불량의 특징을 정의한 다음, 불량 여부를 자동 판정하는 규칙기반 학습(Rule-Based Learning) 기술을 도입하기도 했는데요. 초기에는 자동화율이 높지 않았습니다. 신제품이나 새로운 불량 유형이 나올 때마다 다시 규칙을 정의해야 했기 때문입니다. 이러한 한계점을 개선하기 위해서는 새로운 기술의 도입이 필요했습니다.

LG디스플레이 박학수 팀장

김종순 책임(이하 김종순): 2016년 딥러닝 기반의 AI 시스템 ‘알파고'가 화제가 되면서 2017년부터 업무 분야에서 AI를 활용할 방법을 검토하기 시작했어요. 이미지 기반의 학습 및 처리 영역은 딥러닝을 가장 쉽게 적용할 수 있는 분야였거든요.

이미지의 특징을 학습한 인공신경망이 자동으로 새로운 이미지를 분류하는 것을 기본 개념으로 삼고 프로젝트를 진행했습니다. 딥러닝 기술 중에서도 이미지 분야에서 가장 널리 사용하는 CNN(Convolutional Neural Network) 방식을 채택해 불량 여부와 그 유형을 구분했습니다. 하지만 딥러닝 기술 하나만으로 모든 문제를 해결한 것은 아니었어요. 

Q. 과제 해결을 위해 딥러닝 기술 외에 어떤 기술을 활용하셨나요?

박학수: 우선 검사와 수리의 핵심인 정확한 판단을 위해 앙상블 학습(Ensemble Learning) 모델을 적용했습니다. 앙상블 학습 모델은 여러 개의 모델을 종합해 더 정확한 결정을 내리는 방식을 말하는데요. 아무래도 하나의 모델로 여러 유형의 불량을 판정하다 보면 전체적인 정확성이 떨어질 수밖에 없습니다. 하지만 각각의 불량 유형에 특화 한 여러 개의 학습 모델을 종합해 사용하면 자동 판정의 정합성을 극대화할 수 있죠.

두 번째로 신제품이 출시되어도 검사 정확도가 안정적으로 유지되도록 AI 모델링 방식을 고도화했습니다. 기본적으로 딥러닝은 이미지를 학습해야만 판정이 가능합니다. 하지만 신제품의 경우, 불량의 이미지가 현저히 적기 때문에 검사 정확도를 유지하는 데 어려움이 있었습니다. 그래서 아예 적은 양의 이미지로도 일정 수준의 정확도를 확보할 수 있도록 소량 학습기술을 개발 적용하여 지금은 극소량으로도 일정 수준의 검사 정확도를 확보했습니다.

마지막으로 초해상화 기술을 도입했습니다. 촬영 이미지를 기반으로 검사 공정이 진행되는 만큼, 현장에서는 고해상도부터 저해상도까지 다양한 품질의 이미지를 사용하고 있는데요. 초해상화 기술 도입 이후, 이미지 품질 제약을 극복해 저해상도 이미지로도 충분히 자동 판정이 가능해졌습니다. 딥러닝 기술 외에도 이처럼 다양한 기술을 접목한 덕분에 검사 공정의 자동화율을 높일 수 있었죠.

LG디스플레이 김종순 책임

김종순: 여기에 기존에 사용하던 규칙기반 학습 알고리즘을 더해 딥러닝 기술의 취약점을 보완하기도 했습니다. 아무리 딥러닝 기술이라고 해도 판정하지 못하는 취약한 부분들이 있기 마련인데요. 기존 방식을 접목함으로써 판단의 정확성을 더욱 높였습니다.

AI, LG디스플레이의 문화가 되다

LG디스플레이는 2018년 제품 검사 분야에 AI를 도입한 이후 이듬해부터는 제조 과정에도 AI를 투입했습니다. 증착을 비롯한 디스플레이 제조 과정엔 수많은 변수가 제품 품질에 영향을 주는데요, 변수가 생길 때마다 AI가 결괏값을 미리 예측하게 함으로써 고품질 제품 수율을 높일 수 있었습니다. 또한 현재는 제품 불량 발생 시 이를 일으킨 공정과 변수를 빠르게 찾아내는 데도 AI를 활용하고 있습니다.

그렇다면 실제 검사와 수리를 담당하는 현장의 처음 반응은 어땠을까요? 초기에는 사람의 눈을 대체하는 AI의 등장에 반신반의하는 현장 검사자들도 많았다고 합니다. 그러나 프로젝트팀의 노력으로 비전 영역의 AI 기술은 어느새 LG디스플레이의 새로운 문화이자 시스템의 하나로 자리 잡았죠. 현장에서 함께한 정윤재 책임으로부터 변화의 반응들을 들어볼 수 있었습니다.

Q. 과제 해결 과정에서 가장 어려웠던 점은 무엇인가요?

LG디스플레이 정윤재 책임

정윤재 책임(이하 정윤재): 기존 방식에는 분명히 개선이 필요한 부분들이 있었어요. 모델이 점점 복잡해지면서 불량이 발생할 수 있는 위치가 늘어난 것이 한 예입니다. 이는 검사자가 외워야 할 불량의 기준이 많아진다는 것을 의미하기도 하는데요. 검사자는 대략 1~2초 안에 불량 여부를 판정해야 하는데, 그 짧은 순간에 수백 개의 기준을 대입해 판단한다는 것은 굉장히 어려운 일입니다. 모델이 어려워질수록 능률은 떨어질 수밖에 없죠. 시스템을 바꾸기는 쉽지 않은 결정이었지만, 오랜 시간 함께한 팀원들에 대한 믿음으로 새로운 기술을 받아들였습니다. 

불량은 유형이 정말 다양해서 어제 보았던 이미지가 오늘은 또 다르게 보일 때가 많은데요. 하지만 하루에 수천 장, 수만 장에 이르는 이미지를 보시는 검사자분들은 다릅니다. 저희와 다르게 불량을 분류하고 학습하는 남다른 능력을 갖추고 계시죠. 그래서 프로젝트를 진행하며 그분들의 도움을 정말 많이 받았습니다.

김종순: 프로젝트 기간에 현장에서 베테랑 검사자분들과 동고동락했어요. 그전까지는 직접 부딪힐 일이 많지 않았는데, 처음으로 그분들의 업무를 가까이에서 보았습니다. 몇 개월 동안 같이 호흡하면서 이렇게 함께 일할 때 시너지가 난다는 것을 몸소 깨달았어요.

LG어워즈 기반프로세스 부문 ‘우수상' 수상

AI 기반 검사 및 수리 지능화 추진 이후, 프로젝트팀은 검사 생산성을 획기적으로 향상하는 성과를 얻었습니다. 양품화율은 높아졌고, 불량 누출률은 줄었죠. 제품 외 영역까지 검사 범위를 확산함으로써 통합 품질 향상에도 기여했습니다. 프로젝트팀은 이번 LG어워즈에서 ‘우수상’을 받으며 프로세스를 혁신하고, 나아가 고객 만족도를 제고한 공을 인정받았습니다.

Q. LG어워즈 ‘우수상’ 수상을 축하드립니다. 수상 소감이 어떠신가요?

박학수: 첫 회사에서 어느새 20년을 맞이했는데요. 회사 생활 20주년에 이 큰 상을 받아서 그동안의 노력에 대한 보상을 받는 것 같아 개인적으로는 의미가 남다르고 영광입니다. 또 오늘 인터뷰에 함께하지 못한 나머지 팀원들에게도 수고 많았다고 말해주고 싶고, 여러 분야의 팀원들이 협업한 덕분에 좋은 성과를 얻을 수 있었던 것 같아요.

(왼쪽부터) LG디스플레이 박학수 팀장, 김종순 책임, 정윤재 책임

김종순:  이 프로젝트의 시작부터 지금까지 진행해오며 힘들 때면 ‘이걸 왜 하자고 해서 이 고생을 하고 있지?’ 하는 마음이 든 적도 있었는데요. 결과적으로는 그 고생들이 제게 의미 있는 성과로 돌아왔다는 생각이 듭니다. 하고 싶은 일을 열심히 하면 그에 따른 결과를 얻을 수 있다는 생각을 최근에 정말 많이 해요.

정윤재: ‘이게 되네?’라는 생각을 많이 했던 것 같아요. 성취감도 정말 컸고요. 적용하기까지의 과정이 정말 힘들었기에, 결과가 좋지 않을 때는 셔틀버스 타러 가는 내내 한탄하며 걸었던 기억이 납니다. 그러나 버스를 타는 순간에는 다시금 할 수 있다고 다짐하곤 했어요. 이렇게 큰 상을 받은 덕분에 앞으로 어려운 일이 생겼을 때도 한층 더 수월하게 이겨낼 수 있을 거 같습니다.

Q. 이 기술을 활용한 향후 계획을 말씀해주세요.

박학수: 지금은 소량의 이미지를 활용해 학습하고 있지만, 앞으로는 그마저도 줄여볼 계획입니다. 패널 설계 도면만을 학습해서 불량을 찾아내는 것이죠. 또한 고객이 수령한 불량 제품에 대한 불량 이미지에 대해서도 딥러닝 기술로 자동 판정을 진행해 보려고 합니다. 불량 제품을 받은 고객 입장에서는 어떤 문제가 발생했는지를 빨리 알고 싶잖아요. 향후에는 이 기술을 활용해 고객의 불편을 해소하고 고객가치 제고에 더 많은 기여를 더 하고 싶습니다.

김종순: 딥러닝을 개발하는 사람들이 하는 우스갯소리로 ‘오늘, 내일, 모레도 우리가 해야 할 일은 라벨링’이라는 이야기가 있습니다. 개발이나 코딩보다 레이블을 붙이는 것이 더 고되고 힘들다는 뜻인데요. 이 과정을 최소화하기 위해 노력하고 있습니다. 또 앞으로는 학습을 더 쉽게, 더 잘하는 모델을 개발하는 방향으로 나아가려고 합니다.

정윤재: 현장에서는 새로운 시스템을 빠르게 잘 사용할 줄 알아야 합니다. 저만 알고 있으면 저만 그 업무를 해야 하고, 대체가 안 되거든요. 제가 없더라도 누구든지 대응할 수 있도록, 훌륭한 시스템을 더 많은 인원이 유용하게 쓸 수 있도록 전문 인력을 육성할 계획입니다.

(왼쪽부터) LG디스플레이 김종순 책임, 박학수 팀장, 정윤재 책임