생성AI를 위한 NAS 연구

생성AI를 위한 NAS 연구
2023.06.06 화 오후 9:37 ・ 40분 28초
나현우

AI 요약
00:03
딥러닝 모델의 최적화
- ai가 발전하면서 딥러닝 모델들이 등장을 하게 됐고 이전과는 다른 차원의 엔지니어링 문제들이 생김
- 딥러닝 모델들을 최적화하기 위한 한 단계 더 높은 차원의 피처 엔지니어링 문제들이 생김
- 피처 엔지니어링을 자동화해보자 해서 오토메이티드 머신 러닝 오토ml이라고 부름

02:55
나스의 목표
- 오토ml의 한 가지 하위 분야인 뉴럴 아키텍처 서치 나스는 ai 모델의 아키텍처를 자동으로 디자인을 해주는 연구임
- 나스가 궁극적으로 달성해야 되는 목표는 세상에는 굉장히 다양한 데이터셋이나 테스크가 있고 또 엄청 다양한 하드웨어가 있기 때문에 이런 애들의 특징을 잘 고려해서 ai 모델을 최적화할 수 있어야 되는 게 첫 번째 궁극적인 목표임
- 최근에 nas에서 중요한 목표는 멀티 오브젝티브라고 해서 단순히 정확도만 높은 것이 아니라 정확도와 어떤 다른 꼴 예를 들어서 가장 대표적인 것은 어떤 디바이스에 넣었을 때 ai 모델이 작동하는 속도 이거 작동하는 속도랑 acquaelus 정확도를 둘 다 최적화하도록 nas가 목표를 달성하려고 함
- franis라고 해서 ai 모델이 실제로 서비스를 했을 때 인종을 차별하거나 욕설이 담긴다거나 남녀에 대해서 다르게 편견을 갖는다거나 이런 바이러스가 되면 안 되기 때문에 이런 것들을 비롯해서 어떤 유저가 정의하는 새로운 골까지 멀티 오브젝티브를 고려해서 최적화된 모델을 찾을 수 있도록 해야 됨

06:57
나스 방법의 문제점
- 탐색 공간 안에서 굉장히 효율적이고 효과적인 탐색 방법이 필요함
- 탐색 방법을 알고리즘을 짜냐에 따라서 나스 방법들이 달라짐
- 수많은 나스 방법들이 나왔는데 여전히 문제들이 있음
- 이런 문제들을 해결하기 위한 연구를 진행함

12:01
디퓨전 모델의 등장
- 디피션 모델이 ai 학계에서 주목을 받고 있음
- 디피션 모델이 기존에 있던 생산형 모델들 이후에 나온 건데 ai 학계에서 주목을 받는 이유는 사람 얼굴을 잘 만들어주기 때문임
- 디피션 모델이 가지고 있는 문제는 복잡한 신에 대해서는 잘 못 풀었음
- 디퓨전 모델이 주목을 받게 된 이유는 사람 얼굴을 리얼하게 그려주고 타조 같은 애들도 얼굴을 보면 망가지지 않고 잘 만들어주기 때문임

15:36
리버스 프로세스
- ai 모델이 리버스 프로세스를 잘 배운다면 노이즈로부터 리버스 프로세스에 해당하는 디피션 모델을 이용하면 원하는 이미지를 생성할 수 있음
- 리버스 프로세스에서 어떻게 수식을 전개를 하면 ca function이라는 게 나오는데 이것을 알아야만 revals 프로세스를 할 수 있음
- 스코어 펑션을 x를 주면 int x를 주면 스코어 function 값을 예측을 하도록 해서 학습한 s라는 sca model을 갈아끼우면 리버스 프로세스를 할 수 있음

19:10
텍스트와 이미지의 관계
- 학습하는 과정에서 데이터가 있고 트레이닝 셋이 있음
- 스코어 function에 해당하는 값을 리버스 과정에서 답을 알고 있는 셈임
- 답을 예측하도록 s 세터를 학습함
- 학습이 잘 되더라도 아무 이미지나 생성하는 게 아니라 어떤 소비자나 엔지니어가 텍스트를 주면 거기에 맞는 이미지를 생성하는 게 실질적으로 유용함
- 텍스트 2 이미지 테스크를 하고자 할 때는 텍스트가 일종의 컨디션이 됨

23:16
스코어 모델의 정의
- 프라는 분류 모델에 파라미터들을 거꾸로 된 세모가 미분함
- ai 모델을 학습시킬 때 얻는 그라디언트라는 의미임
- 직관적으로는 스코어 모델을 첫 번째로 포월드 리벌스 과정을 통해서 학습을 함
- 학습이 됐다면 스코어 모델만 가지면 타겟 데이터 디스트리뷰션에 맞는 이미지나 그런 것들을 랜덤으로 생성할 수 있음

24:52
원숭이 이미지 생성
- y라는 라벨을 예측하도록 학습된 애를 이용하면 생성 과정에서 스코어 모델이랑 아이 블루 모델의 합으로 원하는 원숭이 이미지가 생성이 됨
- 클래시피케이션 모델 자리에 리그레션 모델을 대신 넣으면 특정 점수가 맥시마이즈 제도 최대화되도록 하는 타겟이 생성됨

26:20
디피전 모델의 개념
- 생성형 ai로 모든 생성을 할 수 있음
- 원하는 타겟에 대해 스코어 모델을 학습시키는 거랑 가이드해주는 모델이 직관적으로 이 두 개를 알면 자기 모델에 맞게 가져다 쓸 수 있음
- 신약 개발이나 단백질 분자 발견하는데도 디피전 모델을 쓸 수 있음
- 아키텍처는 조건을 만족한 뉴럴 아키텍처를 생성하는 연구임
- 1단계로 스코어 모델을 fald reves 프로세스를 통해 학습을 하게 됨

30:58
ai의 신뢰성 있는 모델
- ai의 화두인 신뢰성 있는 모델을 만들기 위해 실험을 해본 결과 해당 목표에 굉장히 충실한 뉴럴 아키텍처를 생성하는 걸 확인할 수 있었음
- 뉴럴 아키텍처에 파라미터가 적게 들어간 뉴럴 아키텍처를 고르는 경향이 있었음

34:17
미국의 정규직
- 연구 주제를 선택할 때 가장 중요시 여긴 부분은 트렌드를 파악하는 것임
- 석사 과정 때는 교수님이나 멘토 분들이 하시는 것을 옆에서 배우는 것이 중요함
- 박사 과정 때는 인내심이 있어야 하고 연구 욕심이 있거나 커리어 욕심이 있으면 하면 좋음
- 미국은 정규직이라고 하더라도 안정성이 보장된 정규직이 아님