감정은 생각보다 똑똑한 나침반일지 모릅니다.

뇌 손상 환자를 보면 감정이 없으면 의사결정을 못 합니다. 감정은 진화가 뇌에 심어놓은 아주 효율적인 가치 함수(Value Function)일 가능성이 큽니다. 복잡한 계산 없이도 생존에 유리한 결정을 내리게 해주니까요. AI에게도 이런 단순하고 강력한 나침반이 필요할 수 있습니다.

뇌를 있는 그대로 베끼세요.

일리야는 연구할 때 항상 생물학적 뇌를 본다고합니다. 인공 뉴런도 뇌에서 왔고, 분산 표현(distributed representation)도 뇌에서 왔습니다. “뇌가 이렇게 작동하니 AI도 그래야 한다“는 직관은 틀린 적이 별로 없습니다. 복잡한 수식보다 생물학적 영감과 미학적 단순함이 더 강력한 가이드가 됩니다.

아름답지 않으면 틀린거다.

지난 몇 년은 “데이터 더 넣고, 컴퓨터 더 크게” 하면 해결되는 스케일링의 시대였습니다. 하지만 이제 그 약발이 떨어지고 있습니다. 100배 더 키운다고 세상이 100배 바뀌지는 않을 겁니다. 이제는 다시 진짜 아이디어로 승부하는 ‘연구(Research)’의 시대로 돌아가야 합니다.

무식하게 몸집만 키우기는 끝났다.

지난 몇 년은 “데이터 더 넣고, 컴퓨터 더 크게” 하면 해결되는 스케일링의 시대였습니다. 하지만 이제 그 약발이 떨어지고 있습니다. 100배 더 키운다고 세상이 100배 바뀌지는 않을 겁니다. 이제는 다시 진짜 아이디어로 승부하는 ‘연구(Research)’의 시대로 돌아가야 합니다.

달달 외우는 건 공부가 아닙니다.

지금의 AI 학습 방식(프리트레이닝)은 1만 시간 동안 기출문제만 달달 외운 수험생과 같습니다. 물론 시험은 잘 보겠지만, 그게 진짜 똑똑한 걸까요? 세상의 모든 텍스트를 다 보여줬는데도 뻔한 실수를 한다는 건, 근본적인 이해가 부족하다는 뜻입니다. 데이터 양으로만 밀어붙여서는 도달할 수 없는 영역이 있습니다.

본질을 궤뚫는 능력이 진짜입니다.

사람은 운전을 10시간이면 배우는데, AI는 수만 시간을 줘도 헤맵니다. 이 ‘샘플 효율성‘의 차이가 바로 진짜 지능과 가짜 지능의 차이입니다. 적은 데이터로 본질을 꿰뚫는 능력, 그것이 우리가 찾아야 할 ‘일반화(Generalization)’의 핵심입니다.

똑같은 놈 100명 있어봐야 소용없습니다.

일리야는 “자신을 100만 명 복제한다고 연구가 100만 배 잘 될까요?” 대답하며 절대 아니라 이야기합니다. 똑같은 생각을 하는 복제인간은 아무리 많아봐야 ‘수확 체감(Diminishing returns)’만 올 뿐, 가치가 늘어나지 않는다고요. 필요한 건 단순히 많은 지능이 아니라, 서로 ‘다르게 생각하는‘ 다양한 지성들이라고 이야기합니다.

출처: uxd.ewha.ac.kr