케라스 창시자에게 배우는 딥러닝

2주에 걸쳐서 생각보다 빨리 읽었다. 케라스는 현시점에서는 점점 묻혀가는 툴이 되어가고 있지만, 케라스를 만든 프랑소와 슐레의 이 책은 충분히 가치가 있다.

모든 것을 설명하려는 과욕을 부리지 않으며, 필요한 부분은 직관을 사용하여 명쾌하게 설명한다. 너무 지나치듯 설명하고 넘어가는 텍스트 모델들은 조금 아쉬움이 남지만 전체적으로 너무 좋았던 책이다.
 
이 책을 통해서 배운 것은
1.딥러닝은 표현(representation)을 바꾸는 일
2. 메니폴드 가설 -딥러닝이 효과 있는 이유
   :고차원의 세계는 저차원의 합
3. 딥러닝 학습과정
    :과소적합 ->파라미터 늘리기 ->과적합->적합
    :hold out/k fold/drop out 등 학습테크닉
4.시계열에 주로 사용되는 lstm, transformer 등의 구조는 결국 기억을  다루는 것
5.transformer 모형에 대한 이해
:self attention, multi head 등 이해
6.keras가 안쓰이는 이유는 서브클래싱/디버깅
7.cpu에서 더 강한 seperable cnn
8. pre-trained 모형 활용하여 모델을 수정하는 등의 응용방법

이 책의 아쉬운 점은
1.예제가 keras라는 한계
2.sequence model,gan 등 11~ 12장에서 일부 모형에 대한 지나치게 간결한 설명
 
머신러닝의 미래에 대한 저자의 견해
현 시점의 딥러닝은 인간이 가진 구조적/추상적 사고에 비해 한계가 뚜렷함. 인간이 다른 지식과 종합적으로 연계하여 새로운 정보를 창출(생성형 기술?)하는 능력은 모방하기 어려우며 여전히 나아가야 할 과제임. 현재의 머신러닝은 주위 환경에 반응하는 아메바의 특징과 비슷한 상태. 서로 많은 많은 정보들을 조합하여 새로움으로 나아갈 수 있으려면 아직 많은 단계가 남아있음

결론
아쉬운 점보다 좋았던 점이 엄청나게 많다는 걸 정리하다 보니 더욱 느끼게 된다. 쓰지도 않는 keras라고, 이 책을 그냥 지나치는 머신러닝 연구자는 큰 손해를 보는 것이다.