컴공과블로그

손실 함수는 비용함수(Cost Function)이라고도 불린다. 손실 함수는 '인공지능' 과목에 포함되는 Machine Learning 최적화의 기본 원리이며 기초적인 개념이다. 위의 그림은 일반적인 통계학적 모델의 형태로 Input이 들어오면 모델을 통해 Output이 산출되는 방식이다. 예측 값은 실제 값과 얼마나 유사한지 판단하는 기준이 필요한데 그게 Loss Function(손실 함수)이다. 예측 값과 실제 값의 차이를 Loss라고 하며, 이 Loss를 줄이는 방향으로 학습이 진행된다. 예를 들어보면 파란색 점이 가지고 있는 데이터라고 가정해보자. 데이터가 이렇게 분포되어있을 때, 파란색 점 전체를 잘 대변하는 직선은 어떤 것인가? 파란색 점 전체를 잘 대변하는 직선의 모습은 위의 그림에서 빨간 ..

인공지능(AI), 머신러닝(ML), 딥러닝(DL)은 모두 우리의 일상 생활과 업무 방식에 혁신적인 영향을 미칠 수 있는 기술로, 그들은 빠르게 진화하며 높은 잠재력을 갖고 있습니다. 이러한 용어들은 종종 혼용되어 사용되지만, 사실은 각각 명확하게 구별되는 특징과 기능을 가지고 있습니다. 이 글은 AI, ML, DL에 대한 종합적인 개요를 제공하고 독자들이 이러한 기술 간의 차이를 명확히 이해할 수 있도록 도와드리고자 합니다. AI, ML, DL의 관계 간단히 요약하면 다음과 같습니다. 인공지능(AI) > 머신러닝(ML) > 딥러닝(DL) 많은 사람들이 AI, ML, DL을 완전히 다른 기술이나 방법론으로 오해하고 있습니다. 실제로, AI는 가장 큰 범주를 나타내며, 그 안에 ML이 포함되며, ML 중에서..

Padding (패딩) 패딩은 합성곱 연산 전에 입력 데이터 주변에 특정 값을 채우는 것을 말한다. 예를 들자면 패딩이 1이라면 데이터 사방에 1픽셀을 특정한 값으로 채우는 것을 의미한다. 패딩은 주로 출력 데이터의 크기를 조정할 목적으로 사용한다. 예를 들어 (4, 4) 크기의 입력 데이터에 (3, 3) 크기의 필터를 적용하면 (2, 2) 크기의 데이터를 얻게된다. (stride가 무엇인지는 아래에서 설명하겠다.) 이를 반복할 경우 출력 크기가 1이 되어서 합성곱 연산을 할 수 없게 되기 때문에 패딩을 사용하여 데이터 크기를 유지한 채로 다음 layer에 데이터를 전달할 수 있다. Stride (스트라이드) 스트라이드는 필터를 적용하는 간격으로 패딩을 크게하게 되었을 때, 출력 데이터의 크기가 커지고,..

마이크로아키텍처 공격 연구를 위해 조사 중, 공격 대상을 AI를 타겟팅을 해보기로 해서, Machine Learning을 공부하며 기본상식(?)과 같은 내용을 남기고자 한다. Epoch Epoch는 훈련 데이터 셋에 포함된 모든 데이터들이 한 번씩 모델을 통과한 횟수를 말한다. 즉 모든 학습 데이터셋을 학습하는 횟수를 말한다. 만약 epoch가 10이라면, 학습 데이터 셋을 10회 모델에 학습시켰다는 것이다. 그렇다면 Batch는 무엇일까? Batch Batch는 영어로 "함께 묶다"라는 사전적 의미가 있다. Machine Learning 에서도 동일하다. Batch란 연산 한 번에 들어가는 데이터의 크기를 가리킨다. 또한 mini Batch란 단어가 나온다. mini batch는 1 Batch size..