728x90 확률적2 큰 수의 법칙과 확률적 수렴 의미 큰 수의 법칙(Law of Large Numbers, LLN)은 확률론과 통계학에서 중요한 개념으로, 무작위 실험을 반복할수록 표본 평균이 모평균에 점점 가까워짐을 설명합니다. 이는 확률적 수렴이라는 개념과 밀접하게 연관되어 있으며, 통계적 추론과 실생활의 다양한 데이터 분석에서 핵심적인 역할을 합니다. 이번 글에서는 큰 수의 법칙의 정의와 유형, 확률적 수렴의 개념, 두 개념 간의 관계를 수학적 설명과 함께 살펴보겠습니다.큰 수의 법칙(Law of Large Numbers)의 정의큰 수의 법칙은 무작위 변수의 표본 평균이 표본의 크기가 증가함에 따라 그 변수의 기댓값(모평균)에 수렴한다는 것을 말합니다. 즉, 충분히 많은 관측값을 수집할수록 표본 평균이 모평균과 거의 일치하게 됩니다.수학적으로, 서로 .. 2025. 3. 4. 확률적 경사하강법(SGD): 빅데이터 학습의 수식 확률적 경사하강법(SGD, Stochastic Gradient Descent)은 대규모 데이터셋을 학습할 때 널리 사용되는 최적화 알고리즘입니다. 경사하강법(Gradient Descent)의 변형인 확률적 경사하강법은 매 반복마다 전체 데이터가 아닌, 무작위로 선택된 일부 데이터(미니배치 또는 한 개의 샘플)를 사용하여 가중치를 업데이트하는 방식입니다. 이는 대규모 데이터셋에서 효율적으로 학습을 진행할 수 있게 해 주며, 특히 빅데이터 학습에 유용합니다. 이 글에서는 확률적 경사하강법의 수식과 구체적인 작동 원리를 살펴보겠습니다.1. 경사하강법의 기본 수식경사하강법(Gradient Descent)은 전체 데이터셋을 사용하여 손실 함수의 기울기를 계산하고, 가중치를 기울기가 낮은 방향으로 조금씩 이동시키는.. 2024. 11. 3. 이전 1 다음 728x90
