대부분의 기계학습처럼, Caffe에서도 학습은 (에러, 비용 혹은 목적함수라고도 알려진)손실함수에 의해서 이루어진다. 손실함수는 이러한 파라미터 설정의 "나쁨"을 명시하는 스칼라 값에 파라미터 세팅을 맵핑함에 의해 학습의 목표를 명시한다. 그러므로 학습의 목표는 손실함수를 최소화는 가중치의 설정을 찾는 것이다.

Caffe에서 손실은 네트워크의 정방향 과정을 계산해서 얻어진다. 각 계층은 입력 blobs의 덩어리를 받아 출력 blobs의 덩어리를 생성한다. 이러한 몇몇 계층의 출력은 손실함수에서 사용되어질 수도 있다. 모든 분류화 업무에 대응하는 하나에 대한 손실함수의 일반적인 선택은 네트워크 선언 다음으로 따라오는 것으로서 사용되는 SoftmaxWithLoss 함수이다. 예를들면

layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "pred"
  bottom: "label"
  top: "loss"
}

SoftmaxWithLoss 함수에서 출력 blob는 전체 최소 일회 처리량에 대하여 예측된 라벨들 pred와 실제 라벨들인 label로부터 평균 손실을 계산하는 스칼라 (빈 모양)이다.

** 손실 가중치 (Loss Weight) SoftmaxWithLoss 계층을 사용해서 입력을 분류하는것과 유클리디안손실(EuclideanLoss) 계층을 사용해서 입력을 재구성하는 양쪽 모두를 수행하는 네트워크 같이 손실을 생산하는 다중 계층으로 이루어진 네트워크에 대하여 손실 가중치는 그들의 상대적 중요도를 명시해줄 수 있다.

사용자 정의에 의해, 접미 손실(suffix loss)을 가진 Caffe 계층 타입은 손실함수에 기여하지만 다른 계층들은 오직 계산 중간에서 사용되는 것으로 가정된다. 하지만, 계층에의해 생산된 각 출력 bolb에 대하여 레이어 정의에 추가하는 것처럼, 층은 필드 loss_weight를 추가함으로서 손실로 사용될 수 있다. 접미 손실을 가진 계층은 첫 출력 blob에 대하여(추가적인 어떠한 출력들에 대해서는 loss_weight: 0) 암시된 loss_weight: 1을 가지고 있다. 다른 계층들은 모든 출력들에 대하여 암묵적 loss_weight: 0을 지닌다. 그래서, 위의 SoftmaxWithLoss 계층은 다음과 같이 쓰여지곤한다.

layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "pred"
  bottom: "label"
  top: "loss"
  loss_weight: 1
}   

하지만 Back-Propagate가 가능한 어떤 계층은 0이 아닌 loss_weight를 받을 수도 있다. 예를들어 원한다면 네트워크의 몇몇의 중간쪽 계층(들)에 activation을 허가하는 것을 허락하는 것이 생성된다. 0이 아닌 손실과 연관되어 있는 단일개체가 아닌 출력들 때문에, 손실은 blob의 모든 내용을 다 더하는 것으로 간단히 계산된다.
그러면 Caffe에서 최종손실은 다음과 같은 유사코드처럼 네트워크에 대한 전체 가중화된 손실(total weighted loss)을 총합하는 것으로 계산된다.

loss := 0
for layer in layers:
  for top, loss_weight in layer.tops, layer.loss_weights:
    loss += loss_weight * sum(top)