Documentación detallada de los métodos de la clase Transformer - FiveTechSoft/transformer GitHub Wiki

Documentación detallada de los métodos de la clase Transformer

Métodos Exportados

Método Parámetros Retorno Descripción
New nHeads: EnteronModelDim: EnteronFeedForwardDim: EnteronMaxSeqLength: EnteronLayers: Entero Objeto Transformer Constructor de la clase Transformer.
Forward aInput: Array Array Realiza la propagación hacia adelante del transformer.
Backward aOutputGradient: ArraynLearningRate: Flotante Ninguno Realiza la retropropagación y actualiza los parámetros del modelo.
Encode aInput: Array Array Codifica la entrada utilizando la parte del codificador del transformer.
Decode aInput: ArrayaEncoderOutput: Array Array Decodifica la entrada utilizando la parte del decodificador del transformer.

Métodos Protegidos

Método Parámetros Retorno Descripción
InitializeParameters Ninguno Ninguno Inicializa todos los parámetros del modelo.
GeneratePositionalEncoding Ninguno Array Genera la codificación posicional para las secuencias.
GenerateWeights nInputDim: EnteronOutputDim: EnterocType: Cadena Array Genera matrices de pesos inicializados.
MultiHeadAttention aQuery: ArrayaKey: ArrayaValue: Array Array Implementa el mecanismo de atención multi-cabeza.
FeedForward aInput: Array Array Implementa la capa feed-forward del transformer.
LayerNorm aInput: Array Array Aplica la normalización de capa.
PositionalEncoding aInput: Array Array Aplica la codificación posicional a la entrada.
DotProductAttention aQuery: ArrayaKey: ArrayaValue: Array Array Implementa la atención de producto punto escalado.
LinearProjection aInput: ArraynOutputDim: EnterocType: Cadena Array Realiza una proyección lineal de la entrada.
ConcatenateHeads aHeadOutputs: Array Array Concatena las salidas de las múltiples cabezas de atención.
SoftMax aVector: Array Array Aplica la función softmax a un vector.
MatMul aMatrix1: ArrayaMatrix2: Array Array Realiza la multiplicación de matrices.
Transpose aMatrix: Array Array Transpone una matriz.
ElementWiseAddition aMatrix1: ArrayaMatrix2: Array Array Realiza la suma elemento a elemento de dos matrices.
ElementWiseMultiplication aMatrix1: ArrayaMatrix2: Array Array Realiza la multiplicación elemento a elemento de dos matrices.
ReLU aInput: Array Array Aplica la función de activación ReLU.
BackwardEncode aGradient: Array Array Retropropaga el gradiente a través del codificador.
BackwardMultiHeadAttention aInputGradient: ArrayaQuery: ArrayaKey: ArrayaValue: Array Array Retropropaga el gradiente a través de la atención multi-cabeza.
BackwardFeedForward aInputGradient: ArrayaInput: Array Array Retropropaga el gradiente a través de la capa feed-forward.
BackwardLayerNorm aInputGradient: ArrayaInput: Array Array Retropropaga el gradiente a través de la normalización de capa.
UpdateParameters nLearningRate: Flotante Ninguno Actualiza los parámetros del modelo usando los gradientes.
Mean aVector: Array Flotante Calcula la media de un vector.
Variance aVector: ArraynMean: Flotante Flotante Calcula la varianza de un vector.
AssertValidMatrix aMatrix: ArraycMethodName: Cadena Ninguno Verifica que una matriz sea válida para operaciones.