Epitalon está entre os temas em que os detalhes importam mais que as manchetes. Esta página reúne contexto, mecanismos e os pontos práticos mais consultados.
Última revisão em 2025-11-16. Quando uma afirmação depende de um estudo específico, o estudo é descrito em vez de superinterpretado.
Para descobrir quais tokens são relevantes uns para os outros dentro do escopo da janela de contexto, o mecanismo de atenção calcula pesos "suaves" (soft weights) para cada token, mais precisamente para o seu embedding, usando múltiplas cabeças de atenção, cada uma com sua própria "relevância" para calcular seus próprios pesos suaves. Por exemplo, o modelo pequeno do GPT-2 (ou seja, com tamanho de 117 milhões de parâmetros) tinha doze cabeças de atenção e uma janela de contexto de apenas 1k tokens. Em sua versão média, ele tem 345 milhões de parâmetros e contém 24 camadas, cada uma com 12 cabeças de atenção. Para o treinamento com gradiente descendente, foi utilizado um tamanho de lote (batch size) de 512. Modelos autorregressivos, como os GPTs, são treinados para adivinhar como uma sequência continua; por exemplo, se a sequência de palavras "Eu gosto de comer" tem maior probabilidade de ser seguida pela palavra "pão" ou pela palavra "pedras". Modelos mascarados (semelhante ao teste de Cloze), como o BERT, são treinados para adivinhar partes que estão faltando em uma sequência, como, por exemplo, se a palavra ausente em "Eu gosto de ___ rosas" tem mais probabilidade de ser a palavra "cheirar" ou a palavra "comer". As previsões do modelo baseiam-se nas propriedades das sequências em seu conjunto de dados de treinamento.
Fontes: pt.wikipedia.org
Uma mistura de especialistas (do inglês mixture of experts - MoE) é uma arquitetura de aprendizado de máquina na qual múltiplas redes neurais especializadas ("especialistas") trabalham juntas, com um mecanismo de seleção (gating) que roteia cada entrada para o(s) especialista(s) mais apropriado(s). Misturas de especialistas podem reduzir os custos de inferência, pois apenas uma fração dos parâmetros é usada para cada entrada. A abordagem foi introduzida em 2017 por pesquisadores do Google.
Fontes: pt.wikipedia.org
=== Tamanho dos parâmetros === Normalmente, os LLMs são treinados com números de ponto flutuante de precisão simples ou meia precisão (float32 e float16). Um float16 tem 16 bits, ou 2 bytes, e assim um bilhão de parâmetros requer 2 gigabytes. Os maiores modelos costumam ter mais de 100 bilhões de parâmetros, o que os coloca fora do alcance da maioria dos dispositivos eletrônicos de consumo.
Fontes: pt.wikipedia.org
==== Quantização ==== A quantização pós-treinamento visa diminuir o requisito de espaço reduzindo a precisão dos parâmetros de um modelo treinado, preservando a maior parte de seu desempenho. A quantização pode ser classificada ainda como quantização estática se os parâmetros de quantização forem determinados de antemão (normalmente durante uma fase de calibração), e quantização dinâmica se a quantização for aplicada durante a inferência. A forma mais simples de quantização simplesmente trunca todos os parâmetros para um determinado número de bits: isso é aplicável tanto à quantização estática quanto à dinâmica, mas perde muita precisão. A quantização dinâmica permite o uso de um codebook de quantização diferente por camada, seja uma tabela de pesquisa (lookup table) de valores ou um mapeamento linear (fator de escala e viés), ao custo de abrir mão das possíveis melhorias de velocidade pelo uso de aritmética de menor precisão.[carece de fontes]? Modelos quantizados são normalmente vistos como congelados, com a modificação de pesos (por exemplo, ajuste fino) aplicada apenas ao modelo original. É possível ajustar modelos quantizados usando a adaptação de baixo posto (low-rank adaptation - LoRA).
Fontes: pt.wikipedia.org
Epitalon é resumido aqui a partir de literatura pública: definição, contexto e pontos recorrentes na prática. Informação geral, não aconselhamento médico.
A pesquisa sobre Epitalon apoia-se sobretudo em estudos de laboratório e modelos animais; dados clínicos variam conforme a substância.
Pureza e análise (HPLC, espectrometria de massa), reconstituição correta e armazenamento adequado são decisivos.%!(EXTRA string=Epitalon)
Nem todos os mecanismos estão demonstrados e um estudo isolado não é evidência global. As questões abertas são sinalizadas.%!(EXTRA string=Epitalon)