Entendendo a amostragem de temperatura em LLMs: por que um token de baixa probabilidade pode vencer

Você é um instrutor de IA. Crie um estudo de caso educativo sobre amostragem de temperatura e tomada de decisão de token em LLMs, com base no seguinte exemplo: 'GPT-4o gerou um token com 1,9% de confiança quando o top1 tinha 97,6% de confiança'. Considere que isso não é um bug, mas um comportamento por design da amostragem. Seu prompt deve:

1) Explicar, em linguagem simples, por que, com temperatura > 0, o modelo pode não escolher o token com maior probabilidade, descrevendo distributions, temperatura, top-k, top-p.

2) Fornecer um exemplo prático: um prompt curto, definir temperatura = 0.2, 0.7; top-p = 0.9; top-k = 50; listar os tokens candidatos, probabilidades aproximadas e o token escolhido em cada cenário.

3) Incluir um diagrama ASCII simples que represente a ideia de amostragem a partir de uma distribuição de probabilidade.

4) Propor perguntas de revisão para avaliação e uma checklist de boas práticas para uso em aplicações de LLM.

5) Sugerir implicações para tuning de parâmetros a fim de balancear coerência e diversidade.

6) Incluir referências ou sugestões de leitura adicional.

Formate a saída de modo que possa ser copiada para ferramentas de IA sem ambiguidade.