Mais notíciasO ChatGPT tem impressionado tanto porque, além do estilo e da semântica, as técnicas em que se baseia têm muito mais a ver com a pragmática, afirma o brasileiro Victor Bursztyn, doutor em inteligência artificial pela Northwestern University (EUA). Em vídeo gravado especialmente para o TI Rio, ele explica um pouco dos caminhos e limitações dessas tecnologias. Diz, entre outras análises, que as perspectivas futuras do modelo de linguagem ainda dependem da forma como é treinada e da atenção a raciocínios contemplados nos treinamentos.
Os modelos empregados no ChatGPT, diz, ainda são relativamente fracos em questões numéricas e os números são tratados como se fossem palavras. Victor apresenta no vídeo as várias arquiteturas que já foram propostas até chegar à linguagem que está por trás do ChatGPT. São elas a Bert (2018) e T5 (2020) pelo Google; a GPT2 (2019) e GPT3 (2020) pela Open AI. Em comum que todas têm seus códigos abertos e com diferenças em alguns componentes de enconder e decoder. Enquanto um é mais ajustada às tarefas de compreensão de linguagem natural (enconder), o outro é mais ajustado a gerar a linguagem natural.
Destaques
Comentários
