Modelo "Strawberry" O1 da OpenAI: Um Salto Revolucionário em Habilidade de Raciocínio
Em 12 de setembro, a OpenAI lançou inesperadamente seu aguardado modelo "Strawberry", marcando a primeira versão de sua nova linha de modelos de raciocínio, chamada O1. Atualmente, as versões O1 preview (o1-preview) e mini (o1-mini) estão disponíveis para assinantes do ChatGPT Plus e Team, enquanto usuários de Enterprise e Edu terão acesso no início da próxima semana. A OpenAI também planeja, eventualmente, oferecer o O1-mini a todos os usuários gratuitos, embora uma data específica ainda não tenha sido confirmada.
De acordo com a OpenAI, o modelo O1 aborda a resolução de problemas de maneira semelhante ao raciocínio humano, destacando-se em tarefas de matemática, programação e ciências. Para avaliar as capacidades do modelo o1-preview, um jornalista do Daily Economic News realizou testes em cinco dimensões: o Teste Strawberry, programação, criação de mini-jogos, matemática e economia, e conhecimento factual. Os resultados mostraram que o o1-preview superou os modelos anteriores da OpenAI em programação e raciocínio matemático, gerando códigos funcionalmente eficientes e derivando soluções de forma autônoma em cenários complexos. Além disso, o o1-preview apresentou um estilo de raciocínio humano significativamente aprimorado, embora seu desempenho em avaliações de conhecimento factual tenha sido inferior.
Capacidades de Raciocínio do O1
O modelo O1 representa um avanço significativo da OpenAI em direção à criação de uma IA que imita o raciocínio humano. A OpenAI decidiu abandonar completamente a marca "GPT" com este modelo, que incorpora uma capacidade fundamentalmente nova. Ele aborda sistematicamente problemas por meio de etapas discretas que imitam o raciocínio humano.
Jakub Pachocki, cientista-chefe da OpenAI, observou que o O1 adota uma abordagem mais cautelosa ao enfrentar perguntas, analisando e desconstruindo questões para fornecer respostas aprimoradas, refletindo os processos de pensamento humano. Em programação competitiva e matemática, o O1 se destacou entre os melhores, com precisão em benchmarks físicos, biológicos e químicos superando até mesmo a de doutores.
Resultados Testes Abrangentes
1. Teste Strawberry
O jornalista testou a simples pergunta: "Quantas letras 'r' há na palavra 'strawberry'?" O O1-preview forneceu uma resposta surpreendentemente precisa, superando modelos anteriores.
2. Programação
Em tarefas de programação, ao ser apresentado ao clássico problema "Two Sum", o o1-preview apresentou um processo de raciocínio detalhado juntamente com a solução. Ao ser solicitado a otimizar a resposta, o O1 levou nove segundos para confirmar que havia fornecido a solução ideal e sugeriu de forma ponderada uma variante subótima.
3. Criação de Mini-Jogos
Durante o teste de criação de mini-jogos, o o1-preview gerou o código do jogo Pong funcionado sem erros em 19 segundos, completo com um guia de aprendizado e comentários motivacionais. Ao ser encarregado de criar um jogo mais complexo, o O1 iterou para produzir um jogo de salto envolvente, demonstrando suas habilidades de raciocínio inovadoras.
4. Testes Científicos
Nos testes de matemática e economia, o o1-preview ofereceu insights fundamentais para problemas conhecidos, como a equação de Euler, mantendo uma lógica clara. Para consultas sobre sistemas econômicos complexos, o O1 apresentou um pensamento multidimensional e soluções variadas.
5. Conhecimento Factual
Em aplicações de conhecimento factual, o o1-preview interpretou erroneamente consultas simples, confundindo informações trivia com eventos históricos reais, enquanto o GPT-4o apresentou um desempenho superior nesta área.
Conclusão
Em resumo, a afirmação da OpenAI de que o modelo O1 se aproxima do raciocínio em nível humano não é exagero. Seus processos de pensamento revelam um uso da linguagem mais semelhante ao humano, embora a OpenAI reconheça que suas capacidades de design e manipulação de texto ainda estão aquém das do GPT-4o. Embora o O1 se destaque em vários aspectos, ele ainda apresenta flutuações de desempenho ao lidar com solicitações simples. A OpenAI indicou que futuras atualizações abordarão essas deficiências, ressaltando que esta é apenas a fase inicial do modelo de raciocínio.
Classificação
