Encaminhar o Título Original: Mira: Trustless Verified AI
Alucinações: uma experiência que envolve a percepção aparente de algo que não está presente.
Andrej Karpathy chama a IA de "máquinas dos sonhos". Ele acredita que as alucinações – aqueles momentos em que a IA gera com confiança coisas que não são reais – são uma característica, não um bug. É inútil tentar eliminá-los completamente. E, honestamente, há algo de poético nisso.
Grandes modelos de linguagem (LLMs) são um artista, um criador. Sonha em código, gera ideias do nada e dá significado aos dados. Mas para a IA passar dos belos devaneios para aplicações práticas do dia a dia, devemos conter essas alucinações.
As taxas de erro para os LLMs continuam altas em muitas tarefas—muitas vezes rondando os 30%. Nesse nível, os LLMs ainda necessitam de intervenção humana para atingir um padrão de precisão utilizável.
Mas quando atingimos aquela elusiva precisão de 99.x% - onde as saídas são confiáveis sem supervisão humana - acontece magia. Esse é o limiar em que a IA alcança a confiabilidade ao nível humano, desbloqueando um universo infinito de casos de uso anteriormente fora de alcance.
Chegar a esse nível de precisão, no entanto, não é tarefa fácil. Exige um esforço de engenharia implacável e inovação.
A história de @Mira_Networkcomeça aqui. Mas antes de mergulharmos, vamos tirar um momento para falar sobre o desenvolvimento de LLM - e por que as verificações estão se tornando a próxima grande novidade em AI.
O desenvolvimento de LLM é a última iteração na jornada de deep learning — distinta das práticas tradicionais de desenvolvimento de software que aprimoramos ao longo dos últimos 50+ anos. LLMs, que existem há apenas cerca de três anos, viram completamente o jogo, passando de um pensamento determinístico (se X, então Y) para um raciocínio probabilístico (se X, então... talvez Y?).
Isto significa que a infraestrutura para um mundo orientado pela IA exige um conjunto inteiramente novo de ferramentas e fluxos de trabalho. No entanto, muitas dessas ferramentas ainda estão trancadas dentro dos laboratórios de pesquisa que criaram os LLMs.
A boa notícia é que essas ferramentas estão começando a se infiltrar no domínio público, abrindo um mundo de possibilidades para desenvolvedores em todos os lugares.
No final deste novo fluxo de trabalho está uma peça crítica do quebra-cabeça: avaliações & verificações. Hoje, nosso foco está em cima delas. Elas respondem a uma pergunta fundamental: A IA está funcionando bem?
A confiança é a base de qualquer grande produto de IA.
À medida que a IA se torna uma parte cada vez mais integral das nossas vidas, a própria tecnologia permanece frágil. Os erros acontecem e, quando acontecem, a confiança diminui rapidamente. Os utilizadores esperam que a IA seja precisa, imparcial e genuinamente útil, mas sem sistemas fiáveis em vigor para garantir isso, a frustração aumenta - e a frustração leva à rotatividade.
Aqui é onde as verificações entram em jogo.
As verificações atuam como uma salvaguarda. Elas são a camada de garantia de qualidade em que os desenvolvedores confiam para refinar as saídas e construir sistemas nos quais os usuários podem confiar.
A Mira está a enfrentar um problema central da Web2 com a transparência sem confiança da criptografia. Ao aproveitar uma rede descentralizada de nós verificadores, a Mira garante que as saídas de IA são verificadas com precisão e de forma independente.
Digamos que tenha um parágrafo de saída de um LLM sobre a cidade de Paris. Como verifica que é preciso? É difícil fazê-lo porque há tanta nuance em torno de tudo, desde reivindicações até a estrutura do conteúdo e o estilo de escrita.
Aqui é onde Mira entra.
A visão da Mira é audaciosa: criar uma rede de camada 1 que ofereça verificação confiável, escalável e precisa das saídas de IA. Ao aproveitar a sabedoria coletiva, a Mira reduz vieses e alucinações, resolvendo problemas centrais como justiça e custo, ao mesmo tempo em que prova como a blockchain pode realmente aprimorar a IA.
Fonte: Mira
Os resultados iniciais são promissores. Em um recenteestudo publicado no Arxiv, Mira demonstrou que o uso de vários modelos para gerar resultados e exigir consenso aumenta significativamente a precisão. A precisão atingiu 95,6% com três modelos, em comparação com 73,1% para a saída de um único modelo.
Dois elementos-chave de design impulsionam a abordagem da Mira:
As saídas geradas por IA variam de declarações simples a ensaios extensos, graças ao custo quase zero da geração de conteúdo. Mas essa abundância de complexidade cria um desafio: como garantir a precisão de tais saídas diversas?
A solução da Mira é simples: dividir em partes.
@Mira_Networktransforma conteúdo complexo gerado por IA em partes menores e digeríveis que os modelos de IA podem avaliar objetivamente em um processo chamado sharding.
Ao padronizar as saídas e dividi-las em reivindicações discretas e verificáveis, a Mira garante que cada peça possa ser avaliada de forma consistente, eliminando a ambiguidade que muitas vezes assola as avaliações.
Por exemplo, considere esta declaração composta:
A fotossíntese ocorre nas plantas para converter a luz solar em energia, e as abelhas desempenham um papel crítico na polinização ao transferir pólen entre flores.
À primeira vista, parece simples de verificar. No entanto, quando entregue a vários modelos, peculiaridades de interpretação podem levar a respostas diferentes. A transformação de conteúdo de Mira via shard resolve isso dividindo a declaração em dois pedidos independentes:
Uma vez fragmentada, cada alegação passa por binarização, onde é convertida em uma pergunta de múltipla escolha. Essas perguntas são distribuídas para uma rede de nós que executam modelos de IA. Usando o método de verificação de conjunto da Mira, os modelos colaboram para avaliar e confirmar a validade de cada alegação.
Atualmente, as capacidades de fragmentação de conteúdo e binarização da Mira estão focadas em entradas de texto. Até o início de 2025, esses processos se expandirão para suportar entradas multimodais, como imagens e vídeos
Mira desenvolveu um sistema avançado de verificação que combina as vantagens de vários modelos de IA para avaliar a qualidade das saídas de IA.
Vamos desempacotar isso.
As avaliações automatizadas tradicionais frequentemente dependem de um único modelo de linguagem grande (LLM), como o GPT-4, como o árbitro final da qualidade. Embora funcional, essa abordagem apresenta falhas significativas: é custosa, propensa a viés e limitada pelas peculiaridades e 'personalidade' inerentes aos modelos.
A inovação da Mira é uma mudança da dependência de um único modelo massivo para alavancar umconjunto de diversos LLMs. Este conjunto destaca-se em tarefas onde a precisão factual é mais importante do que o estilo criativo, reduzindo as taxas de erro e fornecendo verificações mais confiáveis e consistentes.
As técnicas de ensemble têm sido bem estudadas em tarefas de aprendizado de máquina como classificação, e a Mira agora está trazendo isso para verificação.
No centro do sistema da Mira está o Painel de verificadores LLM (PoLL) - uma rede colaborativa de modelos que trabalham juntos para verificar resultados. Pense nisso como um painel diversificado de especialistas dando sua opinião sobre uma decisão, em vez de deixá-la para um único juiz, potencialmente tendencioso.
E isto não é apenas um desejo fantástico - está fundamentado em pesquisa. Dê uma olhada no gráfico abaixo:
Um estudo de coesãopublicadoem abril de 2024, demonstrou que um painel de três modelos menores - GPT-3.5, Claude-3 Haiku e Command R - se alinhava mais de perto com as avaliações humanas do que o GPT-4 sozinho. Surpreendentemente, esse método de conjunto também era 7x mais barato.
A Mira está agora a colocar esta pesquisa em ação, implementando o seu método de verificação em conjunto em grande escala. Os resultados internos que eles compartilharam até agora são convincentes:
• As taxas de erro reduziram de 80% para 5% para tarefas de raciocínio complexas.
• 5x melhorias na velocidade e custo em comparação com a verificação humana.
Esta não é uma tarefa pequena. Ao empregar mecanismos de consenso, o diversificado conjunto de modelos da Mira filtra efetivamente as alucinações e equilibra os vieses individuais dos modelos. Juntos, eles entregam algo maior que a soma de suas partes: verificações mais rápidas, mais baratas e mais alinhadas com as nossas necessidades.
Para recapitular, o sistema de verificação da Mira é construído com base em dois princípios fundamentais de design:
Manter um conjunto diversificado de modelos é essencial para resultados de alta qualidade, tornando o design da Mira ideal para uma arquitetura descentralizada. Eliminar pontos únicos de falha é crucial para qualquer produto de verificação.
Mira utiliza uma abordagem baseada em blockchain para garantir que nenhuma entidade única possa manipular os resultados. A premissa é simples: as saídas geradas por IA devem ser verificadas da mesma forma que as alterações de estado do blockchain.
A verificação ocorre por meio de uma rede de nós independentes, com operadores economicamente incentivados a realizar verificações precisas. Ao alinhar as recompensas com a honestidade, o sistema da Mira desencoraja atores mal-intencionados e garante resultados confiáveis.
Aqui está como funciona:
A Mira garante a confidencialidade dos dados dividindo os dados de entrada em pequenos pedaços, garantindo que nenhum nó tenha acesso ao conjunto de dados completo.
Para segurança adicional, a Mira suporta níveis de privacidade dinâmicos, permitindo aos utilizadores ajustar o número de shards com base na sensibilidade dos dados. Embora níveis de privacidade mais elevados exijam mais sharding (e, portanto, custos mais elevados), eles oferecem confidencialidade adicional para utilizadores que lidam com informações sensíveis.
Cada verificação que um nó realiza é registrada na blockchain, criando um registro transparente e auditável do processo de verificação. Este livro-razão imutável garante confiança e responsabilidade que abordagens tradicionais não baseadas em blockchain não conseguem alcançar.
Isto estabelece um novo padrão para verificação de IA segura e imparcial.
Na rede descentralizada da Mira, o trabalho honesto é recompensado.
Especialistas podem implantar modelos de IA especializados por meio de software de nó e ganhar tokens para verificações precisas. Os desenvolvedores de IA, por sua vez, pagam taxas por verificação, criando um ciclo econômico auto-sustentável entre demanda e oferta.
Esta abordagem conecta valor real dos fluxos de trabalho da Web2 no ecossistema Web3, recompensando diretamente os participantes, como provedores de inferência e criadores de modelos.
Mas os incentivos vêm com desafios. Em qualquer sistema descentralizado, os atores mal-intencionados tentarão explorar a rede, enviando resultados falsos para ganhar recompensas sem fazer o trabalho.
Então, como podemos garantir que os nós estão realmente a desempenhar as suas tarefas com precisão e honestidade?
Para manter a integridade, a Mira utiliza a Prova de Verificação - um mecanismo inspirado no trabalho de prova do Bitcoin, mas projetado para a IA. Em vez de minerar blocos, os nós devem comprovar que concluíram tarefas de verificação para participar do processo de consenso.
Aqui está como funciona:
A prova de verificação cria um sistema equilibrado no qual os nós são economicamente motivados para realizar verificações de alta qualidade. Este mecanismo garante que a rede permanece segura e fiável ao longo do tempo.
Aqui está a questão: Se a abordagem da Mira é tão eficaz, por que não está toda a gente a fazê-lo?
A resposta reside nos compromissos e complexidades de implementar tal sistema no mundo real. Alcançar o equilíbrio perfeito entre avaliações rápidas e precisas e gerir as complexidades de múltiplos modelos não é tarefa fácil.
Um dos maiores obstáculos da Mira é a latência. Embora o uso de conjuntos de modelos permita que as verificações sejam executadas em paralelo, a sincronização dos resultados e a obtenção de consenso introduzem atrasos. O processo é tão rápido quanto o nó mais lento.
Atualmente, isso torna a Mira ideal para o processamento em lote de saídas de IA — casos de uso em que resultados em tempo real não são necessários. À medida que a rede cresce com mais nós e disponibilidade de computação, o objetivo a longo prazo é alcançar verificações em tempo real, expandindo a aplicabilidade da Mira para uma gama mais ampla de cenários.
Além da latência, outros desafios incluem:
Complexidade em Engenharia: Orquestrar avaliações em múltiplos modelos e garantir que o mecanismo de consenso opere suavemente exige um esforço significativo de engenharia.
Requisitos de computação mais elevados: Mesmo ao usar modelos menores, executá-los em conjunto em ensembles aumenta as exigências computacionais.
Bom Design de Mecanismo de Consenso: A forma como o consenso é alcançado - através de votação majoritária, pontuação ponderada ou outros métodos - desempenha um papel crítico na confiabilidade do sistema. Em casos ambíguos, os conjuntos podem ter dificuldade em se alinhar, levando a resultados inconsistentes.
Origem: Mira
A API da Mira integra-se facilmente com qualquer aplicação, semelhante ao GPT-4o da OpenAI. É independente do consumidor e das aplicações B2B, tornando-se uma solução versátil para vários casos de uso. Hoje, mais de uma dúzia de aplicações utilizam a infraestrutura da Mira.
Integrações do Consumidor
Do lado do consumidor, a Mira já está a alimentar a verificação de IA para várias aplicações de IA de estágio inicial:
Delphi Oracleé a integração mais recente e talvez mais avançada. Este assistente de pesquisa com IA permite @Delphi_Digitalmembros para se envolverem diretamente com o conteúdo de pesquisa, fazer perguntas, esclarecer pontos, integrar feeds de preços e ajustar o conteúdo para vários níveis de complexidade.
A Delphi Oracle aproveita a tecnologia de verificação da Mira Network para fornecer respostas confiáveis e precisas. Ao verificar as respostas em vários modelos, Mira reduz as taxas de alucinação de ~30% para menos de 5%, garantindo uma base sólida de confiança.
No centro do Delphi Oracle está um roteador de consulta de alto desempenho
Esse sistema de roteamento inteligente, combinado com cache inteligente, garante um desempenho ideal equilibrando latência, custo e qualidade.
Os testes da Mira revelaram que modelos menores e mais econômicos poderiam lidar com a maioria das consultas quase tão bem quanto os modelos maiores. Isso resultou em uma redução de 90% nos custos operacionais, mantendo ao mesmo tempo as respostas de alta qualidade que os usuários esperam.
Embora muitos desses aplicativos de consumo ainda estejam em estágio inicial, eles destacam a capacidade da Mira de integrar-se perfeitamente e dar suporte a grandes bases de usuários ativos. Não é difícil imaginar milhares de aplicativos se conectando ao ecossistema da Mira - desde que a experiência do desenvolvedor continue simples e a proposta de valor permaneça clara.
Aplicações B2B
No campo B2B, a Mira está a concentrar-se em integrações especializadas em setores onde a confiança e a precisão são primordiais, com um foco inicial na saúde e na educação.
As principais aplicações incluem:
O objetivo final do Mira é oferecer gerações verificadas nativamente, onde os usuários simplesmente se conectam por meio de uma API, assim como OpenAI ou Anthropic, e recebem saídas pré-verificadas antes de serem retornadas.
Eles pretendem substituir as APIs do modelo existente, fornecendo versões altamente confiáveis dos modelos existentes (por exemplo, Mira-Claude-3.5-Sonnet ou Mira-OpenAI-GPT-4o), melhorados com confiabilidade incorporada, baseada em consenso.
A IA generativa está num foguete. De acordo comBloomberg, o mercado deverá crescer a uma taxa de crescimento anual composta (CAGR) impressionante de 42%, com receitas superando $1 trilhão até 2030. Dentro dessa onda massiva, ferramentas que melhoram a velocidade, precisão e confiabilidade dos fluxos de trabalho de IA irão capturar uma fatia significativa.
À medida que mais empresas integram LLMs nos seus fluxos de trabalho - desde chatbots de apoio ao cliente até assistentes de pesquisa complexos - a necessidade de verificações de modelo robustas torna-se mais premente.
As organizações buscarão ferramentas que possam (1) medir a precisão e a confiabilidade do modelo, (2) diagnosticar ineficiências rápidas e de parâmetros, (3) monitorar continuamente o desempenho e o desvio e (4) garantir a conformidade com as estruturas regulatórias emergentes em torno da segurança da IA.
Soa familiar? É um livro de jogadas que já vimos antes com o MLOps (abreviação de "Operações de Aprendizado de Máquina"). À medida que o aprendizado de máquina se expandiu na década de 2010, ferramentas para implantar, rastrear e manter modelos se tornaram essenciais, criando um mercado de vários bilhões de dólares. Com o surgimento da IA generativa, o LLMOps está seguindo a mesma trajetória.
Capturar mesmo uma pequena fatia do mercado de trilhões de dólares poderia empurrar este sub-setor para mais de $100B até 2030.
Várias startups Web2 já se estão a posicionar, oferecendo ferramentas para anotar dados, afinar modelos e avaliar o desempenho:
• Braintrust (US$ 36 milhões arrecadados)
• Vellum AI (arrecadou $5M)
• Humanloop (levantou $2.8M)
Estes pioneiros estão a lançar as bases, mas o espaço é fluido. Em 2025, é provável que vejamos uma proliferação de startups neste setor. Alguns podem se especializar em métricas de avaliação de nicho (por exemplo, deteção de viés e testes de robustez), enquanto outros ampliam suas ofertas para cobrir todo o ciclo de vida de desenvolvimento de IA.
Incumbentes de tecnologia maiores, como grandes provedores de nuvem e plataformas de IA, provavelmente incluirão recursos de avaliação em suas ofertas. No mês passado,OpenAI introduziu avaliações diretamente na sua plataforma. Para se manterem competitivas, as startups devem se diferenciar por meio de especialização, facilidade de uso e análises avançadas.
A Mira não é um concorrente direto dessas startups ou incumbentes. Em vez disso, é um provedor de infraestrutura que se integra perfeitamente com ambos via APIs. A chave? Só precisa funcionar.
O tamanho inicial do mercado da Mira está ligado aos LLMOps, mas o seu mercado total endereçável irá expandir-se para toda a IA porque cada aplicação de IA necessitará de saídas mais confiáveis.
Do ponto de vista da teoria dos jogos, Mira está numa situação única. Ao contrário de outros fornecedores de modelos como a OpenAI, que estão presos ao suporte aos seus próprios sistemas, o Mira pode integrar-se entre modelos. Isso posiciona Mira como a camada de confiança para IA, oferecendo confiabilidade que nenhum provedor pode igualar.
A estrada do Mira de 2025 tem como objetivo equilibrar a integridade, escalabilidade e participação da comunidade no caminho para a plena descentralização:
Fase 1: Estabelecendo Confiança (Onde estamos hoje)
Na fase inicial, os operadores de nós verificados garantem a fiabilidade da rede. Fornecedores conhecidos de computação GPU servem como a primeira onda de operadores, lidando com operações iniciais e estabelecendo uma base sólida para o crescimento.
Fase 2: Descentralização Progressiva
A Mira introduz a duplicação projetada, onde várias instâncias do mesmo modelo verificador processam cada solicitação. Embora isso aumente os custos de verificação, é essencial para identificar e remover operadores maliciosos. Ao comparar as saídas entre os nós, os atores mal-intencionados são identificados precocemente.
Em sua forma madura, Mira implementará sharding aleatório para distribuir tarefas de verificação. Isso torna a colusão economicamente inviável e fortalece a resiliência e segurança da rede à medida que ela se expande.
Fase 3: Modelo de base sintética
Aqui, a Mira oferecerá gerações verificadas de forma nativa. Os utilizadores irão ligar-se através da API, semelhante à OpenAI ou Anthropic, e receber saídas pré-verificadas - resultados fiáveis e prontos a usar, sem validação adicional.
Nos próximos meses, a Mira está se preparando para vários marcos importantes:
Mira está a expandir as oportunidades de envolvimento da comunidade através da suaPrograma de Delegação de Nó. Esta iniciativa torna o apoio à rede acessível a todos — não é necessário nenhum conhecimento técnico.
O processo é simples: você pode alugar recursos de computação e delegá-los a um grupo selecionado de operadores de nós. As contribuições podem variar de $35 a $750 e recompensas são oferecidas para o suporte à rede. A Mira gerencia toda a infraestrutura complexa, para que os delegadores de nós possam relaxar, observar o crescimento da rede e aproveitar alguns benefícios.
Hoje, a Mira tem uma equipa pequena mas coesa, com um foco principalmente na engenharia.
Existem 3 co-fundadores:
Juntos, eles combinam habilidades de investimento, inovação técnica e liderança de produto para a visão da Mira de verificação de IA descentralizada. A Mira arrecadou $9M.rodada de investimento inicialem julho de 2024, liderado pela BITKRAFT e pela Framework Ventures.
É refrescante ver uma equipe de IA de criptografia abordando um problema fundamental da IA Web2 - tornar a IA melhor - em vez de jogar jogos especulativos na bolha da criptografia.
A indústria está acordando para a importância das verificações. Confiar em 'vibrações' não é mais suficiente. Cada aplicação e fluxo de trabalho de IA em breve precisará de um processo de verificação adequado - e não é um exagero imaginar que futuras regulamentações exijam esses processos para garantir a segurança.
A abordagem da Mira aproveita vários modelos para verificar independentemente as saídas, evitando a dependência de um único modelo centralizado. Este quadro descentralizado aumenta a confiança e reduz os riscos de viés e manipulação.
E vamos considerar o que acontece se chegarmos à AGI nos próximos anos (uma possibilidade real).
ComoAnand Iyer (@AIDa Canonical aponta, se a IA pode manipular sutilmente decisões e código, como podemos confiar nos sistemas que testam esses comportamentos? Pessoas inteligentes estão pensando à frente.Pesquisa da Anthropicdestaca a urgência, destacando as avaliações como uma ferramenta crítica para identificar capacidades de IA potencialmente perigosas antes que elas se transformem em problemas.
Ao permitir uma transparência radical, as blockchains adicionam uma camada poderosa de proteção contra sistemas de IA desonestos. Mecanismos de consenso sem confiança garantem que as avaliações de segurança sejam verificadas por milhares de nós independentes (como no Mira), reduzindo drasticamente o risco de ataques de Sybil.
Mira está perseguindo um enorme mercado com demanda clara por uma solução que funcione. Mas os desafios são reais. Melhorar a latência, a precisão e a eficiência de custos exigirá esforço e tempo de engenharia incansáveis. A equipa terá de demonstrar consistentemente que a sua abordagem é mensurável melhor do que as alternativas existentes.
A inovação central reside no processo de binarização e fragmentação da Mira. Este "segredo" promete resolver os desafios de escalabilidade e confiança. Para que a Mira tenha sucesso, esta tecnologia precisa cumprir a sua promessa.
Em qualquer rede descentralizada, o desenho de token e incentivo são fatores determinantes. O sucesso da Mira dependerá de quão bem esses mecanismos alinham os interesses dos participantes, mantendo a integridade da rede.
Embora os detalhes da tokenomics da Mira permaneçam em segredo, espero que a equipa revele mais à medida que o lançamento do token se aproxima no início de 2025.
“Descobrimos que as equipes de engenharia que implementam ótimas avaliações são significativamente mais rápidas - até 10 vezes mais rápidas - do que aquelas que apenas observam o que acontece na produção e tentam corrigir ad-hoc”, - Ankur Goyal, Braintrust
Num mundo impulsionado pela IA, a confiança é tudo.
À medida que os modelos se tornam mais complexos, verificações confiáveis sustentarão todos os grandes produtos de IA. Eles nos ajudam a lidar com alucinações, eliminar vieses e garantir que os resultados da IA estejam alinhados com as necessidades reais dos usuários.
A Mira automatiza verificações, reduzindo custos e dependência de intervenção humana. Isso permite iterações mais rápidas, ajustes em tempo real e soluções escaláveis sem gargalos.
Em última análise, a Mira tem como objetivo ser a API para a confiança - uma estrutura de verificação descentralizada na qual todos os desenvolvedores de IA e aplicativos podem depender para obter respostas verificadas.
É audaz, ambicioso e exatamente o que o mundo da IA precisa.
Obrigado por ler, Teng Yan
Encaminhar o Título Original: Mira: Trustless Verified AI
Alucinações: uma experiência que envolve a percepção aparente de algo que não está presente.
Andrej Karpathy chama a IA de "máquinas dos sonhos". Ele acredita que as alucinações – aqueles momentos em que a IA gera com confiança coisas que não são reais – são uma característica, não um bug. É inútil tentar eliminá-los completamente. E, honestamente, há algo de poético nisso.
Grandes modelos de linguagem (LLMs) são um artista, um criador. Sonha em código, gera ideias do nada e dá significado aos dados. Mas para a IA passar dos belos devaneios para aplicações práticas do dia a dia, devemos conter essas alucinações.
As taxas de erro para os LLMs continuam altas em muitas tarefas—muitas vezes rondando os 30%. Nesse nível, os LLMs ainda necessitam de intervenção humana para atingir um padrão de precisão utilizável.
Mas quando atingimos aquela elusiva precisão de 99.x% - onde as saídas são confiáveis sem supervisão humana - acontece magia. Esse é o limiar em que a IA alcança a confiabilidade ao nível humano, desbloqueando um universo infinito de casos de uso anteriormente fora de alcance.
Chegar a esse nível de precisão, no entanto, não é tarefa fácil. Exige um esforço de engenharia implacável e inovação.
A história de @Mira_Networkcomeça aqui. Mas antes de mergulharmos, vamos tirar um momento para falar sobre o desenvolvimento de LLM - e por que as verificações estão se tornando a próxima grande novidade em AI.
O desenvolvimento de LLM é a última iteração na jornada de deep learning — distinta das práticas tradicionais de desenvolvimento de software que aprimoramos ao longo dos últimos 50+ anos. LLMs, que existem há apenas cerca de três anos, viram completamente o jogo, passando de um pensamento determinístico (se X, então Y) para um raciocínio probabilístico (se X, então... talvez Y?).
Isto significa que a infraestrutura para um mundo orientado pela IA exige um conjunto inteiramente novo de ferramentas e fluxos de trabalho. No entanto, muitas dessas ferramentas ainda estão trancadas dentro dos laboratórios de pesquisa que criaram os LLMs.
A boa notícia é que essas ferramentas estão começando a se infiltrar no domínio público, abrindo um mundo de possibilidades para desenvolvedores em todos os lugares.
No final deste novo fluxo de trabalho está uma peça crítica do quebra-cabeça: avaliações & verificações. Hoje, nosso foco está em cima delas. Elas respondem a uma pergunta fundamental: A IA está funcionando bem?
A confiança é a base de qualquer grande produto de IA.
À medida que a IA se torna uma parte cada vez mais integral das nossas vidas, a própria tecnologia permanece frágil. Os erros acontecem e, quando acontecem, a confiança diminui rapidamente. Os utilizadores esperam que a IA seja precisa, imparcial e genuinamente útil, mas sem sistemas fiáveis em vigor para garantir isso, a frustração aumenta - e a frustração leva à rotatividade.
Aqui é onde as verificações entram em jogo.
As verificações atuam como uma salvaguarda. Elas são a camada de garantia de qualidade em que os desenvolvedores confiam para refinar as saídas e construir sistemas nos quais os usuários podem confiar.
A Mira está a enfrentar um problema central da Web2 com a transparência sem confiança da criptografia. Ao aproveitar uma rede descentralizada de nós verificadores, a Mira garante que as saídas de IA são verificadas com precisão e de forma independente.
Digamos que tenha um parágrafo de saída de um LLM sobre a cidade de Paris. Como verifica que é preciso? É difícil fazê-lo porque há tanta nuance em torno de tudo, desde reivindicações até a estrutura do conteúdo e o estilo de escrita.
Aqui é onde Mira entra.
A visão da Mira é audaciosa: criar uma rede de camada 1 que ofereça verificação confiável, escalável e precisa das saídas de IA. Ao aproveitar a sabedoria coletiva, a Mira reduz vieses e alucinações, resolvendo problemas centrais como justiça e custo, ao mesmo tempo em que prova como a blockchain pode realmente aprimorar a IA.
Fonte: Mira
Os resultados iniciais são promissores. Em um recenteestudo publicado no Arxiv, Mira demonstrou que o uso de vários modelos para gerar resultados e exigir consenso aumenta significativamente a precisão. A precisão atingiu 95,6% com três modelos, em comparação com 73,1% para a saída de um único modelo.
Dois elementos-chave de design impulsionam a abordagem da Mira:
As saídas geradas por IA variam de declarações simples a ensaios extensos, graças ao custo quase zero da geração de conteúdo. Mas essa abundância de complexidade cria um desafio: como garantir a precisão de tais saídas diversas?
A solução da Mira é simples: dividir em partes.
@Mira_Networktransforma conteúdo complexo gerado por IA em partes menores e digeríveis que os modelos de IA podem avaliar objetivamente em um processo chamado sharding.
Ao padronizar as saídas e dividi-las em reivindicações discretas e verificáveis, a Mira garante que cada peça possa ser avaliada de forma consistente, eliminando a ambiguidade que muitas vezes assola as avaliações.
Por exemplo, considere esta declaração composta:
A fotossíntese ocorre nas plantas para converter a luz solar em energia, e as abelhas desempenham um papel crítico na polinização ao transferir pólen entre flores.
À primeira vista, parece simples de verificar. No entanto, quando entregue a vários modelos, peculiaridades de interpretação podem levar a respostas diferentes. A transformação de conteúdo de Mira via shard resolve isso dividindo a declaração em dois pedidos independentes:
Uma vez fragmentada, cada alegação passa por binarização, onde é convertida em uma pergunta de múltipla escolha. Essas perguntas são distribuídas para uma rede de nós que executam modelos de IA. Usando o método de verificação de conjunto da Mira, os modelos colaboram para avaliar e confirmar a validade de cada alegação.
Atualmente, as capacidades de fragmentação de conteúdo e binarização da Mira estão focadas em entradas de texto. Até o início de 2025, esses processos se expandirão para suportar entradas multimodais, como imagens e vídeos
Mira desenvolveu um sistema avançado de verificação que combina as vantagens de vários modelos de IA para avaliar a qualidade das saídas de IA.
Vamos desempacotar isso.
As avaliações automatizadas tradicionais frequentemente dependem de um único modelo de linguagem grande (LLM), como o GPT-4, como o árbitro final da qualidade. Embora funcional, essa abordagem apresenta falhas significativas: é custosa, propensa a viés e limitada pelas peculiaridades e 'personalidade' inerentes aos modelos.
A inovação da Mira é uma mudança da dependência de um único modelo massivo para alavancar umconjunto de diversos LLMs. Este conjunto destaca-se em tarefas onde a precisão factual é mais importante do que o estilo criativo, reduzindo as taxas de erro e fornecendo verificações mais confiáveis e consistentes.
As técnicas de ensemble têm sido bem estudadas em tarefas de aprendizado de máquina como classificação, e a Mira agora está trazendo isso para verificação.
No centro do sistema da Mira está o Painel de verificadores LLM (PoLL) - uma rede colaborativa de modelos que trabalham juntos para verificar resultados. Pense nisso como um painel diversificado de especialistas dando sua opinião sobre uma decisão, em vez de deixá-la para um único juiz, potencialmente tendencioso.
E isto não é apenas um desejo fantástico - está fundamentado em pesquisa. Dê uma olhada no gráfico abaixo:
Um estudo de coesãopublicadoem abril de 2024, demonstrou que um painel de três modelos menores - GPT-3.5, Claude-3 Haiku e Command R - se alinhava mais de perto com as avaliações humanas do que o GPT-4 sozinho. Surpreendentemente, esse método de conjunto também era 7x mais barato.
A Mira está agora a colocar esta pesquisa em ação, implementando o seu método de verificação em conjunto em grande escala. Os resultados internos que eles compartilharam até agora são convincentes:
• As taxas de erro reduziram de 80% para 5% para tarefas de raciocínio complexas.
• 5x melhorias na velocidade e custo em comparação com a verificação humana.
Esta não é uma tarefa pequena. Ao empregar mecanismos de consenso, o diversificado conjunto de modelos da Mira filtra efetivamente as alucinações e equilibra os vieses individuais dos modelos. Juntos, eles entregam algo maior que a soma de suas partes: verificações mais rápidas, mais baratas e mais alinhadas com as nossas necessidades.
Para recapitular, o sistema de verificação da Mira é construído com base em dois princípios fundamentais de design:
Manter um conjunto diversificado de modelos é essencial para resultados de alta qualidade, tornando o design da Mira ideal para uma arquitetura descentralizada. Eliminar pontos únicos de falha é crucial para qualquer produto de verificação.
Mira utiliza uma abordagem baseada em blockchain para garantir que nenhuma entidade única possa manipular os resultados. A premissa é simples: as saídas geradas por IA devem ser verificadas da mesma forma que as alterações de estado do blockchain.
A verificação ocorre por meio de uma rede de nós independentes, com operadores economicamente incentivados a realizar verificações precisas. Ao alinhar as recompensas com a honestidade, o sistema da Mira desencoraja atores mal-intencionados e garante resultados confiáveis.
Aqui está como funciona:
A Mira garante a confidencialidade dos dados dividindo os dados de entrada em pequenos pedaços, garantindo que nenhum nó tenha acesso ao conjunto de dados completo.
Para segurança adicional, a Mira suporta níveis de privacidade dinâmicos, permitindo aos utilizadores ajustar o número de shards com base na sensibilidade dos dados. Embora níveis de privacidade mais elevados exijam mais sharding (e, portanto, custos mais elevados), eles oferecem confidencialidade adicional para utilizadores que lidam com informações sensíveis.
Cada verificação que um nó realiza é registrada na blockchain, criando um registro transparente e auditável do processo de verificação. Este livro-razão imutável garante confiança e responsabilidade que abordagens tradicionais não baseadas em blockchain não conseguem alcançar.
Isto estabelece um novo padrão para verificação de IA segura e imparcial.
Na rede descentralizada da Mira, o trabalho honesto é recompensado.
Especialistas podem implantar modelos de IA especializados por meio de software de nó e ganhar tokens para verificações precisas. Os desenvolvedores de IA, por sua vez, pagam taxas por verificação, criando um ciclo econômico auto-sustentável entre demanda e oferta.
Esta abordagem conecta valor real dos fluxos de trabalho da Web2 no ecossistema Web3, recompensando diretamente os participantes, como provedores de inferência e criadores de modelos.
Mas os incentivos vêm com desafios. Em qualquer sistema descentralizado, os atores mal-intencionados tentarão explorar a rede, enviando resultados falsos para ganhar recompensas sem fazer o trabalho.
Então, como podemos garantir que os nós estão realmente a desempenhar as suas tarefas com precisão e honestidade?
Para manter a integridade, a Mira utiliza a Prova de Verificação - um mecanismo inspirado no trabalho de prova do Bitcoin, mas projetado para a IA. Em vez de minerar blocos, os nós devem comprovar que concluíram tarefas de verificação para participar do processo de consenso.
Aqui está como funciona:
A prova de verificação cria um sistema equilibrado no qual os nós são economicamente motivados para realizar verificações de alta qualidade. Este mecanismo garante que a rede permanece segura e fiável ao longo do tempo.
Aqui está a questão: Se a abordagem da Mira é tão eficaz, por que não está toda a gente a fazê-lo?
A resposta reside nos compromissos e complexidades de implementar tal sistema no mundo real. Alcançar o equilíbrio perfeito entre avaliações rápidas e precisas e gerir as complexidades de múltiplos modelos não é tarefa fácil.
Um dos maiores obstáculos da Mira é a latência. Embora o uso de conjuntos de modelos permita que as verificações sejam executadas em paralelo, a sincronização dos resultados e a obtenção de consenso introduzem atrasos. O processo é tão rápido quanto o nó mais lento.
Atualmente, isso torna a Mira ideal para o processamento em lote de saídas de IA — casos de uso em que resultados em tempo real não são necessários. À medida que a rede cresce com mais nós e disponibilidade de computação, o objetivo a longo prazo é alcançar verificações em tempo real, expandindo a aplicabilidade da Mira para uma gama mais ampla de cenários.
Além da latência, outros desafios incluem:
Complexidade em Engenharia: Orquestrar avaliações em múltiplos modelos e garantir que o mecanismo de consenso opere suavemente exige um esforço significativo de engenharia.
Requisitos de computação mais elevados: Mesmo ao usar modelos menores, executá-los em conjunto em ensembles aumenta as exigências computacionais.
Bom Design de Mecanismo de Consenso: A forma como o consenso é alcançado - através de votação majoritária, pontuação ponderada ou outros métodos - desempenha um papel crítico na confiabilidade do sistema. Em casos ambíguos, os conjuntos podem ter dificuldade em se alinhar, levando a resultados inconsistentes.
Origem: Mira
A API da Mira integra-se facilmente com qualquer aplicação, semelhante ao GPT-4o da OpenAI. É independente do consumidor e das aplicações B2B, tornando-se uma solução versátil para vários casos de uso. Hoje, mais de uma dúzia de aplicações utilizam a infraestrutura da Mira.
Integrações do Consumidor
Do lado do consumidor, a Mira já está a alimentar a verificação de IA para várias aplicações de IA de estágio inicial:
Delphi Oracleé a integração mais recente e talvez mais avançada. Este assistente de pesquisa com IA permite @Delphi_Digitalmembros para se envolverem diretamente com o conteúdo de pesquisa, fazer perguntas, esclarecer pontos, integrar feeds de preços e ajustar o conteúdo para vários níveis de complexidade.
A Delphi Oracle aproveita a tecnologia de verificação da Mira Network para fornecer respostas confiáveis e precisas. Ao verificar as respostas em vários modelos, Mira reduz as taxas de alucinação de ~30% para menos de 5%, garantindo uma base sólida de confiança.
No centro do Delphi Oracle está um roteador de consulta de alto desempenho
Esse sistema de roteamento inteligente, combinado com cache inteligente, garante um desempenho ideal equilibrando latência, custo e qualidade.
Os testes da Mira revelaram que modelos menores e mais econômicos poderiam lidar com a maioria das consultas quase tão bem quanto os modelos maiores. Isso resultou em uma redução de 90% nos custos operacionais, mantendo ao mesmo tempo as respostas de alta qualidade que os usuários esperam.
Embora muitos desses aplicativos de consumo ainda estejam em estágio inicial, eles destacam a capacidade da Mira de integrar-se perfeitamente e dar suporte a grandes bases de usuários ativos. Não é difícil imaginar milhares de aplicativos se conectando ao ecossistema da Mira - desde que a experiência do desenvolvedor continue simples e a proposta de valor permaneça clara.
Aplicações B2B
No campo B2B, a Mira está a concentrar-se em integrações especializadas em setores onde a confiança e a precisão são primordiais, com um foco inicial na saúde e na educação.
As principais aplicações incluem:
O objetivo final do Mira é oferecer gerações verificadas nativamente, onde os usuários simplesmente se conectam por meio de uma API, assim como OpenAI ou Anthropic, e recebem saídas pré-verificadas antes de serem retornadas.
Eles pretendem substituir as APIs do modelo existente, fornecendo versões altamente confiáveis dos modelos existentes (por exemplo, Mira-Claude-3.5-Sonnet ou Mira-OpenAI-GPT-4o), melhorados com confiabilidade incorporada, baseada em consenso.
A IA generativa está num foguete. De acordo comBloomberg, o mercado deverá crescer a uma taxa de crescimento anual composta (CAGR) impressionante de 42%, com receitas superando $1 trilhão até 2030. Dentro dessa onda massiva, ferramentas que melhoram a velocidade, precisão e confiabilidade dos fluxos de trabalho de IA irão capturar uma fatia significativa.
À medida que mais empresas integram LLMs nos seus fluxos de trabalho - desde chatbots de apoio ao cliente até assistentes de pesquisa complexos - a necessidade de verificações de modelo robustas torna-se mais premente.
As organizações buscarão ferramentas que possam (1) medir a precisão e a confiabilidade do modelo, (2) diagnosticar ineficiências rápidas e de parâmetros, (3) monitorar continuamente o desempenho e o desvio e (4) garantir a conformidade com as estruturas regulatórias emergentes em torno da segurança da IA.
Soa familiar? É um livro de jogadas que já vimos antes com o MLOps (abreviação de "Operações de Aprendizado de Máquina"). À medida que o aprendizado de máquina se expandiu na década de 2010, ferramentas para implantar, rastrear e manter modelos se tornaram essenciais, criando um mercado de vários bilhões de dólares. Com o surgimento da IA generativa, o LLMOps está seguindo a mesma trajetória.
Capturar mesmo uma pequena fatia do mercado de trilhões de dólares poderia empurrar este sub-setor para mais de $100B até 2030.
Várias startups Web2 já se estão a posicionar, oferecendo ferramentas para anotar dados, afinar modelos e avaliar o desempenho:
• Braintrust (US$ 36 milhões arrecadados)
• Vellum AI (arrecadou $5M)
• Humanloop (levantou $2.8M)
Estes pioneiros estão a lançar as bases, mas o espaço é fluido. Em 2025, é provável que vejamos uma proliferação de startups neste setor. Alguns podem se especializar em métricas de avaliação de nicho (por exemplo, deteção de viés e testes de robustez), enquanto outros ampliam suas ofertas para cobrir todo o ciclo de vida de desenvolvimento de IA.
Incumbentes de tecnologia maiores, como grandes provedores de nuvem e plataformas de IA, provavelmente incluirão recursos de avaliação em suas ofertas. No mês passado,OpenAI introduziu avaliações diretamente na sua plataforma. Para se manterem competitivas, as startups devem se diferenciar por meio de especialização, facilidade de uso e análises avançadas.
A Mira não é um concorrente direto dessas startups ou incumbentes. Em vez disso, é um provedor de infraestrutura que se integra perfeitamente com ambos via APIs. A chave? Só precisa funcionar.
O tamanho inicial do mercado da Mira está ligado aos LLMOps, mas o seu mercado total endereçável irá expandir-se para toda a IA porque cada aplicação de IA necessitará de saídas mais confiáveis.
Do ponto de vista da teoria dos jogos, Mira está numa situação única. Ao contrário de outros fornecedores de modelos como a OpenAI, que estão presos ao suporte aos seus próprios sistemas, o Mira pode integrar-se entre modelos. Isso posiciona Mira como a camada de confiança para IA, oferecendo confiabilidade que nenhum provedor pode igualar.
A estrada do Mira de 2025 tem como objetivo equilibrar a integridade, escalabilidade e participação da comunidade no caminho para a plena descentralização:
Fase 1: Estabelecendo Confiança (Onde estamos hoje)
Na fase inicial, os operadores de nós verificados garantem a fiabilidade da rede. Fornecedores conhecidos de computação GPU servem como a primeira onda de operadores, lidando com operações iniciais e estabelecendo uma base sólida para o crescimento.
Fase 2: Descentralização Progressiva
A Mira introduz a duplicação projetada, onde várias instâncias do mesmo modelo verificador processam cada solicitação. Embora isso aumente os custos de verificação, é essencial para identificar e remover operadores maliciosos. Ao comparar as saídas entre os nós, os atores mal-intencionados são identificados precocemente.
Em sua forma madura, Mira implementará sharding aleatório para distribuir tarefas de verificação. Isso torna a colusão economicamente inviável e fortalece a resiliência e segurança da rede à medida que ela se expande.
Fase 3: Modelo de base sintética
Aqui, a Mira oferecerá gerações verificadas de forma nativa. Os utilizadores irão ligar-se através da API, semelhante à OpenAI ou Anthropic, e receber saídas pré-verificadas - resultados fiáveis e prontos a usar, sem validação adicional.
Nos próximos meses, a Mira está se preparando para vários marcos importantes:
Mira está a expandir as oportunidades de envolvimento da comunidade através da suaPrograma de Delegação de Nó. Esta iniciativa torna o apoio à rede acessível a todos — não é necessário nenhum conhecimento técnico.
O processo é simples: você pode alugar recursos de computação e delegá-los a um grupo selecionado de operadores de nós. As contribuições podem variar de $35 a $750 e recompensas são oferecidas para o suporte à rede. A Mira gerencia toda a infraestrutura complexa, para que os delegadores de nós possam relaxar, observar o crescimento da rede e aproveitar alguns benefícios.
Hoje, a Mira tem uma equipa pequena mas coesa, com um foco principalmente na engenharia.
Existem 3 co-fundadores:
Juntos, eles combinam habilidades de investimento, inovação técnica e liderança de produto para a visão da Mira de verificação de IA descentralizada. A Mira arrecadou $9M.rodada de investimento inicialem julho de 2024, liderado pela BITKRAFT e pela Framework Ventures.
É refrescante ver uma equipe de IA de criptografia abordando um problema fundamental da IA Web2 - tornar a IA melhor - em vez de jogar jogos especulativos na bolha da criptografia.
A indústria está acordando para a importância das verificações. Confiar em 'vibrações' não é mais suficiente. Cada aplicação e fluxo de trabalho de IA em breve precisará de um processo de verificação adequado - e não é um exagero imaginar que futuras regulamentações exijam esses processos para garantir a segurança.
A abordagem da Mira aproveita vários modelos para verificar independentemente as saídas, evitando a dependência de um único modelo centralizado. Este quadro descentralizado aumenta a confiança e reduz os riscos de viés e manipulação.
E vamos considerar o que acontece se chegarmos à AGI nos próximos anos (uma possibilidade real).
ComoAnand Iyer (@AIDa Canonical aponta, se a IA pode manipular sutilmente decisões e código, como podemos confiar nos sistemas que testam esses comportamentos? Pessoas inteligentes estão pensando à frente.Pesquisa da Anthropicdestaca a urgência, destacando as avaliações como uma ferramenta crítica para identificar capacidades de IA potencialmente perigosas antes que elas se transformem em problemas.
Ao permitir uma transparência radical, as blockchains adicionam uma camada poderosa de proteção contra sistemas de IA desonestos. Mecanismos de consenso sem confiança garantem que as avaliações de segurança sejam verificadas por milhares de nós independentes (como no Mira), reduzindo drasticamente o risco de ataques de Sybil.
Mira está perseguindo um enorme mercado com demanda clara por uma solução que funcione. Mas os desafios são reais. Melhorar a latência, a precisão e a eficiência de custos exigirá esforço e tempo de engenharia incansáveis. A equipa terá de demonstrar consistentemente que a sua abordagem é mensurável melhor do que as alternativas existentes.
A inovação central reside no processo de binarização e fragmentação da Mira. Este "segredo" promete resolver os desafios de escalabilidade e confiança. Para que a Mira tenha sucesso, esta tecnologia precisa cumprir a sua promessa.
Em qualquer rede descentralizada, o desenho de token e incentivo são fatores determinantes. O sucesso da Mira dependerá de quão bem esses mecanismos alinham os interesses dos participantes, mantendo a integridade da rede.
Embora os detalhes da tokenomics da Mira permaneçam em segredo, espero que a equipa revele mais à medida que o lançamento do token se aproxima no início de 2025.
“Descobrimos que as equipes de engenharia que implementam ótimas avaliações são significativamente mais rápidas - até 10 vezes mais rápidas - do que aquelas que apenas observam o que acontece na produção e tentam corrigir ad-hoc”, - Ankur Goyal, Braintrust
Num mundo impulsionado pela IA, a confiança é tudo.
À medida que os modelos se tornam mais complexos, verificações confiáveis sustentarão todos os grandes produtos de IA. Eles nos ajudam a lidar com alucinações, eliminar vieses e garantir que os resultados da IA estejam alinhados com as necessidades reais dos usuários.
A Mira automatiza verificações, reduzindo custos e dependência de intervenção humana. Isso permite iterações mais rápidas, ajustes em tempo real e soluções escaláveis sem gargalos.
Em última análise, a Mira tem como objetivo ser a API para a confiança - uma estrutura de verificação descentralizada na qual todos os desenvolvedores de IA e aplicativos podem depender para obter respostas verificadas.
É audaz, ambicioso e exatamente o que o mundo da IA precisa.
Obrigado por ler, Teng Yan