Parallel Web Systems apresenta a API de Pesquisa: a pesquisa web mais precisa para agentes de IA

Resumido

Parallel Web Systems lançou a ferramenta de pesquisa web Parallel Search API para fornecer dados relevantes, melhorando a precisão, reduzindo custos e aumentando a eficiência dos fluxos de trabalho baseados em agentes.

A Parallel Web Systems, uma startup focada na criação de uma nova infraestrutura web adaptada para agentes de IA, lançou a Parallel Search API, uma ferramenta de pesquisa web especificamente desenhada para otimizar a entrega de dados web relevantes e eficientes em tokens, ao menor custo. Esta inovação visa fornecer respostas mais precisas, reduzir o número de viagens de ida e volta e diminuir custos para os agentes de IA.

Os motores de busca tradicionais são concebidos para utilizadores humanos. Classificam URLs assumindo que os utilizadores clicarão numa página, otimizando para buscas por palavras-chave, taxas de cliques e layouts de páginas destinados à navegação, tudo em milissegundos e com custos mínimos. A primeira geração de APIs de pesquisa baseadas em IA tentou adaptar este modelo centrado no humano para a IA, mas não abordou completamente as necessidades únicas dos agentes de IA.

Ao contrário dos utilizadores humanos, a pesquisa por IA requer uma abordagem diferente: em vez de classificar URLs para cliques humanos, o foco está em determinar os tokens mais relevantes para colocar na janela de contexto de um agente de IA, ajudando-o a completar uma tarefa. O objetivo não é otimizar o envolvimento humano, mas melhorar o raciocínio e a tomada de decisão dentro do modelo de IA.

Esta nova arquitetura de pesquisa inclui várias inovações-chave: utiliza objetivos semânticos que vão além da correspondência de palavras-chave para captar a intenção do agente, prioriza a relevância dos tokens em detrimento de métricas de páginas centradas no humano, fornece informações condensadas e de alta qualidade para raciocínio, e resolve consultas complexas com uma única chamada de pesquisa, em vez de múltiplos passos.

Ao adotar este design de pesquisa orientado para IA, os agentes podem aceder a tokens web mais densos em informação dentro da sua janela de contexto, levando a menos chamadas de pesquisa, maior precisão e custos e latência reduzidos.

Avançando na Pesquisa Web Complexa e Multi-Fonte para Agentes de IA

Embora muitos sistemas de pesquisa existentes se concentrem em respostas simples a perguntas, a necessidade de buscas mais complexas e multifacetadas deverá aumentar. Tanto utilizadores quanto agentes de IA precisarão de respostas que envolvam sintetizar informações de múltiplas fontes, raciocinar através de tarefas complexas e aceder a conteúdos web mais difíceis de alcançar.

Para responder a esta crescente procura, a Parallel avaliou o desempenho da sua API de Pesquisa em vários benchmarks, desde tarefas desafiantes de múltiplos passos (, por exemplo, BrowseComp), até consultas mais simples de um só passo (, como SimpleQA).

A Parallel demonstrou vantagem em consultas mais complexas—aquelas que abrangem múltiplos tópicos, requerem compreensão profunda de conteúdos difíceis de rastrear ou envolvem sintetizar informações dispersas. Em benchmarks destinados ao raciocínio de múltiplos passos, como HLE, BrowseComp, WebWalker, FRAMES e Batched SimpleQA, a Parallel não só entregou maior precisão, mas também resolveu as consultas de forma mais eficiente, usando menos passos de raciocínio.

APIs de pesquisa tradicionais tendem a exigir múltiplas buscas sequenciais, o que aumenta a latência, expande as janelas de contexto, inflaciona os custos em tokens e reduz a precisão. Em contraste, a abordagem da Parallel permite resolver consultas mais complexas numa única chamada de pesquisa, resultando em menos consultas sequenciais, melhor precisão, custos menores e menor latência.

Quando testada em benchmarks mais simples de um só passo, como SimpleQA, que envolvem perguntas factuais diretas, a Parallel continuou a ter bom desempenho, embora as melhorias de precisão sejam mais limitadas devido à natureza das perguntas.

A capacidade da Parallel de alcançar resultados de ponta resulta de dois anos de desenvolvimento de uma infraestrutura robusta para otimizar todas as camadas do processo de pesquisa, melhorando continuamente o desempenho através de ciclos de feedback. O sistema foca na indexação de conteúdos web difíceis de rastrear, como PDFs multimodais, longos e sites com muito JavaScript, minimizando o impacto nos proprietários dos sites. O índice web da Parallel é um dos de crescimento mais rápido, com mais de 1 bilhão de páginas atualizadas diariamente.

Para classificação, a Parallel adota uma abordagem diferente da pesquisa tradicional. Em vez de classificar URLs com base nas taxas de cliques humanas, concentra-se em identificar os tokens mais relevantes e autoritativos para o raciocínio de grandes modelos de linguagem (LLM). Os modelos proprietários da Parallel avaliam a relevância dos tokens, a autoridade da página e do domínio, a eficiência da janela de contexto e a validação cruzada de fontes, priorizando a qualidade em detrimento de métricas de envolvimento.

API de Pesquisa Parallel: Capacitando Sistemas de IA com Dados Web de Alta Qualidade e em Tempo Real

Hoje, os desenvolvedores mais avançados optam por construir e implementar sistemas de IA usando pesquisa alimentada pela Parallel. Estas organizações testaram várias alternativas e reconhecem que a qualidade dos dados web impacta diretamente as decisões tomadas pelos seus agentes de IA. Seja o agente de codificação do Sourcegraph Amp a resolver bugs, o Claygent a otimizar decisões de entrada no mercado (GTM), o Starbridge a descobrir RFPs governamentais ou uma seguradora líder a gerir sinistros de forma mais eficaz do que os subscritores humanos, o desempenho destes sistemas depende da precisão e relevância dos dados web em que se baseiam.

A API de Pesquisa da Parallel serve como infraestrutura central que suporta os seus Agentes Web. Por exemplo, a API de Tarefas da Parallel, que lida com consultas complexas de enriquecimento e pesquisa multi-steps, é construída sobre a API de Pesquisa. Cada consulta da API de Tarefas em produção depende da API de Pesquisa para funcionar perfeitamente nos bastidores.

Esta abordagem arquitetónica estabelece um padrão elevado para a Parallel, pois qualquer melhoria no desempenho, latência ou qualidade da pesquisa impacta diretamente os sistemas de produção que processam milhões de consultas diariamente. Cada ineficiência ou imprecisão na API de Pesquisa é imediatamente sentida nos produtos que dela dependem.

Assim, a infraestrutura da Parallel é continuamente aprimorada e testada sob as exigências do mundo real de cargas de trabalho baseadas em agentes. O segredo para uma conclusão eficaz de tarefas para um agente reside em maximizar o sinal enquanto se minimiza o ruído na sua janela de contexto. A API de Pesquisa da Parallel garante que os agentes recebam o contexto mais relevante e condensado da web, melhorando a sua capacidade de realizar tarefas com precisão e eficiência.