Blockify reescreve o RAG para empresas: usa o IdeaBlock em vez de chunking, comprime 40 vezes e reduz o token em 3 vezes

A nova ferramenta de optimização de dados de IA para empresas, Blockify, foi organizada e promovida em 9 de Maio por akshay_pachaar, que afirma que, no processo de RAG (Retrieval-Augmented Generation), consegue comprimir as bases de dados das empresas 40 vezes, reduzir em 3 vezes o consumo de tokens nas consultas e aumentar em 2,3 vezes a precisão da pesquisa vectorial. Na explicação oficial do GitHub da Blockify: o produto é apresentado pela Iternal Technologies; usa unidades de conhecimento estruturadas da estrutura “IdeaBlock” para substituir o chunking tradicional e, através de deduplicação e fusão, mantém a base de conhecimento concisa, coerente e governável.

Conceito central: substituir o chunking tradicional por IdeaBlock

O desenho técnico da Blockify:

Abordagem tradicional: dividir documentos longos em chunks de tamanho fixo, incorporar vectores e, na recuperação, seleccionar top-k

Abordagem da Blockify: converter o conteúdo original em IdeaBlock — unidades de conhecimento estruturadas em XML

Cada IdeaBlock inclui: perguntas próprias, respostas fiáveis, tags, entidades e palavras-chave

IdeaBlocks semelhantes são deduplicados e fundidos automaticamente, pelo que a base de conhecimento não se expande à medida que o conteúdo cresce

O problema do chunking tradicional é que a mesma informação pode aparecer em vários chunks, gerando redundância na recuperação e desperdício de tokens; o IdeaBlock, através da deduplicação, aumenta a densidade de informação, expressando o mesmo conteúdo com um espaço de armazenamento menor.

Benefícios concretos: compressão 40 vezes, redução de tokens 3 vezes e aumento de precisão 2,3 vezes

Indicadores de benefícios concretos publicados pela Blockify:

Compressão de dados: a base de dados da empresa reduz-se para cerca de 2,5% do tamanho original (40 vezes de compressão), mantendo mais de 99% da informação

Tokens por consulta: de cerca de 303 (chunks tradicionais) para cerca de 98 (IdeaBlock) — eficiência 3,09 vezes maior

Precisão da pesquisa vectorial: aumento de 2,29 vezes

Melhoria global de precisão: cerca de 78 vezes (efeito combinado da deduplicação e das melhorias na recuperação)

Estimativa de poupança de custos: 100 milhões de consultas/ano, economizando cerca de 738 mil dólares em custos de tokens

Um aumento global de precisão de 78 vezes é um efeito combinado — a deduplicação reduz o ruído, o conteúdo estruturado do IdeaBlock é mais favorável à pesquisa vectorial, e a descida do número de tokens por resposta reduz simultaneamente o espaço para erros do modelo.

Âmbito de integração: LlamaIndex, LangChain, Milvus, Cloudflare e outras estruturas de referência

Ferramentas e infra-estruturas de base que a Blockify já integrou:

Frameworks RAG: LlamaIndex, LangChain

Gestão de conhecimento: Obsidian

Bases de dados vectoriais: Milvus, Elastic, Supabase

Computação de ponta: Cloudflare

Integração low-code: n8n (através de modelos de fluxos de trabalho)

A estratégia de integração da Blockify é “não substituir os frameworks RAG existentes, mas actuar como uma camada prévia de optimização de dados”. Os programadores podem substituir o passo de chunking por Blockify dentro de um fluxo já existente do LlamaIndex ou LangChain, mantendo o resto do processo inalterado.

Eventos concretos a acompanhar no futuro: crescimento do número de estrelas no GitHub da Blockify e taxa de adopção pela comunidade; se a Iternal Technologies vai pedir ou divulgar detalhes técnicos sobre a estrutura IdeaBlock (neste momento, promove “patented ingestion”); e se os frameworks RAG mais comuns vão incorporar uma lógica semelhante de deduplicação como função predefinida.

Este artigo, Blockify reescreve o RAG empresarial: usar IdeaBlock em vez de chunking, comprimir 40 vezes e reduzir tokens 3 vezes, surgiu primeiro em 鏈新聞 ABMedia.