Voltar para todos os projetos

Ciência de Dados & Estatística 100% Solo — Desenvolvimento em Go Puro, Consumo Concorrente de APIs & Banco de Dados

QEdu Analytics Engine: Microsserviço em Go para Indicadores Públicos

Microsserviço de alta velocidade em Go para extração massiva, agregação e análise de métricas educacionais públicas.

API Docker Go (Golang) SQL / PostgreSQL

Go Puro (Nativo)

Tecnologia

< 30 MB

Consumo de RAM

Goroutines Concorrentes

Paralelismo

Visão Geral da Solução

### Visão Geral & Performance em Go O **QEdu Analytics Engine** foi construído com o objetivo de demonstrar a eficiência da linguagem Go para tarefas de coleta de dados e processamento de backend com baixo consumo de memória: 1. **Coleta Concorrente com Goroutines**: Extração simultânea de dezenas de endpoints municipais e escolares da API QEdu, respeitando limites de requisição e tratando retentativas com backoff exponencial. 2. **Agregação e Normalização em Memória**: Estruturas de dados tipadas em Go para cálculo rápido de médias ponderadas de proficiência (Saeb/Ideb). 3. **Persistência Otimizada em PostgreSQL**: Inserções em lote (`batch inserts`) para máxima eficiência de I/O de disco.

O Desafio

Coletar e consolidar milhares de registros de indicadores públicos de ensino via APIs paginadas em linguagens interpretadas tradicionais pode levar horas de processamento.

Arquitetura Técnica

Binário compilado autônomo em Go com driver nativo `lib/pq` para PostgreSQL e conexão com a API REST QEdu.

Diferenciais & Engenharia Aplicada

Uso de concorrência com goroutines e canais para download de dados em paralelo.
Consumo de memória extremamente reduzido (< 30 MB em execução total).
Modelagem de dados normalizada pronta para consultas analíticas em BI.

Ficha do Projeto

Categoria: Ciência de Dados & Estatística

Autoria & Papel: 100% Solo — Desenvolvimento em Go Puro, Consumo Concorrente de APIs & Banco de Dados

Status: Concluído & Testado em Produção

Conversar sobre este Projeto Ver Currículo Completo

Outros Projetos da Área

Ciência de Dados & Estatística

Lotofácil Master: Motor Quantitativo & Backtesting Vetorizado

Motor quantitativo de simulação probabilística, matrizes de transição de Markov e backtesting histórico vetorizado sobre milhares de concursos.

Ver Detalhes →

Ciência de Dados & Estatística

Egressos Intelligence: Pipeline de Dados & Matching de Empregabilidade

Pipeline de dados e análise de mercado conectando egressos ao mercado de trabalho com integração à Adzuna API.

Ver Detalhes →

Ciência de Dados & Estatística

WhatsApp AI Agent: Agente Autônomo com RAG & Memória Redis

Atendente autônomo com orquestração em n8n, LLMs (OpenAI), memória de contexto em Redis e WhatsApp HTTP API.

Ver Detalhes →