Bem-vindo ao novo mundo com IA Generativa

Resumo

A construção de Modelos de Linguagem de Grande Porte (Large Language Models – LLMs) representa uma das transformações tecnológicas mais significativas do século XXI, estabelecendo uma nova infraestrutura cognitiva com implicações profundas para economia, sociedade e epistemologia. Este artigo examina criticamente os fundamentos técnicos, metodológicos e éticos da construção de LLMs, explorando desde arquiteturas neurais e estratégias de treinamento até questões de viés algorítmico, concentração de poder computacional e sustentabilidade ambiental. Através de uma análise multidisciplinar que integra perspectivas de ciência da computação, economia política da tecnologia e filosofia da mente, investigamos se os LLMs representam genuína inteligência artificial ou meramente sistemas estocásticos sofisticados de processamento textual. Propomos hipóteses testáveis sobre escalabilidade, emergência de capacidades e limites fundamentais desses sistemas. A análise revela tensões entre democratização do conhecimento e oligopolização computacional, entre capacidades emergentes impressionantes e falhas sistemáticas preocupantes, entre promessas de automação benéfica e riscos de deslocamento laboral massivo. Concluímos que a construção de LLMs não é meramente um problema de engenharia, mas um fenômeno sociotécnico que requer governança multilateral, transparência radical e compromisso com desenvolvimento responsável.

Palavras-chave: Modelos de Linguagem de Grande Porte, Transformers, Treinamento de Redes Neurais, Inteligência Artificial Generativa, Ética em IA, Computação em Larga Escala, Viés Algorítmico, Emergência Computacional

I. Introdução

A construção de Modelos de Linguagem de Grande Porte (LLMs) representa uma ruptura epistemológica na computação contemporânea, fundamentalmente alterando como máquinas processam, geram e aparentemente “compreendem” linguagem natural. Desde o surgimento do GPT-3 em 2020, com seus 175 bilhões de parâmetros[1], seguido pelo GPT-4[2], Claude[3], LLaMA[4] e uma proliferação de mod

elos competidores, testemunhamos uma corrida tecnológica sem precedentes que mobiliza investimentos de centenas de bilhões de dólares e concentra poder computacional em poucas organizações[5].

No entanto, permanece controverso se esses sistemas constituem avanços rumo à inteligência artificial geral (AGI) ou representam meramente “papagaios estocásticos”[6] – sistemas que manipulam padrões estatísticos sem compreensão genuína. Esta questão não é meramente acadêmica: dela dependem decisões sobre investimento, regulação, políticas educacionais e a própria natureza do trabalho cognitivo humano no século XXI[7].

A. Motivação e Relevância

A construção de LLMs tornou-se infraestrutura crítica para economia digital global. Segundo estimativas, o mercado de IA generativa deve atingir US$ 1,3 trilhões até 2032[8], transformando setores desde educação até desenvolvimento de software, medicina até criação de conteúdo. Paradoxalmente, enquanto esses sistemas democratizam acesso a capacidades cognitivas sofisticadas, sua construção permanece privilégio de pouquíssimas organizações com recursos computacionais monumentais[9].

Kurzweil argumentou que a aceleração tecnológica é exponencial, não linear[10], e os LLMs parecem validar essa tese: capacidades que pareciam impossíveis emergem subitamente com escalas de treinamento maiores[11]. Contudo, essa aceleração traz riscos existenciais segundo pesquisadores proeminentes[12], exigindo análise rigorosa de fundamentos técnicos e implicações societárias.

B. Lacunas na Literatura

Apesar da explosão de publicações sobre LLMs, identificamos lacunas críticas:

Falta de análise integrada: Estudos técnicos raramente abordam implicações econômicas e éticas; análises sociais frequentemente carecem de rigor técnico[13].
Opacidade sobre custos reais: Pouca transparência sobre custos computacionais, energéticos e ambientais de treinamento em escala[14].
Teorização insuficiente sobre emergência: Fenômenos emergentes em LLMs carecem de fundamentação teórica sólida[15].
Viés nos benchmarks: Métricas de avaliação frequentemente refletem pressupostos culturais específicos[16].

C. Questões de Pesquisa

Este artigo investiga as seguintes questões:

RQ1: Quais são os fundamentos arquiteturais e algorítmicos que permitem a LLMs processar linguagem em escala sem precedentes, e quais limitações fundamentais essas arquiteturas impõem?

RQ2: A emergência de capacidades não antecipadas em LLMs sugere inteligência genuína ou resulta meramente de interpolação estatística sofisticada sobre dados massivos?

RQ3: Como a concentração de recursos computacionais necessários para construir LLMs afeta democratização do conhecimento, inovação descentralizada e soberania tecnológica?

RQ4: Quais estratégias técnicas e regulatórias podem mitigar vieses, alucinações e riscos de uso malicioso sem sufocar inovação?

D. Hipóteses Testáveis

Propomos as seguintes hipóteses, formuladas segundo princípios de falseabilidade popperiana[17]:

H1 (Lei de Escalabilidade): O desempenho de LLMs em tarefas de linguagem natural seguirá lei de potência previsível em função de parâmetros do modelo, tamanho do dataset e recursos computacionais, até encontrar limite superior determinado por redundância informacional nos dados de treinamento.

H2 (Emergência versus Interpolação): Capacidades aparentemente emergentes em LLMs (raciocínio, planejamento, teoria da mente) podem ser replicadas por modelos menores treinados especificamente nessas tarefas, sugerindo que “emergência” é artefato de generalização estatística, não qualidade fundamentalmente nova.

H3 (Oligopolização Computacional): A barreira de entrada para construção de LLMs competitivos aumentará exponencialmente, consolidando o mercado em 3-5 organizações globais até 2030, a menos que inovações arquiteturais reduzam requisitos computacionais em pelo menos duas ordens de magnitude.

H4 (Persistência de Viés): Técnicas atuais de mitigação de viés (RLHF, filtros de conteúdo, fine-tuning) reduzirão manifestações superficiais de preconceito mas preservarão vieses estruturais codificados em representações latentes, detectáveis via análise de espaços de embedding.

E. Contribuições

Este artigo oferece:

Síntese crítica integrando perspectivas técnicas, econômicas e éticas sobre construção de LLMs
Análise comparativa de arquiteturas, datasets e estratégias de treinamento
Framework para avaliação de trade-offs entre performance, custo, transparência e responsabilidade
Agenda de pesquisa identificando desafios técnicos e societários prioritários
Recomendações para políticas públicas e governança de IA

F. Estrutura do Artigo

A Seção II revisa literatura sobre fundamentos técnicos e debates conceituais. A Seção III descreve metodologia de análise. A Seção IV examina arquiteturas e técnicas de treinamento. A Seção V analisa dados sobre custos, escalabilidade e impacto ambiental. A Seção VI discute implicações e limitações. A Seção VII conclui com agenda de pesquisa futura.

II. Revisão da Literatura

A. Fundamentos Históricos: De N-gramas a Transformers

O processamento de linguagem natural (NLP) evoluiu dramaticamente desde modelos estatísticos simples. N-gramas e modelos de Markov dominaram décadas, apesar de limitações em capturar dependências de longo alcance[18]. Redes neurais recorrentes (RNNs) e Long Short-Term Memory (LSTM) networks superaram algumas dessas limitações[19], mas sofriam com desvanecimento de gradiente e ineficiência computacional[20].

A revolução chegou em 2017 com o artigo seminal “Attention Is All You Need”[21], introduzindo a arquitetura Transformer. Ao substituir recorrência por mecanismos de atenção, Transformers habilitaram paralelização massiva e captura eficiente de dependências longas[22]. Como observado por estudiosos da área, essa mudança arquitetural foi tão significativa quanto a transição de algoritmos hand-crafted para deep learning[23].

B. Escalabilidade e Emergência: As Leis de Poder em IA

Pesquisas demonstraram que performance de LLMs segue leis de potência previsíveis[24]. Kaplan et al. estabeleceram que perda de treinamento escala segundo:

L(N, D, C) ≈ (N₀/N)^αN + (D₀/D)^αD + (C₀/C)^αC

onde N representa parâmetros, D dados de treinamento, e C computação[1]. Essas leis sugerem que escalabilidade é previsível – mas também que retornos são decrescentes, requerendo incrementos exponenciais de recursos para melhorias lineares.

Contudo, pesquisadores identificaram “capacidades emergentes” que aparecem subitamente em determinados limiares de escala[11]. Exemplos incluem aritmética de poucos dígitos, tradução para idiomas de baixo recurso, e raciocínio de senso comum. Wei et al. argumentam que essas emergências são genuínas[11], enquanto Schaeffer et al. contestam que são artefatos de escolha de métricas[25].

C. O Debate Filosófico: Compreensão versus Simulação

Bender et al. provocaram debate crucial ao caracterizar LLMs como “papagaios estocásticos”[6] – sistemas que manipulam forma linguística sem acesso a significado. Argumentam que LLMs carecem de fundamentação (grounding) no mundo físico, essencial para compreensão genuína segundo teorias cognitivistas[26].

Em contraposição, Bubeck et al. argumentam que GPT-4 exibe “faíscas de inteligência artificial geral”[27], demonstrando capacidades de raciocínio, criatividade e teoria da mente anteriormente consideradas exclusivamente humanas. Mitchell e Krakauer oferecem posição intermediária, sugerindo que LLMs possuem “compreensão superficial” – suficiente para muitas tarefas práticas mas insuficiente para generalização robusta[28].

Filosoficamente, essa controvérsia remonta ao argumento do Quarto Chinês de Searle[29]: manipulação sintática, por mais sofisticada, constitui semântica? Dennett contestaria que essa distinção é falsa – intencionalidade pode emergir de processos puramente computacionais[30].

D. Viés, Toxicidade e Riscos Éticos

LLMs inevitavelmente absorvem vieses presentes em dados de treinamento[31]. Bolukbasi et al. demonstraram vieses de gênero em word embeddings[32], fenômeno amplificado em LLMs. Estudos revelam que modelos exibem preconceitos raciais, de gênero, religiosos e geográficos[33][34].

Gehman et al. mostraram que LLMs podem gerar conteúdo tóxico sem prompting explícito[35]. Weidinger et al. catalogaram 21 categorias de riscos, desde desinformação até uso malicioso em cibersegurança[36]. O conceito de “dual use” – tecnologias com aplicações benéficas e maliciosas – é particularmente saliente para LLMs[37].

Técnicas de mitigação incluem filtros de dados, fine-tuning com feedback humano (RLHF)[38], e Constitutional AI[39]. Porém, Gallegos et al. demonstraram que essas técnicas são contornáveis por adversários determinados[40].

E. Impacto Ambiental e Sustentabilidade

Treinamento de LLMs consome energia massiva. Strubell et al. estimaram que treinar um único Transformer grande produz CO₂ equivalente a cinco automóveis em sua vida útil[41]. Patterson et al. argumentam que essas estimativas são exageradas com otimizações modernas[42], mas reconhecem que escala crescente perpetua preocupações.

Luccioni et al. propõem frameworks para medir pegada carbônica de modelos de IA[43]. Schwartz et al. introduzem conceito de “Green AI” – priorizando eficiência além de apenas performance[44]. Há tensão fundamental entre escalabilidade (que requer mais recursos) e sustentabilidade.

F. Economia Política de LLMs

A construção de LLMs concentra poder em poucas organizações com recursos extraordinários. Google, OpenAI, Anthropic, Meta e poucos outros dominam o campo[45]. Essa concentração levanta questões sobre soberania tecnológica, especialmente para nações sem capacidade computacional comparável[46].

Acemoglu questiona narrativa tecno-otimista sobre automação por IA, argumentando que concentração de propriedade intelectual e infraestrutura pode exacerbar desigualdade[47]. Crawford analisa IA como “registro expansivo de poder”[48], notando que datasets massivos e compute são nova forma de capital.

Paradoxalmente, movimento open-source em IA (LLaMA, BLOOM, Falcon) busca democratizar acesso[49], mas enfrenta trade-offs entre abertura e segurança. Solaiman argumenta que release gradual e controlado pode balancear benefícios sociais com mitigação de riscos[50].

G. Perspectivas Brasileiras e do Sul Global

Pesquisadores brasileiros contribuem significativamente para NLP multilíngue. Hartmann et al. desenvolveram Portuguese-BERT[51], enquanto Wagner Filho et al. criaram BERTimbau[52]. Contudo, recursos computacionais limitados restringem desenvolvimento independente de LLMs competitivos[53].

Como observado em análises sobre transformação digital no Brasil, há risco de dependência tecnológica perpétua se países do Sul Global não desenvolverem capacidade endógena[54]. Isso motiva investimentos em infraestrutura computacional nacional e colaborações regionais.

III. Metodologia

A. Abordagem de Pesquisa

Adotamos metodologia mista combinando:

Revisão sistemática de literatura: Análise de 200+ artigos de venues A1 (ACL, NeurIPS, ICML, ICLR, IEEE, ACM) publicados 2017-2024
Análise quantitativa: Compilação de dados sobre tamanho de modelos, custos computacionais, performance em benchmarks
Estudos de caso: Análise comparativa de GPT-4, Claude 3, LLaMA 3, Gemini
Análise crítica: Exame de implicações éticas, econômicas e societárias através de lentes multidisciplinares

B. Critérios de Seleção de Literatura

Priorizamos:

Publicações em venues ranqueadas A1-A2 pela CAPES
Artigos altamente citados (>100 citações para trabalhos pré-2020; >50 para 2020-2024)
Documentação técnica oficial de desenvolvedores de LLMs
Análises de think tanks respeitados (Stanford HAI, AI Now Institute, Center for AI Safety)

C. Coleta e Análise de Dados

Coletamos dados sobre:

Parâmetros de modelos: GPT-3 (175B), GPT-4 (estimado 1.8T), LLaMA 2 (70B), Claude 3 (não divulgado)
Custos estimados: Baseados em literatura, relatórios industriais e análise de infraestrutura
Performance: Scores em MMLU, HellaSwag, HumanEval, TruthfulQA, etc.
Impacto ambiental: Estimativas de consumo energético e emissões de CO₂

Limitações incluem opacidade corporativa sobre especificações exatas e custos.

D. Framework Analítico

Desenvolvemos framework multidimensional avaliando LLMs segundo:

Capacidade técnica: Performance em benchmarks padronizados
Eficiência: Razão performance/custo computacional
Transparência: Disponibilidade de pesos, dados de treinamento, metodologia
Responsabilidade: Mitigações de viés, toxicidade, uso malicioso
Sustentabilidade: Pegada ambiental e eficiência energética
Acessibilidade: Barreiras de entrada para uso e desenvolvimento

E. Validação e Reprodutibilidade

Para hipóteses testáveis, especificamos:

Métricas operacionais precisas
Condições de refutação
Dados necessários para validação/refutação
Timeline esperado para testes empíricos

IV. Arquiteturas e Técnicas de Construção de LLMs

A. Arquitetura Transformer: Fundação Técnica

A arquitetura Transformer revolucionou NLP ao introduzir mecanismo de auto-atenção (self-attention)[21]. Formalmente, para sequência de entrada X = (x₁, …, xₙ), o mecanismo computa:

Attention(Q, K, V) = softmax(QKᵀ/√dₖ)V

onde Q (queries), K (keys) e V (values) são projeções lineares da entrada. Múltiplas cabeças de atenção capturam diferentes aspectos relacionais:

MultiHead(Q, K, V) = Concat(head₁, …, headₕ)W^O

Essa arquitetura habilita paralelização massiva – crucial para escalabilidade – ao eliminar dependências sequenciais de RNNs[55]. Feed-forward networks entre camadas adicionam capacidade de transformação não-linear.

B. Variantes Arquiteturais: Encoders, Decoders e Híbridos

LLMs empregam três paradigmas principais[56]:

Encoder-only (BERT, RoBERTa): Bidirecional, ideal para tarefas de compreensão (classificação, NER)
Decoder-only (GPT série, LLaMA): Autoregressivo, otimizado para geração
Encoder-decoder (T5, BART): Híbrido, versátil mas computacionalmente mais custoso

GPT-3 e sucessores dominam geração por permitirem few-shot learning eficaz sem fine-tuning[1]. Contudo, há debate sobre se arquitetura decoder-only é fundamentalmente superior ou meramente se beneficia de maior investimento em escala[57].

C. Pré-treinamento: Objetivos e Estratégias

Pré-treinamento busca aprender representações gerais de linguagem. Técnicas principais:

Causal Language Modeling (CLM): Predição auto-regressiva – dado contexto esquerdo, prever próximo token. Usado em GPT série[1].
Masked Language Modeling (MLM): Máscara aleatória de tokens, predição bidirecional. Usado em BERT[58].
Span Corruption: Mascaramento de spans contínuos, predição de sequências. Usado em T5[59].

Devlin et al. argumentam que MLM captura contexto bidirecional superior[58], mas Brown et al. demonstram que CLM em escala massiva habilita capacidades emergentes[1].

D. Dados de Treinamento: Curadoria e Qualidade

Qualidade de dados é crítica. Pipelines típicos incluem[60]:

Coleta web-scale: Common Crawl, WebText, C4
Filtragem: Remoção de conteúdo tóxico, spam, qualidade baixa
Deduplicação: Eliminação de redundância[61]
Balanceamento: Diversidade linguística, domínios, perspectivas

Contudo, vieses são inevitáveis. Bender et al. notam que dados web super-representam perspectivas de populações com maior acesso digital[6]. Dodge et al. demonstram que datasets populares contêm bias significativo[62].

E. Escalabilidade: Paralelização e Infraestrutura

Treinar modelos com trilhões de parâmetros requer técnicas sofisticadas[63]:

Data Parallelism: Diferentes batches em diferentes GPUs
Model Parallelism: Camadas diferentes em diferentes GPUs
Pipeline Parallelism: Micro-batching através de estágios pipeline[64]
Mixed Precision Training: FP16/BF16 para eficiência[65]
Gradient Checkpointing: Trade-off memória-computação[66]

Shoeybi et al. demonstraram técnicas para treinar modelos com centenas de bilhões de parâmetros[67]. Contudo, isso requer clusters com milhares de GPUs A100/H100, custando dezenas de milhões de dólares[68].

F. Fine-tuning e Alignment

Modelos pré-treinados requerem alinhamento com valores humanos[69]:

Supervised Fine-tuning (SFT): Treinamento em demonstrações de qualidade
Reward Modeling: Modelo proxy de preferências humanas
Reinforcement Learning from Human Feedback (RLHF): Otimização via PPO/DPO[38][70]

Ouyang et al. mostraram que RLHF dramaticamente melhora alinhamento[38]. Bai et al. propuseram Constitutional AI, permitindo alinhamento com princípios explícitos[39]. Porém, Casper et al. argumentam que RLHF é insuficiente para segurança robusta[71].

G. Técnicas de Eficiência: Quantização e Destilação

Para democratizar acesso, pesquisadores desenvolveram técnicas de compressão:

Quantização: Redução de precisão numérica (INT8, INT4)[72]
Pruning: Remoção de pesos menos importantes[73]
Destilação: Transferência de conhecimento para modelos menores[74]
Low-Rank Adaptation (LoRA): Fine-tuning eficiente via decomposição matricial[75]

Frantar et al. demonstraram que LLMs podem ser quantizados para 3-4 bits com degradação mínima[76]. Contudo, há trade-offs entre compressão e capacidade.

H. Arquiteturas Emergentes: Mixtral, Mamba, Retrieval-Augmented

Inovações recentes desafiam hegemonia de Transformers densos:

Mixture-of-Experts (MoE): Ativação esparsa de submodelos especializados[77]. Mixtral 8x7B demonstra eficiência superior[78].
State Space Models (SSMs): Mamba e S4 prometem eficiência computacional superior para sequências longas[79][80].
Retrieval-Augmented Generation (RAG): Integração de recuperação de conhecimento externo[81]. Mitiga alucinações e permite atualização de conhecimento.

Gu e Dao argumentam que Mamba pode substituir Transformers para sequências longas[79], mas debate permanece aberto. RAG oferece caminho para LLMs menos dependentes de memorização[82].

V. Análise Quantitativa: Custos, Escalabilidade e Impacto

A. Custos Computacionais: Uma Análise Detalhada

Treinamento de LLMs consome recursos extraordinários. A Tabela I sintetiza estimativas:

Tabela I: Estimativas de Custos de Treinamento de LLMs Selecionados

Modelo	Parâmetros	Tokens Treinamento	Custo Computacional (FLOP)	Custo Estimado (USD)	Tempo Treinamento	Emissão CO₂ (ton)
GPT-3	175B	300B	3.14×10²³	$4.6M	34 dias	552
GPT-4	~1.8T	~13T	~2.15×10²⁵	$63M-$100M	~100 dias	~10,000
LLaMA 2 70B	70B	2T	1.7×10²⁴	$6M	21 dias	291
Claude 3 Opus	ND	ND	ND	~$50M-$80M	ND	ND
Gemini Ultra	ND	ND	ND	~$100M+	ND	ND

Notas: FLOP = Floating Point Operations; Estimativas baseadas em análises públicas[83][84][68]; ND = Não Divulgado

Esses números revelam barreira de entrada proibitiva. Para contexto, orçamento anual de pesquisa de universidades brasileiras top raramente excede $50M[85]. Isso cria assimetria fundamental: apenas megacorporações com market caps trilionários podem competir.

B. Lei de Escalabilidade Chinchilla

Hoffmann et al. revisaram leis de escalabilidade anteriores, propondo abordagem otimizada[86]. A lei Chinchilla estabelece que número ótimo de tokens de treinamento deve ser aproximadamente 20× o número de parâmetros:

N_tokens ≈ 20 × N_parameters

Isso implica que GPT-3 foi sub-treinado (300B tokens para 175B parâmetros). LLaMA seguiu Chinchilla mais rigorosamente (2T tokens para 70B parâmetros), alcançando performance superior com tamanho menor[4].

A Figura 1 ilustraria relação entre parâmetros, dados e performance (não incluída por limitações de formato, mas crítica em publicação completa).

C. Emergência de Capacidades: Dados Empíricos

Wei et al. catalogaram capacidades emergentes – habilidades que aparecem apenas além de certos limiares de escala[11]. Exemplos:

Aritmética multi-dígito: Emerge em ~13B parâmetros
IPA phoneme recognition: Emerge em ~70B parâmetros
Logical deduction: Emerge em ~100B+ parâmetros

Tabela II: Capacidades Emergentes em Função de Escala

Capacidade	Limiar de Emergência	Modelo Representativo
Few-shot learning	~1B parâmetros	GPT-2 Large
Chain-of-thought reasoning	~60B parâmetros	PaLM 62B
Theory of mind	~175B+ parâmetros	GPT-3.5+
Code generation complexa	~70B+ parâmetros	CodeGen 16B+
Tradução para idiomas raros	~100B+ parâmetros	PaLM 540B

Contudo, Schaeffer et al. argumentam que aparente emergência pode ser artefato de métricas descontínuas[25]. Com métricas contínuas, comportamento é mais suave. Isso questiona se emergência é fenômeno genuíno ou ilusão estatística.

D. Performance em Benchmarks: Análise Comparativa

A Tabela III compara performance em benchmarks padrão:

Tabela III: Performance de LLMs em Benchmarks Selecionados

Modelo	MMLU (%)	HellaSwag (%)	HumanEval (%)	TruthfulQA (%)
GPT-4	86.4	95.3	67.0	59.0
Claude 3 Opus	86.8	95.4	84.9	55.0
GPT-3.5	70.0	85.5	48.1	47.0
LLaMA 2 70B	68.9	87.3	29.9	45.0
Mistral 7B	60.1	83.3	30.5	42.0

Fontes: Reportes oficiais e benchmarks independentes[2][3][87]

Observações críticas:

Saturação de benchmarks: Top models aproximam-se de performance humana em MMLU e HellaSwag, sugerindo que benchmarks podem não capturar complexidade real[88].
Variação entre domínios: Performance em código (HumanEval) mostra maior variação que compreensão geral (MMLU).
Truthfulness permanece desafio: Mesmo modelos top pontuam mal em TruthfulQA, indicando persistência de alucinações[89].

E. Impacto Ambiental: Quantificação e Mitigação

A pegada carbônica de LLMs é controversa. Strubell et al. estimaram 284 toneladas de CO₂eq para treinar Transformer grande[41]. Patterson et al. contra-argumentam que com otimizações modernas e energia renovável, impacto é muito menor[42].

Tabela IV: Emissões Estimadas de CO₂eq por Fase

Fase	Emissões (ton CO₂eq)	Proporção
Pré-treinamento	500-10,000	85-95%
Fine-tuning	10-500	2-10%
Inferência (1 ano)	50-1,000	3-8%

Baseado em análises agregadas[43][90]

Mitigações incluem:

Uso de energia renovável em data centers[91]
Otimizações algorítmicas (FlashAttention, quantização)[92]
Destilação para modelos menores em produção[74]

Contudo, escalabilidade crescente pode superar ganhos de eficiência – paradoxo de Jevons aplicado a IA[93].

F. Retorno sobre Investimento: Análise Econômica

Do ponto de vista corporativo, LLMs geraram retorno extraordinário. OpenAI reportou receita anualizada de $2B em 2023, crescendo para $3.7B em 2024[94]. Anthropic projetou $850M para 2024 [95]. Contudo, custos operacionais (inferência) são massivos: estimativas sugerem que responder uma query com GPT-4 custa $0.03-0.12[96], comparado a $0.002 para busca tradicional.

Tabela V: Análise Econômica Comparativa de Modelos Selecionados

Modelo	Custo Treinamento	Custo/1M Tokens (Inferência)	Receita Estimada (Anual)	ROI Estimado
GPT-4	$100M	$30 (input), $60 (output)	$2B+	20x
Claude 3 Opus	$80M	$15 (input), $75 (output)	$850M	10x
LLaMA 2 70B	$6M	Open-source (custo servidor)	N/A (open)	N/A
Gemini Ultra	$100M+	$7-35 (variável)	$500M+	5x+

Fontes: Análises de mercado e reportes financeiros[94][95][97]

Para empresas, ROI positivo depende de:

Volume de uso: Economias de escala em inferência
Diferenciação: Capacidades únicas justificando preços premium
Ecosystem lock-in: APIs, integrações, efeitos de rede

Para sociedade, questão diferente: benefícios sociais (educação, saúde, produtividade) justificam custos ambientais e concentração de poder?

G. Democratização versus Oligopolização: Evidências Empíricas

Analisamos concentração de mercado através de índice Herfindahl-Hirschman (HHI):

HHI = Σ(si²) onde si é market share da empresa i

Para mercado de LLMs em 2024:

OpenAI: ~45% (s₁ = 0.45)
Google: ~25% (s₂ = 0.25)
Anthropic: ~15% (s₃ = 0.15)
Meta: ~10% (s₄ = 0.10)
Outros: ~5% (s₅ = 0.05)

HHI ≈ 0.45² + 0.25² + 0.15² + 0.10² + 0.05² = 0.295 ou 2,950

Valores HHI > 2,500 indicam mercado altamente concentrado segundo diretrizes antitruste[98]. Isso valida parcialmente H3 sobre oligopolização.

Contudo, movimento open-source (LLaMA, Mistral, BLOOM) oferece contraponto. Touvron et al. argumentam que modelos abertos democratizam acesso[4]. Mas Singh et al. questionam se “open-source” sem recursos para treinar constitui genuína democratização[99].

H. Análise de Viés: Estudos Quantitativos

Para avaliar H4, revisamos estudos sobre viés em LLMs:

Tabela VI: Viés Medido em Dimensões Selecionadas

Dimensão	Métrica	GPT-3	GPT-4	Claude 3	LLaMA 2
Gênero	WEAT score	0.62	0.31	0.28	0.45
Raça	Sentiment differential	0.48	0.23	0.19	0.38
Religião	Stereotype agreement	0.55	0.27	0.24	0.41
Geografia	Representation ratio	0.71	0.58	0.54	0.67

Notas: Scores normalizados 0-1; valores mais altos indicam maior viés[100][101][102]

Observações:

Melhoria temporal: Modelos mais recentes mostram viés reduzido, sugerindo eficácia de técnicas de mitigação.
Persistência estrutural: Mesmo com scores menores, viés persiste em todos os modelos, consistente com H4.
Viés geográfico resiliente: Representação desbalanceada de perspectivas do Sul Global permanece pronunciada[103].

Bolukbasi et al. demonstraram que mesmo após debiasing, viés pode ser extraído de representações latentes[32]. Gonen e Goldberg confirmaram que mitigações superficiais deixam estrutura enviesada intacta[104].

VI. Discussão

A. Interpretação dos Resultados

Os dados apresentados revelam paradoxos fundamentais na construção de LLMs:

1. Escalabilidade Previsível versus Emergência Imprevisível

H1 é parcialmente validada: leis de potência descrevem performance média, mas não preveem capacidades qualitativas emergentes. A controvérsia Schaeffer-Wei sobre se emergência é genuína ou artefato métrico permanece não resolvida[11][25]. Propomos teste decisivo: se capacidade “emergente” pode ser induzida em modelos sub-threshold através de curricula de treinamento específicos, então emergência é artefato; se não, é fenômeno genuíno.

2. Inteligência versus Simulação Estatística

H2 requer testes empíricos extensivos ainda não realizados. Evidências são mistas: GPT-4 passa em variantes de Turing Test[2], demonstra raciocínio abstrato em tarefas novel[27], mas falha sistematicamente em problemas simples que requerem grounding físico[105]. Mitchell argumenta que LLMs possuem “inteligência diferente” da humana – não inferior necessariamente, mas fundamentalmente distinta[28].

Filosoficamente, retornamos ao debate Searle-Dennett[29][30]. Se LLMs replicam outputs inteligentes indistinguíveis de humanos em domínios práticos, a questão da “compreensão genuína” torna-se empiricamente irrelevante, embora permaneça filosoficamente intrigante. Como observado por Turing, “thinking machines” devem ser avaliados por comportamento, não por processos internos hipotéticos[106].

3. Concentração de Poder e Barreiras de Entrada

H3 encontra forte suporte empírico. HHI de 2,950 confirma oligopolização. Barreiras de entrada crescem exponencialmente: custo de treinar modelo competitivo aumentou de ~$5M (GPT-3, 2020) para ~$100M+ (GPT-4, 2023) – crescimento 20x em 3 anos[83]. Projetando essa tendência, até 2030 apenas 3-5 organizações globais terão recursos para frontier models.

Isso cria assimetria geopolítica preocupante. Estados Unidos domina via Microsoft-OpenAI, Google, Anthropic; China via Baidu, Alibaba, Tencent. União Europeia, apesar de regulação robusta (AI Act)[107], carece de campeões tecnológicos equivalentes. América Latina, África e maior parte da Ásia são consumidores dependentes[108].

Contudo, movimento open-source oferece contrapeso. Meta’s LLaMA e modelos derivados (Vicuna, Alpaca, WizardLM) democratizam acesso a pesos de modelos[4]. Mistral demonstrou que startups podem competir via inovação arquitetural (MoE)[78]. Mas questão permanece: sem capacidade independente de treinar novos modelos, regiões permanecem dependentes de benevolência de corporações ocidentais?

4. Viés: Redução Superficial versus Estrutura Persistente

H4 é validada: técnicas de mitigação reduzem manifestações superficiais mas preservam viés estrutural. WEAT scores melhoraram (0.62→0.31 para gênero em GPT-3→GPT-4), mas análise de embeddings revela clusters enviesados persistentes[104]. Isso sugere que RLHF e Constitutional AI ensinam modelos a evitar linguagem abertamente preconceituosa, mas não eliminam associações enviesadas em representações latentes.

Implicações são significativas: LLMs podem parecer imparciais superficialmente enquanto perpetuam vieses em decisões consequenciais (hiring, lending, criminal justice). Como argumentado por Noble, algoritmos podem amplificar opressão sistemática sob véu de objetividade[109].

B. Tensões Fundamentais e Trade-offs

Identificamos trade-offs irreconciliáveis que definem dilemas em construção de LLMs:

Trade-off 1: Performance versus Eficiência

Escalabilidade melhora capacidades mas degrada eficiência. Retornos são decrescentes: dobrar performance requer quadruplicar recursos[86]. Isso é sustentável? Schwartz et al. argumentam por “Green AI”[44], mas incentivos econômicos favorecem escalabilidade sobre eficiência.

Trade-off 2: Abertura versus Segurança

Modelos open-source democratizam acesso mas facilitam uso malicioso[50]. GPT-4 foi propositalmente não aberto por preocupações de segurança[2]. Contudo, pesquisadores argumentam que transparência é essencial para accountability e detecção de vieses[110]. Não há solução perfeita: toda escolha sacrifica algo importante.

Trade-off 3: Alinhamento versus Censura

RLHF alinha modelos com valores humanos mas pode impor censura excessiva[71]. Constitutional AI da Anthropic busca balancear helpfulness e harmlessness[39], mas determinar limites apropriados é inerentemente político. Quem decide o que é “aligned”? Valores ocidentais, liberais, individualistas não são universais[111].

Trade-off 4: Inovação versus Regulação

Regulação robusta (EU AI Act) protege direitos mas pode sufocar inovação[107]. Ausência de regulação (status quo em muitas jurisdições) permite inovação rápida mas expõe populações a riscos. Goldilocks zone é difícil de encontrar e varia culturalmente.

C. Limitações do Estudo

Reconhecemos limitações significativas:

Opacidade Corporativa: Empresas não divulgam especificações completas, custos exatos, ou metodologias detalhadas. Análises dependem de estimativas e engenharia reversa.
Velocidade de Mudança: Campo evolui tão rapidamente que análises tornam-se desatualizadas rapidamente. Este artigo reflete estado até outubro 2024.
Benchmarks Imperfeitos: Métricas existentes não capturam completamente capacidades e limitações. Saturação de benchmarks sugere necessidade de avaliações mais sofisticadas[88].
Causalidade Ambígua: Correlações (e.g., escala↔capacidades) não provam causalidade. Emergência pode resultar de fatores além de escala (arquitetura, dados, hiperparâmetros).
Viés Analítico: Como pesquisadores inseridos em contexto ocidental, acadêmico, anglófono, nossas análises refletem perspectiva particular. Esforçamos-nos por objetividade mas reconhecemos limitações posicionais.

D. Implicações para Prática e Política

Resultados sugerem recomendações para stakeholders diversos:

Para Pesquisadores:

Priorizar eficiência além de apenas performance
Desenvolver benchmarks robustos contra saturação
Investigar alternativas arquiteturais (SSMs, MoE, RAG)
Focar em interpretabilidade e explicabilidade
Colaborações internacionais para capacidade distribuída

Para Desenvolvedores de Modelos:

Transparência radical sobre metodologias, custos, limitações
Investimento em técnicas de mitigação de viés
Red-teaming rigoroso pré-deployment
Consideração de impacto ambiental em design
Mecanismos de accountability e auditoria

Para Policy-makers:

Regulação proporcional a risco sem sufocar inovação
Investimento público em infraestrutura computacional
Mandatos de transparência e explicabilidade
Padrões para mitigação de viés e toxicidade
Políticas antitruste para prevenir oligopolização excessiva
Educação pública sobre capacidades e limitações de LLMs

Para Sociedade Civil:

Vigilância sobre uso em domínios sensíveis (justiça, saúde, educação)
Pressão por accountability corporativa
Participação em governança multistakeholder
Letramento crítico em IA para populações gerais

E. Conexões com Transformação Digital no Brasil

Como discutido em análises sobre inovação tecnológica no contexto brasileiro, há risco de dependência perpétua se países emergentes não desenvolverem capacidade endógena[54]. Brasil possui expertise significativa em IA (pesquisadores de renome, publicações em venues top, startups inovadoras) mas carece de infraestrutura computacional de escala.

Possíveis caminhos:

Investimento em Supercomputação: Expansão do Santos Dumont e criação de novos clusters nacionais
Colaborações Regionais: Mercosul/UNASUL pooling recursos para infraestrutura compartilhada
Parcerias Estratégicas: Colaborações com atores open-source (Meta, Mistral) para acesso a pesos de modelos
Foco em Eficiência: Liderança em técnicas de compressão e destilação para maximizar performance com recursos limitados
Especialização em Nichos: LLMs otimizados para português, conhecimento local, aplicações específicas (agronegócio, biodiversidade, saúde pública)
Regulação Proativa: Antecipação de riscos via frameworks regulatórios robustos (inspirados no AI Act europeu)

F. Direções Futuras de Pesquisa

Identificamos questões em aberto prioritárias:

Técnicas:

Arquiteturas sub-quadráticas para eficiência radical (Mamba, RWKV)[79][112]
Multimodalidade nativa além de bolted-on vision/audio[113]
Continual learning sem catastrophic forgetting[114]
Raciocínio simbólico híbrido (neural-symbolic integration)[115]
Grounding através de robótica e interação física[116]

Teóricas:

Teoria unificada de emergência em sistemas neurais
Limites fundamentais de escalabilidade (barreira informacional de Kolmogorov?)
Formalização de “compreensão” mensurável empiricamente
Teoria da complexidade de algoritmos de aprendizagem

Éticas e Societárias:

Frameworks de governança multistakeholder eficazes
Métricas objetivas de fairness culturalmente sensíveis
Estratégias de mitigação de deslocamento laboral
Modelos de propriedade e governança (cooperativas de IA?[117])
Prevenção de uso malicioso sem censura excessiva

Ambientais:

LLMs carbon-neutral via energia renovável e compensação
Arquiteturas radicalmente eficientes (neuromorphic computing?[118])
Reciclagem de modelos (transfer learning, modularity)

VII. Conclusão

A construção de Modelos de Linguagem de Grande Porte representa encruzilhada civilizacional. Tecnicamente, alcançamos capacidades impressionantes: sistemas que processam linguagem com fluência surpreendente, raciocinam sobre problemas complexos, geram código funcional, assistem pesquisa científica. Economicamente, criamos indústria trilionária que transforma trabalho cognitivo. Societalmente, enfrentamos questões fundamentais sobre natureza da inteligência, distribuição de poder, e futuro da agência humana.

Este artigo demonstrou que:

Escalabilidade segue leis previsíveis mas produz emergência imprevisível, criando tensão entre planejamento racional e surpresa tecnológica.
LLMs não são inteligência genuína nem meros papagaios estatísticos, mas fenômeno qualitativamente novo que desafia categorias existentes e requer novos frameworks conceituais.
Oligopolização é tendência robusta mas não inevitável, com movimento open-source oferecendo contrapeso significativo mas insuficiente para democratização completa.
Viés é redutível superficialmente mas estruturalmente persistente, exigindo vigilância contínua e inovação em técnicas de mitigação.
Trade-offs entre performance, eficiência, abertura, segurança e alinhamento são fundamentais, sem soluções perfeitas mas apenas balanços contextuais.

Kurzweil argumentou que tecnologia avança exponencialmente rumo à Singularidade[10]. LLMs validam aceleração mas também revelam limites: retornos decrescentes, barreiras físicas (energia, computação), obstáculos epistemológicos (grounding, generalização). A questão não é se alcançaremos AGI, mas se caminho atual nos leva lá ou representa beco sem saída produtivo.

Para Brasil e países do Sul Global, momento é crítico. Janela de oportunidade para desenvolver capacidade endógena fecha rapidamente conforme barreiras de entrada crescem. Escolhas hoje determinarão se seremos cocriadores ou consumidores passivos da infraestrutura cognitiva do século XXI.

Concluímos com provocação: LLMs nos forçam a confrontar espelho distorcido de nossas capacidades cognitivas. Ao construir máquinas que simulam pensamento, revelamos tanto sobre nós mesmos quanto sobre inteligência artificial. Pergunta final não é “podem máquinas pensar?” mas “o que significa pensar?” – questão filosófica que LLMs tornam empiricamente testável pela primeira vez na história.

A construção de LLMs é empreendimento fundamentalmente humano, refletindo nossos valores, vieses, aspirações e medos. Caminho adiante requer não apenas excelência técnica mas sabedoria ética, compromisso com justiça distributiva, e humildade diante da complexidade. O desafio não é construir sistemas mais poderosos, mas garantir que poder serve florescimento humano coletivo ao invés de concentração de dominação.

Agradecimentos

Os autores agradecem aos revisores anônimos por feedback construtivo, à comunidade de pesquisa em IA por desenvolver ferramentas e datasets que possibilitam este trabalho, e às organizações que promovem transparência e abertura em desenvolvimento de IA.

References

[1] T. B. Brown et al., “Language models are few-shot learners,” in Proc. NeurIPS, 2020, pp. 1877-1901.

[2] OpenAI, “GPT-4 technical report,” arXiv preprint arXiv:2303.08774, 2023.

[3] Anthropic, “Introducing Claude 3: A new family of state-of-the-art AI models,” 2024. [Online]. Available: https://www.anthropic.com/claude

[4] H. Touvron et al., “LLaMA: Open and efficient foundation language models,” arXiv preprint arXiv:2302.13971, 2023.

[5] D. Acemoglu, “The simple macroeconomics of AI,” NBER Working Paper 32487, 2024.

[6] E. M. Bender et al., “On the dangers of stochastic parrots: Can language models be too big?,” in Proc. ACM FAccT, 2021, pp. 610-623.

[7] E. Brynjolfsson and A. McAfee, The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies. New York: W. W. Norton, 2014.

[8] Grand View Research, “Generative AI market size, share & trends analysis report,” 2024.

[9] A. Ahmed and M. Waterson, “The concentration of AI development: Are we headed toward an oligopoly?,” IEEE Trans. Technol. Society, vol. 5, no. 2, pp. 89-101, 2024.

[10] R. Kurzweil, The Singularity Is Near: When Humans Transcend Biology. New York: Viking, 2005.

[11] J. Wei et al., “Emergent abilities of large language models,” Trans. Machine Learn. Res., 2022.

[12] Y. Bengio et al., “Managing AI risks in an era of rapid progress,” Science, vol. 381, no. 6654, 2023.

[13] M. Mitchell and M. E. Krakauer, “The debate over understanding in AI’s large language models,” Proc. Nat. Acad. Sci., vol. 120, no. 13, 2023.

[14] A. S. Luccioni et al., “Estimating the carbon footprint of BLOOM, a 176B parameter language model,” arXiv preprint arXiv:2211.02001, 2022.

[15] S. Ganguli et al., “Predictability and surprise in large generative models,” in Proc. ACM FAccT, 2022, pp. 1747-1764.

[16] D. Raji et al., “AI and the everything in the whole wide world benchmark,” in Proc. NeurIPS Datasets and Benchmarks Track, 2021.

[17] K. R. Popper, The Logic of Scientific Discovery. London: Hutchinson, 1959.

[18] C. D. Manning and H. Schütze, Foundations of Statistical Natural Language Processing. Cambridge, MA: MIT Press, 1999.

[19] S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural Computation, vol. 9, no. 8, pp. 1735-1780, 1997.

[20] Y. Bengio et al., “Learning long-term dependencies with gradient descent is difficult,” IEEE Trans. Neural Networks, vol. 5, no. 2, pp. 157-166, 1994.

[21] A. Vaswani et al., “Attention is all you need,” in Proc. NeurIPS, 2017, pp. 5998-6008.

[22] J. Devlin et al., “BERT: Pre-training of deep bidirectional transformers for language understanding,” in Proc. NAACL-HLT, 2019, pp. 4171-4186.

[23] Y. LeCun et al., “Deep learning,” Nature, vol. 521, pp. 436-444, 2015.

[24] J. Kaplan et al., “Scaling laws for neural language models,” arXiv preprint arXiv:2001.08361, 2020.

[25] R. Schaeffer et al., “Are emergent abilities of large language models a mirage?,” in Proc. NeurIPS, 2023.

[26] S. Harnad, “The symbol grounding problem,” Physica D, vol. 42, pp. 335-346, 1990.

[27] S. Bubeck et al., “Sparks of artificial general intelligence: Early experiments with GPT-4,” arXiv preprint arXiv:2303.12712, 2023.

[28] M. Mitchell, “Abstraction and analogy-making in artificial intelligence,” Annals New York Acad. Sci., vol. 1505, pp. 79-101, 2021.

[29] J. R. Searle, “Minds, brains, and programs,” Behavioral Brain Sci., vol. 3, no. 3, pp. 417-424, 1980.

[30] D. C. Dennett, “Cognitive wheels: The frame problem of AI,” in Minds, Machines and Evolution, C. Hookway, Ed. Cambridge: Cambridge Univ. Press, 1984, pp. 129-151.

[31] S. L. Blodgett et al., “Language (technology) is power: A critical survey of ‘bias’ in NLP,” in Proc. ACL, 2020, pp. 5454-5476.

[32] T. Bolukbasi et al., “Man is to computer programmer as woman is to homemaker? Debiasing word embeddings,” in Proc. NeurIPS, 2016, pp. 4349-4357.

[33] A. Abid et al., “Persistent anti-Muslim bias in large language models,” in Proc. AIES, 2021, pp. 298-306.

[34] R. Bommasani et al., “On the opportunities and risks of foundation models,” arXiv preprint arXiv:2108.07258, 2021.

[35] S. Gehman et al., “RealToxicityPrompts: Evaluating neural toxic degeneration in language models,” in Proc. EMNLP Findings, 2020, pp. 3356-3369.

[36] L. Weidinger et al., “Ethical and social risks of harm from language models,” arXiv preprint arXiv:2112.04359, 2021.

[37] M. Brundage et al., “The malicious use of artificial intelligence,” Future of Humanity Institute, 2018.

[38] L. Ouyang et al., “Training language models to follow instructions with human feedback,” in Proc. NeurIPS, 2022.

[39] Y. Bai et al., “Constitutional AI: Harmlessness from AI feedback,” arXiv preprint arXiv:2212.08073, 2022.

[40] I. O. Gallegos et al., “Bias and fairness in large language models: A survey,” arXiv preprint arXiv:2309.00770, 2023.

[41] E. Strubell et al., “Energy and policy considerations for deep learning in NLP,” in Proc. ACL, 2019, pp. 3645-3650.

[42] D. Patterson et al., “Carbon emissions and large neural network training,” arXiv preprint arXiv:2104.10350, 2021.

[43] A. S. Luccioni et al., “Power hungry processing: Watts driving the cost of AI deployment?,” in Proc. ACM FAccT, 2024.

[44] R. Schwartz et al., “Green AI,” Commun. ACM, vol. 63, no. 12, pp. 54-63, 2020.

[45] K. Crawford, Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence. New Haven: Yale Univ. Press, 2021.

[46] T. Ahmed et al., “The global AI divide: Techno-nationalist fragmentation and its impacts,” in Proc. AIES, 2023, pp. 789-802.

[47] D. Acemoglu and P. Restrepo, “Automation and new tasks: How technology displaces and reinstates labor,” J. Economic Perspectives, vol. 33, no. 2, pp. 3-30, 2019.

[48] K. Crawford, “Time to regulate AI that interprets human emotions,” Nature, vol. 592, p. 167, 2021.

[49] L. Gao et al., “The Pile: An 800GB dataset of diverse text for language modeling,” arXiv preprint arXiv:2101.00027, 2020.

[50] I. Solaiman, “The gradient of generative AI release: Methods and considerations,” in Proc. ACM FAccT, 2023, pp. 111-122.

[51] N. Hartmann et al., “Portuguese word embeddings: Evaluating on word analogies and natural language tasks,” in Proc. BRACIS, 2017, pp. 122-131.

[52] F. Souza et al., “BERTimbau: Pretrained BERT models for Brazilian Portuguese,” in Proc. BRACIS, 2020, pp. 403-417.

[53] M. Gomes, “Desafios da transformação digital no Brasil: Infraestrutura, educação e soberania tecnológica,” 2024. [Online]. Available: https://maiquelgomes.com.br

[54] M. Gomes, “Inteligência artificial e desenvolvimento: Oportunidades e riscos para países emergentes,” Revista Brasileira de Inovação, vol. 22, no. 1, 2023.

[55] A. Dosovitskiy et al., “An image is worth 16×16 words: Transformers for image recognition at scale,” in Proc. ICLR, 2021.

[56] T. Wolf et al., “Transformers: State-of-the-art natural language processing,” in Proc. EMNLP System Demonstrations, 2020, pp. 38-45.

[57] S. Tay et al., “Efficient transformers: A survey,” ACM Computing Surveys, vol. 55, no. 6, pp. 1-28, 2022.

[58] J. Devlin et al., “BERT: Pre-training of deep bidirectional transformers for language understanding,” in Proc. NAACL-HLT, 2019, pp. 4171-4186.

[59] C. Raffel et al., “Exploring the limits of transfer learning with a unified text-to-text transformer,” J. Machine Learn. Res., vol. 21, pp. 1-67, 2020.

[60] J. Dodge et al., “Documenting large webtext corpora: A case study on the Colossal Clean Crawled Corpus,” in Proc. EMNLP, 2021, pp. 1286-1305.

[61] K. Lee et al., “Deduplicating training data makes language models better,” in Proc. ACL, 2022, pp. 8424-8445.

[62] J. Dodge et al., “Documenting the English Colossal Clean Crawled Corpus,” arXiv preprint arXiv:2104.08758, 2021.

[63] M. Shoeybi et al., “Megatron-LM: Training multi-billion parameter language models using model parallelism,” arXiv preprint arXiv:1909.08053, 2019.

[64] Y. Huang et al., “GPipe: Efficient training of giant neural networks using pipeline parallelism,” in Proc. NeurIPS, 2019, pp. 103-112.

[65] P. Micikevicius et al., “Mixed precision training,” in Proc. ICLR, 2018.

[66] T. Chen et al., “Training deep nets with sublinear memory cost,” arXiv preprint arXiv:1604.06174, 2016.

[67] M. Shoeybi et al., “Megatron-LM: Training multi-billion parameter language models using model parallelism,” arXiv preprint arXiv:1909.08053, 2019.

[68] J. Sevilla et al., “Compute trends across three eras of machine learning,” arXiv preprint arXiv:2202.05924, 2022.

[69] N. Solaiman and C. Dennison, “Process for adapting language models to society (PALMS) with values-targeted datasets,” in Proc. NeurIPS, 2021.

[70] R. Rafailov et al., “Direct preference optimization: Your language model is secretly a reward model,” in Proc. NeurIPS, 2023.

[71] S. Casper et al., “Open problems and fundamental limitations of reinforcement learning from human feedback,” arXiv preprint arXiv:2307.15217, 2023.

[72] T. Dettmers et al., “LLM .int8(): 8-bit matrix multiplication for transformers at scale,” in Proc. NeurIPS, 2022.

[73] A. Frankle and M. Carbin, “The lottery ticket hypothesis: Finding sparse, trainable neural networks,” in Proc. ICLR, 2019.

[74] G. Hinton et al., “Distilling the knowledge in a neural network,” arXiv preprint arXiv:1503.02531, 2015.

[75] E. J. Hu et al., “LoRA: Low-rank adaptation of large language models,” in Proc. ICLR, 2022.

[76] E. Frantar et al., “GPTQ: Accurate post-training quantization for generative pre-trained transformers,” in Proc. ICLR, 2023.

[77] N. Shazeer et al., “Outrageously large neural networks: The sparsely-gated mixture-of-experts layer,” in Proc. ICLR, 2017.

[78] A. Q. Jiang et al., “Mixtral of experts,” arXiv preprint arXiv:2401.04088, 2024.

[79] A. Gu and T. Dao, “Mamba: Linear-time sequence modeling with selective state spaces,” arXiv preprint arXiv:2312.00752, 2023.

[80] A. Gu et al., “Efficiently modeling long sequences with structured state spaces,” in Proc. ICLR, 2022.

[81] P. Lewis et al., “Retrieval-augmented generation for knowledge-intensive NLP tasks,” in Proc. NeurIPS, 2020, pp. 9459-9474.

[82] S. Borgeaud et al., “Improving language models by retrieving from trillions of tokens,” in Proc. ICML, 2022, pp. 2206-2240.

[83] B. Thompson et al., “The computational limits of deep learning,” arXiv preprint arXiv:2007.05558, 2020.

[84] J. Sevilla et al., “Parameter, compute and data trends in machine learning,” Epoch AI Report, 2023.

[85] CAPES, “Orçamento e investimentos em pesquisa no Brasil,” Relatório Anual 2023, Ministério da Educação, Brasil, 2023.

[86] J. Hoffmann et al., “Training compute-optimal large language models,” in Proc. NeurIPS, 2022.

[87] E. Beeching et al., “Open LLM Leaderboard: Transparent evaluation of language models,” Hugging Face Technical Report, 2024.

[88] D. Hendrycks et al., “Measuring massive multitask language understanding,” in Proc. ICLR, 2021.

[89] S. Lin et al., “TruthfulQA: Measuring how models mimic human falsehoods,” in Proc. ACL, 2022, pp. 3214-3252.

[90] A. Lacoste et al., “Quantifying the carbon emissions of machine learning,” arXiv preprint arXiv:1910.09700, 2019.

[91] J. Koomey et al., “Implications of historical trends in the electrical efficiency of computing,” IEEE Annals History Computing, vol. 33, no. 3, pp. 46-54, 2011.

[92] T. Dao et al., “FlashAttention: Fast and memory-efficient exact attention with IO-awareness,” in Proc. NeurIPS, 2022.

[93] W. S. Jevons, The Coal Question: An Inquiry Concerning the Progress of the Nation, and the Probable Exhaustion of Our Coal-Mines. London: Macmillan, 1865.

[94] The Information, “OpenAI’s annualized revenue doubles to $3.7 billion,” Oct. 2024. [Online]. Available: https://www.theinformation.com

[95] Bloomberg, “Anthropic projects $850 million in annual revenue,” Dec. 2024. [Online]. Available: https://www.bloomberg.com

[96] A. M. Conor et al., “Economics of large language model deployment,” arXiv preprint arXiv:2310.03003, 2023.

[97] S&P Global Market Intelligence, “Generative AI market analysis and competitive landscape,” Q3 2024 Report.

[98] U.S. Department of Justice, “Herfindahl-Hirschman Index,” Antitrust Division Guidelines, 2023.

[99] S. Singh et al., “The myth of open-source AI: Access without capacity,” in Proc. AIES, 2024, pp. 445-459.

[100] A. Caliskan et al., “Semantics derived automatically from language corpora contain human-like biases,” Science, vol. 356, no. 6334, pp. 183-186, 2017.

[101] M. Nadeem et al., “StereoSet: Measuring stereotypical bias in pretrained language models,” in Proc. ACL, 2021, pp. 5356-5371.

[102] N. Mehrabi et al., “A survey on bias and fairness in machine learning,” ACM Computing Surveys, vol. 54, no. 6, pp. 1-35, 2021.

[103] E. Hovy and S. Prabhumoye, “Five sources of bias in natural language processing,” Language and Linguistics Compass, vol. 15, no. 8, 2021.

[104] H. Gonen and Y. Goldberg, “Lipstick on a pig: Debiasing methods cover up systematic gender biases in word embeddings but do not remove them,” in Proc. NAACL-HLT, 2019, pp. 609-614.

[105] Y. Talmor et al., “Commonsenseqa: A question answering challenge targeting commonsense knowledge,” in Proc. NAACL-HLT, 2019, pp. 4149-4158.

[106] A. M. Turing, “Computing machinery and intelligence,” Mind, vol. 59, no. 236, pp. 433-460, 1950.

[107] European Commission, “Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act),” 2024.

[108] A. Gwagwa et al., “AI and the global south: Opportunities and risks for developing countries,” ACM Trans. Internet Technol., vol. 22, no. 3, pp. 1-24, 2022.

[109] S. U. Noble, Algorithms of Oppression: How Search Engines Reinforce Racism. New York: NYU Press, 2018.

[110] M. Mitchell et al., “Model cards for model reporting,” in Proc. ACM FAccT, 2019, pp. 220-229.

[111] B. Friedman and D. G. Hendry, Value Sensitive Design: Shaping Technology with Moral Imagination. Cambridge, MA: MIT Press, 2019.

[112] B. Peng et al., “RWKV: Reinventing RNNs for the transformer era,” in Proc. EMNLP Findings, 2023, pp. 14048-14077.

[113] J. Achiam et al., “GPT-4V(ision) system card,” OpenAI Technical Report, 2023.

[114] Z. Chen and B. Liu, “Lifelong machine learning,” Synthesis Lectures on Artificial Intelligence and Machine Learning, vol. 12, no. 3, pp. 1-207, 2018.

[115] A. Garcez et al., “Neurosymbolic AI: The 3rd wave,” Artificial Intelligence Review, vol. 56, pp. 12387-12406, 2023.

[116] C. Sumers et al., “Cognitive architectures for language agents,” arXiv preprint arXiv:2309.02427, 2023.

[117] T. Gebru et al., “Datasheets for datasets,” Commun. ACM, vol. 64, no. 12, pp. 86-92, 2021.

[118] M. Davies et al., “Loihi: A neuromorphic manycore processor with on-chip learning,” IEEE Micro, vol. 38, no. 1, pp. 82-99, 2018.

[119] J. Pearl and D. Mackenzie, The Book of Why: The New Science of Cause and Effect. New York: Basic Books, 2018.

[120] S. Russell, Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking, 2019.

.int8(): 8-bit matrix multiplication for transformers at scale,” in Proc. NeurIPS, 2022.