O gerente de portfólio de IA generativa da Boosted.ai apresenta insights financeiros quase instantâneos com a AWS

Ao mudar de um LLM genérico, que era muito amplo e complicado para suas necessidades, para um modelo adaptado ao seu domínio (mercados de capitais), a Boosted.ai reduziu os custos em 90%, melhorou consideravelmente a eficiência e liberou a capacidade de GPU necessária para escalar sua aplicação de gerenciamento de investimentos com base em IA generativa.

Resumo

Em 2020, a Boosted.ai expandiu sua plataforma de análises financeiras com base em inteligência artificial (IA) ( Boosted Insights), criando um assistente de portfólio por IA para gestores de ativos em um grande modelo de linguagem (LLM) que processava dados de 150.000 fontes. O resultado foi macro insights e análises de tendências de mercado em mais de 60.000 ações de todos os mercados de ações globais (América do Norte, UE e Reino Unido, APAC, Oriente Médio, América Latina e Índia). Porém, o uso de um LLM trouxe algumas desvantagens significativas: um alto custo anual de operação e limitações de capacidade de GPU que eram obstáculos à sua capacidade de escalar.

A Boosted.ai começou a otimizar o domínio de um modelo executado na AWS e:

• reduziu os custos em 90% sem sacrificar a qualidade
• passou de atualizações noturnas para atualizações quase em tempo real, gerando mais valor para seus clientes gestores de investimentos que atuam em centenas de milhares de fontes de dados
• reforçou a segurança e melhorou a personalização com a capacidade de executar um modelo na nuvem privada de um cliente, em vez de executar workloads por meio de uma nuvem de LLM

Introdução

2023 foi o ano em que a IA generativa tornou-se popular. Aumentar a eficiência para fazer mais com menos continuará a estar nas agendas corporativas ao longo de 2024 e além. É fundamental que as equipes tenham uma estratégia sobre como irão incorporar IA generativa para criar ganhos de produtividade. No entanto, mesmo quando há um caso de uso claro, nem sempre é evidente como implementar a IA generativa de uma maneira que faça sentido para os resultados financeiros de uma empresa.

Veja como a Boosted.ai incorporou a IA generativa para automatizar tarefas de pesquisa para seus clientes de gestão de investimentos de uma maneira que melhorou os resultados tanto para a Boosted.ai quanto para seus clientes.

Fundada em 2017, a Boosted.ai oferece uma plataforma de IA e machine learning (ML) (o Boosted Insights) para ajudar gestores de ativos a classificar dados para aumentar sua eficiência, melhorar métricas de portfólio e tomar melhores decisões orientadas por dados. Quando os fundadores viram o impacto dos poderosos LLMs, eles decidiram usar um LLM de código fechado para criar um assistente de gerenciamento de portfólio com base em IA. Da noite para o dia, ele processaria milhões de documentos de 150.000 fontes, incluindo conjuntos de dados não tradicionais, como registros da SEC (10Ks e 10Qs), teleconferências de resultados, publicações comerciais, notícias internacionais, notícias locais e até mesmo moda. Afinal, se você estiver falando sobre a abertura de capital de uma empresa como a Shein, um artigo da  Vogue pode se tornar uma informação relevante sobre investimentos. O Boosted Insights resumiu e reuniu todas essas informações em uma interface de usuário interativa que seus clientes gestores de ativos poderiam analisar por conta própria.

Com seu novo modelo generativo de IA, a Boosted.ai agora enviava informações críticas de investimento a todos os seus clientes, mais de 180 dos maiores gestores de ativos do mundo. Para essas equipes, tempo é dinheiro. Quando algo afeta o preço das ações de uma empresa, a rapidez com que alguém obtém nessas informações e tomas as devidas medidas pode fazer uma diferença de milhares, até mesmo milhões, de dólares. A Boosted.ai deu uma vantagem a esses gestores. Por exemplo, ela sinalizou que a Apple estava transferindo algumas de suas instalações de manufatura para a Índia antes que as notícias surgissem nos principais meios de comunicação, porque o Boosted Insights estava lendo artigos na mídia indiana.

Adicionar um componente de IA generativa ao Boosted Insights automatizou grande parte da pesquisa para transformar uma hipótese de investimento em uma negociação real. Por exemplo, se um investidor estivesse preocupado com uma possível guerra comercial com a China, poderia perguntar ao Boosted Insights: “Quais são os tipos de ações que devo comprar ou vender?” Antes da IA generativa, responder a essa pergunta era um processo de pesquisa de 40 horas, examinando centenas de páginas de relatórios de analistas, artigos de notícias e resumos de lucros. Com um assistente de gerenciamento de portfólio baseado em IA, 80% desse trabalho agora era automatizado.

Solução de problemas de escala com modelos de linguagem específicos do domínio

O lançamento da IA generativa da Boosted.ai foi extremamente bem recebido pelos clientes, mas a empresa queria escalá-lo para executar até 5 ou 10 vezes mais análises e passar de relatórios noturnos para um verdadeiro sistema em tempo real. Mas havia um problema: executar a IA custava quase 1 milhão de dólares por ano em taxas e, mesmo que quisessem comprar mais capacidade de GPU, isso não era possível. Simplesmente não havia capacidade de GPU suficiente para que sua ferramenta de análise financeira de IA se transformasse em uma aplicação em tempo real.

Dimensionamento correto do modelo para reduzir os custos e aumentar a escala

Os desafios da Boosted.ai são cada vez mais comuns para organizações que adotam LLMs e a IA generativa. Como os LLMs são treinados para uso geral, as empresas que treinam esses modelos gastam muito tempo, testes e dinheiro para fazê-los funcionar. Quanto maior o modelo, mais rápida é a computação que ele precisa usar em cada solicitação. Como resultado, para a maioria das organizações, incluindo a Boosted.ai, simplesmente não é viável usar um LLM para uma tarefa específica.

A Boosted.ai decidiu explorar uma abordagem mais direcionada e econômica: ajustar um modelo de linguagem menor para realizar uma tarefa específica. No mundo da IA/ML, esses modelos costumam ser chamados de “código aberto”, mas isso não significa que sejam hackeados por pessoas aleatórias que compartilham uma wiki, como você poderia imaginar com base nos primórdios da codificação de código aberto. Em vez disso, modelos de linguagem de código aberto, como o  Llama 2 da Meta, são treinados em trilhões de pontos de dados e mantidos em ambientes seguros como o Amazon Bedrock. A diferença é que um modelo de código aberto oferece aos usuários acesso total a seus parâmetros e a opção de ajustá-los para tarefas específicas. Os LLMs de código fechado, por outro lado, são uma caixa preta que não permite o tipo de personalização que a Boosted.ai precisava criar.

A capacidade de ajustar seu modelo faria a diferença para Boosted.ai. Através da Rede de Parceiros da AWS, a Boosted.ai conectou-se com a Invisible, cuja rede global de especialistas em treinamento em IA permitiu que a Boosted.ai permanecesse focada em seu trabalho principal de desenvolvimento, enquanto a Invisible fornecia anotação de dados de alta qualidade de maneira mais rápida e econômica do que contratar uma equipe interna para o projeto. Juntas, a AWS, a Invisible e a Boosted.ai encontraram e implementaram o menor modelo possível capaz de lidar com seu caso de uso, comparando com o conjunto de dados padrão do setor, o Massive Multitask Language Understanding (MMLU), para avaliar a performance.

“Nosso objetivo era ter o menor modelo possível com o maior QI possível para nossas tarefas. Entramos no MMLU e analisamos as subtarefas que consideramos altamente relevantes para o que a Boosted.ai está fazendo: microeconomia e macroeconomia, matemática e algumas outras atividades. Pegamos o menor modelo que achávamos que funcionaria e o ajustamos para ser o melhor possível para nossas tarefas. Se isso não funcionasse, passávamos para o modelo de tamanho seguinte e para o próximo nível de inteligência.”

– Joshua Pantony, Boosted.ai co-founder and CEO

Com um modelo mais compacto e eficiente que teve a mesma performance em análises financeiras, a Boosted.ai reduziu os custos em 90%. O grande benefício que eles obtiveram com essa eficiência foi a capacidade de aumentar enormemente a quantidade de dados extraídos, passando de atualizações noturnas para quase em tempo real. Mais importante ainda, eles obtiveram as GPUs de que precisavam para escalar. Onde antes a Boosted.ai precisava de A100 e H100 para executar seus modelos, essa IA generativa mais eficiente e específica para o domínio permitiu que eles executassem uma camada em hardware menor e mais prontamente disponível.

Melhor segurança e personalização com um modelo menor

Depois de ajustar um modelo menor com a mesma eficácia, a Boosted.ai teve capacidade computacional para executar ainda mais análises. Agora, em vez de processar dados de um dia para o outro, eles podiam processar dados a cada minuto e prometer aos clientes um atraso de apenas 5 a 10 minutos entre a ocorrência de um fato e sua detecção pelo Boosted Insights.

O modelo também deu à Boosted.ai mais opções de onde e como eles são implantados. Com um LLM, a Boosted.ai estava enviando a workload para uma nuvem de código fechado, recuperando os resultados e depois armazenando-os. Agora, eles podem implantar dentro da nuvem privada virtual (VPC) de outro cliente na AWS para reforçar a segurança.

“Ter uma estratégia de IA generativa será uma expectativa fundamental para as empresas de gestão de investimentos em 2024, e estamos vendo uma grande demanda de empresas que desejam executar seus dados internos por meio de nossa IA generativa para criar agentes inteligentes. Compreensivelmente, o aproveitamento de dados proprietários gera preocupações com a privacidade. Muitos dos nossos usuários se sentem mais seguros em nosso modelo do que em um LLM grande de código fechado. 90% dos nossos clientes têm uma conta da AWS, e o benefício que estamos vendo é que manter seus dados seguros em sua nuvens AWS privadas é extremamente simples quando executamos na mesma nuvem.”

“Dar acesso a implantações privadas que executam seus dados é muito mais fácil do que tentar criar tudo do zero.”

– Joshua Pantony

Com a tranquilidade extra que um endpoint privado oferece, mais clientes estão dispostos a compartilhar seus dados proprietários para criar insights mais personalizados. Por exemplo, um fundo de hedge pode ter acesso a entrevistas com centenas de CFOs e analistas de gestão. Esse conjunto de dados é muito valioso e confidencial para ser enviado a um endpoint de API pública. Com a abordagem da Boosted.ai específica para o domínio, isso não é necessário. Toda a workload é executada na nuvem do cliente, e eles obtêm insights mais personalizados.

O futuro: modelos de linguagem específicos para o domínio e uma nova maneira de aproveitar o conhecimento especializado

À medida que o modelo de linguagem menor e aperfeiçoado da Boosted.ai cresce, os insights que ele oferece ficarão mais nítidos e quantificados. Por exemplo, hoje ele é capaz de dizer quais empresas são afetadas por um evento, como a guerra na Ucrânia. No futuro, ele será capaz de quantificar esse efeito e dizer: “exatamente 7% da receita dessa empresa será impactada, e aqui está a probabilidade de como será esse impacto”.

Além disso, obter esses insights exigirá menos interação dos usuários. Será possível fazer upload de sua experiência e conhecimento para sua IA personalizada, fazer com que ela verifique um amplo banco de dados de informações e envie ideias exclusivas para você.

A IA é a tecnologia adotada mais rapidamente na história da humanidade e, para as organizações menores, os casos de uso de ponta de hoje provavelmente se tornarão o padrão em poucos anos.

“Estamos em um momento realmente único na história, em que muitas grandes empresas não conhecem o potencial dessa tecnologia e a estão adotando de maneiras abaixo do ideal. Vemos uma tonelada de chatbots vindos de todas as direções. Se você é uma startup hoje, conheça os clientes, conhece seus problemas e está ciente do que a IA generativa é capaz de fazer, há uma probabilidade muito alta de encontrar um valor agregado único.

“Quando você estiver confiante de que tem alguma adequação produto-mercado, eu pensaria em ajustar os modelos menores em relação aos LLMs em termos de velocidade, precisão e sensibilidade dos dados. Se você acha que algum desses aspectos é fundamental para o seu caso de uso, provavelmente vale a pena usar um modelo específico do domínio.”

– Joshua Pantony

Agradecimentos adicionais a Invisible por suas contribuições para este projeto e artigo. A Invisible é uma empresa de inovação operacional que combina perfeitamente IA e automação com uma força de trabalho humana qualificada para desbloquear gargalos de execução estratégica.