Fireworks AI e MongoDB: le app IA più veloci con i migliori modelli, alimentate dai tuoi dati

Mat Keep and Angela Lee
March 26, 2024 | Updated: April 11, 2024

Siamo lieti di annunciare che Fireworks AI e MongoDB stanno ora diventando partner per rendere l'innovazione con l'IA generativa più veloce, più efficiente e più sicura. Fireworks AI è stata fondata alla fine del 2022 da veterani del settore provenienti dal team PyTorch di Meta, dove si sono concentrati sull'ottimizzazione delle prestazioni, sul miglioramento dell'esperienza degli sviluppatori e sull'esecuzione di applicazioni IA su larga scala.

È questa competenza che Fireworks AI apporta alla sua piattaforma di produzione IA, curando e ottimizzando i principali modelli aperti del settore. Il benchmarking dell'azienda mostra che i modelli di IA generativa in esecuzione su Fireworks AI offrono velocità di inferenza fino a 4 volte maggiori rispetto alle piattaforme alternative, con throughput e scalabilità fino a 8 volte superiori.

I modelli fanno parte dello stack dell'applicazione. Ma per sbloccare la potenza dell'IA generativa, gli sviluppatori devono anche portare i dati aziendali in quei modelli. Ecco perché Fireworks AI è diventato partner di MongoDB, affrontando una delle sfide più difficili per l'adozione dell'IA. Con MongoDB Atlas, gli sviluppatori possono unificare in sicurezza i dati operativi, i dati non strutturati e gli incorporamenti vettoriali, per creare in modo sicuro applicazioni ed esperienze IA coerenti, corrette e differenziate.

Insieme, Fireworks AI e MongoDB offrono una soluzione per gli sviluppatori che desiderano sfruttare modelli open-source altamente curati e ottimizzati e combinarli con i dati proprietari della propria organizzazione, il tutto con una velocità e una sicurezza senza precedenti.

Modelli velocissimi di Fireworks AI: velocità, efficienza e valore garantiti

Grazie alla sua velocissima piattaforma di inferenza, Fireworks AI cura, ottimizza e distribuisce oltre 40 diversi modelli di IA. Queste ottimizzazioni possono portare contemporaneamente a notevoli risparmi sui costi, a una riduzione della latency e a un miglioramento del throughput. La loro piattaforma fornisce questo tramite:

  • Modelli standard, modelli ottimizzati e componenti aggiuntivi: Fireworks AI fornisce una collection di modelli di testo, incorporamento e base di immagini di alta qualità. Gli sviluppatori possono sfruttare questi modelli o perfezionare e distribuire i propri, abbinandoli ai propri dati proprietari utilizzando MongoDB Atlas.

  • Funzionalità di ottimizzazione: per migliorare ulteriormente la precisione e la velocità del modello, Fireworks AI offre anche un servizio di ottimizzazione utilizzando la sua CLI per acquisire oggetti in formato JSON da database come MongoDB Atlas.

  • Interfacce e API semplici per lo sviluppo e la produzione: il playground Fireworks AI consente agli sviluppatori di interagire con i modelli direttamente in un browser. È anche possibile accedervi a livello di programmazione tramite una comoda REST API. Questo è compatibile con l'API OpenAI e quindi interagisce con l'ecosistema LLM più ampio.

  • Cookbook: un cookbook semplice e facile da usare fornisce un set completo di ricette pronte all'uso che possono essere adattate a vari casi d'uso, tra cui la messa a punto, la generazione e la valutazione.

Fireworks AI e MongoDB: definizione dello standard per l'IA con modelli curati, ottimizzati e veloci

Con Fireworks AI e MongoDB Atlas, le app vengono eseguite in ambienti isolati garantendo tempi di attività e privacy, protetti da sofisticati controlli di sicurezza che soddisfano gli standard normativi più severi:

  • Essendo uno dei principali fornitori di API di modelli open source, Fireworks AI serve 66 miliardi di token al giorno (e oltre).

  • Con Atlas, esegui le tue app su una piattaforma collaudata che serve decine di migliaia di clienti, dalle startup in forte crescita alle più grandi aziende e governi.

Insieme, la soluzione congiunta Fireworks AI e MongoDB consente:

  • RAG o Q&A da un vasto bacino di documenti: ingerisci un gran numero di documenti per produrre sintesi e dati strutturati che possono poi alimentare l'IA conversazionale.

  • Classificazione tramite ricerca semantica/somiglianza: classifica e analizza concetti ed emozioni provenienti da chiamate di vendita, videoconferenze e altro per fornire informazioni e strategie migliori. Oppure, organizza e classifica un catalogo di prodotti utilizzando immagini e testo.

  • Estrazione da immagini a dati strutturati: estrai significato dalle immagini per produrre dati strutturati che possono essere elaborati e ricercati in una vasta gamma di app per la visione: dalle foto stock, alla moda, al rilevamento di oggetti, alla diagnostica medica.

  • Intelligence sugli avvisi: elabora grandi quantità di dati in tempo reale per rilevare e avvisare automaticamente su casi di frode, minacce alla sicurezza informatica e altro ancora.

Figura 1: Il tutorial di Fireworks mostra come trasferire i propri dati su LLM con retrieval-augmented generation (RAG) e MongoDB Atlas

Introduzione a Fireworks AI e MongoDB Atlas

Per aiutarti a iniziare, consulta il tutorial IA "Ottimizzazione RAG con MongoDB Atlas e Fireworks AI", che mostra come creare un'app per consigliare film e prevede:

  • MongoDB Atlas Database che indicizza i film utilizzando gli incorporamenti. (Archivio vettoriale)

  • Un sistema per la generazione di incorporamenti di documenti. Utilizzeremo l'API di incorporamento di Fireworks per creare incorporamenti da dati di testo. (Vettorializzazione)

  • MongoDB Atlas Vector Search risponde alle domande degli utenti convertendo la query in un incorporamento, recuperando i filmati corrispondenti. (Motore di recupero)

  • Il modello Mixtral utilizza l'API di inferenza di Fireworks per generare i consigli. È possibile anche usare anche Llama, Gemma e altri fantastici modelli OSS. (LLM)

  • Caricamento del set di dati Mflix di esempio di MongoDB Atlas per generare incorporamenti (set di dati)

Possiamo anche aiutarti a progettare la migliore architettura per le esigenze della tua organizzazione. Mettiti in contatto con il team del tuo account o contattaci qui per programmare una sessione collaborativa ed esplorare come Fireworks AI e MongoDB possono ottimizzare il tuo processo di sviluppo dell'IA.

← Previous

Fireworks AI e MongoDB: os aplicativos de IA mais rápidos com os melhores modelos, alimentados por seus dados

Temos o prazer de anunciar que o Fireworks AI e o MongoDB estão se unindo para tornar a inovação com IA generativa mais rápida, eficiente e segura. O Fireworks AI foi fundado no final de 2022 por veteranos do setor e integrantes da equipe PyTorch da Meta que se concentraram na otimização do desempenho, na melhoria da experiência do desenvolvedor e na execução de aplicativos de IA em grande escala. É essa experiência que o Fireworks AI traz para sua plataforma de IA de produção, selecionando e otimizando os principais modelos abertos do setor. O benchmarking da empresa mostra que os modelos de IA generativa executados no Fireworks AI operam com velocidades de inferência até 4 vezes mais rápidas do que as plataformas alternativas, com taxa de transferência e escala até 8 vezes maiores. Os modelos são uma parte da pilha de aplicação. No entanto, para que os desenvolvedores possam desbloquear o poder da IA generativa, eles também precisam trazer dados corporativos para esses modelos. É por isso que o Fireworks AI fez uma parceria com o MongoDB, abordando um dos desafios mais difíceis para a adoção da IA. Com o MongoDB Atlas , os desenvolvedores podem unificar com segurança dados operacionais, dados não estruturados e incorporações vetoriais para criar com segurança aplicações e experiências de IA consistentes, corretas e diferenciadas. Juntos, o Fireworks AI e o MongoDB oferecem uma solução para desenvolvedores que desejam aproveitar modelos de código aberto altamente selecionados e otimizados e combiná-los com os dados proprietários da própria organização – e fazer tudo isso com velocidade e segurança incomparáveis. Modelos ultrarrápidos do Fireworks AI: permitindo velocidade, eficiência e valor Com plataforma de inferência ultrarrápida, o Fireworks AI seleciona, otimiza e implanta mais de 40 modelos diferentes de IA. Essas otimizações podem resultar simultaneamente em economia significativa de custos, latência reduzida e taxa de transferência aprimorada. A plataforma oferece isso por meio de: Modelos prontos para uso, modelos otimizados e complementos: o Fireworks AI fornece uma coleção de modelos de base de texto, incorporação e imagem de alta qualidade . Os desenvolvedores podem aproveitar esses modelos ou ajustar e implantar os seus próprios, combinando-os com seus dados proprietários por meio do MongoDB Atlas. Recursos de ajuste fino : para melhorar ainda mais a precisão e a velocidade do modelo, o Fireworks AI também oferece um serviço de ajuste fino usando sua CLI para ingerir objetos formatados em JSON de bancos de dados como o MongoDB Atlas. Interfaces e API simples para desenvolvimento e produção: o playground do Fireworks AI permite que desenvolvedores interajam com modelos diretamente no navegador. Ele também pode ser acessado de forma programática por meio de uma REST API conveniente. Isso é compatível com a API OpenAI e, portanto, interopera com o ecossistema LLM mais amplo. Livro de receitas: um livro de receitas simples e fácil de usar que fornece um conjunto amplo de receitas prontas para uso que podem ser adaptadas para vários casos de uso, incluindo ajuste fino, geração e avaliação. Fireworks AI e MongoDB: definindo o padrão para IA com modelos selecionados, otimizados e rápidos Com o Fireworks AI e o MongoDB Atlas, os aplicativos são executados em ambientes isolados, garantindo tempo de atividade e privacidade, protegidos por controles de segurança sofisticados que atendem aos padrões regulatórios mais rígidos: Como um dos principais fornecedores de API de modelo de código aberto, o Fireworks AI fornece 66 bilhões de tokens por dia (e esse número só cresce). Com o Atlas, você executa seus aplicativos em uma plataforma comprovada que atende a dezenas de milhares de clientes, desde startups de alto crescimento até as maiores empresas e governos. Juntas, a solução conjunta do Fireworks AI e do MongoDB permite: RAG ou perguntas e respostas a partir de um vasto conjunto de documentos: ingerir inúmeros documentos para produzir resumos e dados estruturados que podem alimentar a IA conversacional. Classificação por meio de pesquisa semântica/similaridade: classifique e analise conceitos e emoções de chamadas de vendas, videoconferências e muito mais para garantir inteligência e estratégias melhores. Ou organize e classifique um catálogo de produtos usando imagens e texto do produto. Imagens para extração de dados estruturados: extraia o significado das imagens para produzir dados estruturados que possam ser processados e pesquisados em uma variedade de aplicativos de visão – de fotos de banco de imagens à moda, detecção de objetos e diagnósticos médicos. Inteligência de alerta: processe grandes quantidades de dados em tempo real para detectar e alertar automaticamente sobre casos de fraude, ameaças à segurança cibernética e muito mais. Figura 1: o tutorial do Fireworks mostra como trazer seus próprios dados para LLMs com o RAG e o MongoDB Atlas Introdução ao Fireworks AI e ao MongoDB Atlas Para ajudar você a começar, analise o tutorial Otimizando o RAG com o MongoDB Atlas e o Fireworks AI , que mostra como criar um aplicativo de recomendação de filmes e envolve Banco de dados MongoDB Atlas que indexa filmes usando incorporações. (Vector Store) Um sistema para geração de incorporação de documentos. Usaremos a API de incorporação do Fireworks para criar incorporações a partir de dados de texto. (Vetorização) O MongoDB Atlas Vector Search responde às consultas do usuário convertendo a consulta em uma incorporação, buscando os filmes correspondentes. (Mecanismo de recuperação) O modelo Mixtral usa a API de inferência do Fireworks para gerar as recomendações. Você também pode usar o Llama, o Gemma e outros modelos OSS excelentes, se desejar. (LLM) Carregando o conjunto de dados Mflix de amostra do MongoDB Atlas para gerar incorporações (conjunto de dados) Também podemos ajudar você a projetar a melhor arquitetura de acordo com necessidades da sua organização. Sinta-se à vontade para entrar em contato com a equipe responsável pela sua conta ou entre em contato com a gente por aqui para agendar uma sessão colaborativa e explorar como o Fireworks AI e o MongoDB podem otimizar seu processo de desenvolvimento de IA.

March 26, 2024
Next →

How the NFSA is Using MongoDB Atlas and AI to Make Aussie Culture Accessible

Where can you find everything from facts about Kylie Minogue, to more than 6,000 Australian home movies, to a 60s pop group playing a song with a drum-playing kangaroo ? The NFSA! Founded in 1935, the National Film and Sound Archive of Australia (NFSA) is one of the oldest archives of its kind in the world. It is tasked with collecting, preserving, and sharing Australia’s audiovisual culture. According to its website, the NFSA “represents not only [Australia’s] technical and artistic achievements, but also our stories, obsessions and myths; our triumphs and sorrows; who we were, are, and want to be.” The NFSA’s collection includes petabytes of audiovisual data—including broadcast-quality news footage, TV shows, and movies, high-resolution photographs, radio shows, and video games—plus millions of physical and contextual items like costumes, scripts, props, photographs, and promotional materials, all tucked away in a warehouse. “Today, we have eight petabytes of data, and our data is growing from one to two petabytes each year,” said Shahab Qamar, software engineering manager at NFSA. Making this wealth of data easily accessible to users across Australia (not to mention all over the world) has led to a number of challenges, which is where MongoDB Atlas—which helps developers simplify and accelerate building with data—comes in. Don’t change (but apply a few updates) Because of its broad appeal, the NFSA's collection website alone receives an average of 100,000 visitors each month. When Qamar joined the NFSA in 2020, he saw an opportunity to improve the organization’s web platform. His aim was to ensure the best possible experience for the site’s high number of daily visitors, which had begun to plateau. This included a website refresh, as well as addressing technical issues related to handling site traffic, due to the site being hosted on on-premises servers. The site also wasn’t “optimized for Google Analytics,” said Qamar. In fact, the NFSA website was invisible to Google and other search engines, so he knew it was time for a significant update, which also presented an opportunity to set up strong data foundations to build deeper capabilities down the line. But first, Qamar and team needed to find a setup that could serve the needs of the NFSA and Australia’s 26 million residents more robustly than their previous solution. Specifically, Qamar said, the NFSA was looking for a fully managed database that could also implement search at scale, as well as a system that his small team of five could easily manage. It also needed to ensure high levels of resiliency and the ability to work with more than one cloud provider. The previous NFSA site also didn’t support content delivery networks , he added. MongoDB Atlas supported all of the use cases the NFSA was looking for, Qamar said, including the ability to support multi-cloud hosting. And because Atlas is fully managed, it would readily meet the NFSA's requirements. In July 2023, after months of development, the new and greatly improved NFSA website was launched in July 2023. The redesign was immediately impactful: Since the NFSA’s redesigned site was launched, the number of users visiting the collection search website has gone up 200%, and content requests—which the NFSA access team responds to on a case-by-case basis—have gone up 16%. (Getting search) back in black While the previous version of the NFSA site included search, the prior functionality was prone to crashing, and the quality of the results was often poor, Qamar said. For example, search results were delivered alphabetically rather than based on relevance, and the previous search didn’t support fine-tuning of relevance based on matches in specific fields. So, as part of its site redesign, the NFSA was looking to add full text search, relevance-based search results, faceting, and pagination. MongoDB Atlas Search —which integrates the database, search engine, and sync mechanism into a single, unified, fully managed platform—ticked all of those boxes. A search results page on the NFSA website Indeed, the NFSA compared search results from its old site to its new MongoDB Atlas site and “found that MongoDB Atlas-based searches were more relevant and targeted,” Qamar said. Previously, configuring site search required manual coding and meant downtime for the site, he noted. “The whole setup wasn’t very developer friendly and, therefore, a barrier to working efficiently with search configuration and fine-tuning,” Qamar said. In comparison, MongoDB Atlas allowed for simple configuration and fine-tuning of the NFSA's search requirements. The NFSA has also been using MongoDB Atlas Charts . Charts help the NFSA easily visualize its collection by custom grouping (like production year or genre), as well as helping the NFSA see which items are most popular with users. “Charts have helped us understand how our collection is growing and evolving over time,” Qamar said. NFSA’s use of MongoDB Charts Can’t get you (AI) out of my head Now, the NFSA—inspired by Qamar’s own training in machine learning and the broad interest in all things AI—is exploring how it can use Atlas Vector Search and generative AI tools to allow users to explore content buried in the NFSA collection. One example cited is putting transcriptions of audiovisual files in NFSA’s collection into a vector database for retrieval-augmented generation (RAG). The NFSA has approximately 27 years worth—meaning, it would take 27 years to play it all back—of material to transcribe, and is currently developing a model to accurately capture the Australian dialect so the work is transcribed correctly. Ultimately, the NFSA is interested in building a RAG-powered AI bot to provide historically and contextually accurate information about work in the NFSA’s archive. The NFSA is also exploring how it can use RAG to deliver accurate, conversation-like search results without training large language models itself, and whether it can leverage AI to help restore some of the older videos in its collection. Qamar and team are also interested in vectorizing audio-visual material for semantic analysis and genre-based classification of collection material at scale, he said. “Historically, we’ve been very metadata-driven and keyword-driven, and I think that’s a missed opportunity. Because when we talk about what an archive does, we archive stories,” Qamar said of the possibilities offered by vectors. “An example I use is, what if the world ended tomorrow? And what if aliens came to Earth and only saw our metadata, what image of Australia would they see? Is that a true image of what Australia is really like?” Qamar said. “How content is described is important, but content’s imagery, the people in it, and the audio and words being spoken are really important. Full-text search can take you somewhere along the way, but vector search allows you to look things up in a semantic manner. So it’s more about ideas and concepts than very specific keywords,” he said. If you’re interested in learning how MongoDB helps accelerate and simplify time-to-mission for federal, state, and local governments, defense agencies, education, and across the public sector, check out MongoDB for Public Sector . Check out MongoDB Atlas Vector Search to learn more about how Vector Search helps organizations like the NFSA build applications powered by semantic search and gen AI. *Note that this story’s subheads come from Australian song titles!

May 14, 2024