생성형 인공지능과 MongoDB를 사용하여 사이버 보안의 가장 중대한 과제 해결

Mat Keep and Lena Smart
March 13, 2024 | Updated: March 20, 2024

끊임없이 진화하는 사이버 보안 환경에서 조직은 최첨단 기술 기반의 혁신적인 솔루션을 필요로 하는 수많은 어려움에 직면합니다.

가장 시급한 문제 중 하나는 멀웨어, 랜섬웨어, 피싱 공격을 비롯한 사이버 위협이 갈수록 정교해지고 있다는 점입니다. 이러한 위협의 탐지 및 완화는 점점 더 어려워지고 있습니다. 또한 디지털 인프라의 급속한 확장으로 공격 표면이 넓어져서 보안 팀이 모든 진입 및 출구 지점을 모니터링하고 보호하기가 더욱 어려워졌습니다. 또 다른 중요한 문제는 숙련된 사이버 보안 전문가의 부족(독립적인 설문 조사에 따르면 전 세계적으로 약 4백만 명의 숙련된 사이버 보안 전문 직원이 부족한 것으로 추정)으로, 이 때문에 많은 조직은 공격에 취약합니다.

이러한 어려움은 디지털 자산과 데이터를 보호하기 위한 인간의 노력을 보강할 수 있는 고급 기술의 필요성이 더욱 두드러집니다.

생성형 인공지능은 어떻게 도움이 될까요?

생성형 인공지능(gen AI)은 이러한 사이버 보안 문제를 해결하는 강력한 도구로 부상했습니다. 생성형 인공지능은 거대 언어 모델(LLM)을 활용하여 기존 데이터 세트를 기반으로 새로운 데이터 또는 패턴을 생성함으로써 다음과 같은 몇 가지 주요 영역에서 혁신적인 솔루션을 제공할 수 있습니다.

향상된 위협 탐지 및 대응

생성형 인공지능을 사용하면 정교한 악성 코드 및 피싱 공격을 비롯한 사이버 위협의 시뮬레이션을 만들 수 있습니다. 이러한 시뮬레이션을 통해 머신 러닝 모델을 훈련하여 새로운 위협과 진화하는 위협을 더욱 정확하게 탐지할 수 있습니다.

또한 생성형 인공지능은 위협에 실시간으로 대응하는 자동 대응 시스템 개발에 도움이 될 수 있습니다. 이렇게 하더라도 사람이 감독할 필요가 없어지는 것은 아니지만, 수동 개입과 노고의 필요가 감소하므로 공격을 보다 신속하게 줄일 수 있습니다. 예를 들어 적절한 감독을 통해 취약한 시스템에 패치를 자동으로 적용하거나 공격 벡터를 차단하도록 방화벽 규칙을 조정할 수 있습니다. 이러한 자동화된 신속 대응 기능은 취약점 발견과 공격자의 악용 사이의 시간이 매우 짧을 수 있는 제로데이 취약점을 완화하는 데 특히 유용합니다.

보안 이벤트 사후 분석으로 실행 가능한 통찰력 획득

사이버 보안 이벤트가 발생한 후 철저한 사후 분석을 수행하는 것은 이벤트의 원인, 발생 이유, 향후 유사한 이벤트를 예방할 수 있는 방법을 파악하는 데 매우 중요합니다.

생성형 인공지능은 로그, 네트워크 트래픽, 보안 경고를 비롯한 다양한 소스의 복잡한 데이터를 종합하고 요약하여 이 프로세스에서 중추적인 역할을 할 수 있습니다. 생성형 인공지능은 이러한 데이터를 분석하여 보안 침해에 기여했을 수 있는 패턴과 이상 현상을 식별할 수 있으며, 인간 분석가가 정보량과 복잡성 때문에 간과할 수 있는 통찰력을 제공할 수 있습니다.

더 나아가 생성형 인공지능은 주요 결과, 원인 요인과 잠재적 취약점을 강조하는 종합적인 보고서를 생성하여 사후 분석 프로세스를 간소화할 수 있습니다. 이 기능은 복구 및 학습 프로세스를 가속화할 뿐만 아니라 조직이 보다 효과적인 복구 전략을 구현하여 궁극적으로 사이버 보안 태세를 강화할 수 있도록 지원합니다.

심층 모델 학습을 위한 합성 데이터 생성

사이버 보안 시스템 학습을 위한 실제 데이터의 부족은 상당한 장애물로 작용합니다. 생성형 인공지능은 민감한 정보의 노출 없이 실제 네트워크 트래픽과 사용자 행동을 미러링한 사실적인 합성 데이터 세트를 생성할 수 있습니다.

탐지 시스템의 학습에 이러한 합성 데이터를 활용하여 개인정보나 보안을 침해하지 않고도 정확도와 효율성을 향상시킬 수 있습니다.

피싱 탐지 자동화

피싱은 여전히 가장 자주 등장하는 공격 벡터 중 하나입니다. 생성형 인공지능은 피싱 이메일과 웹사이트의 패턴을 분석하여 높은 정확도로 피싱 시도를 예측하고 탐지하는 모델을 생성할 수 있습니다.

조직은 이러한 모델을 이메일 시스템과 웹 브라우저에 통합하여 피싱 콘텐츠를 자동으로 필터링함으로써 잠재적인 위협으로부터 사용자를 보호할 수 있습니다.

종합: 기회와 위험

생성형 인공지능은 복잡한 프로세스를 자동화하고, 위협 탐지 및 대응을 강화하며, 사이버 위협에 대한 보다 깊은 이해를 제공함으로써 사이버 보안 관행 혁신의 가능성을 보여줍니다. 업계에서 생성형 인공지능을 사이버 보안 전략에 통합하는 노력이 지속됨에 따라 이 기술의 윤리적 사용과 오용 가능성에 대한 경계심을 유지하는 것이 중요합니다.

그럼에도 불구하고 생성형 인공지능이 디지털 방어의 강화에 선사하는 이점은 부인할 수 없습니다. 이 기술은 현재도 계속되고 있는 사이버 위협과의 전쟁에서 귀중한 자산이 될 것입니다.

MongoDB는 어떻게 도움이 될까요?

개발팀은 MongoDB를 사용하여 강력하고 정확하며 차별화된 실시간 사이버 방어를 어떤 규모로든 더 빠르게 구축하고 배포할 수 있습니다.

MongoDB가 이를 실현하는 방법을 이해하려면 AI 기술 스택이 다음과 같은 세 계층으로 구성되어 있다는 점을 고려해야 합니다.

기반 컴퓨팅(GPU) 및 LLM
모델의 미세 조정을 위한 도구 및 올바른 컨텍스트의 학습과 훈련된 모델에 대한 비교 추론을 위한 도구
AI 애플리케이션 및 관련 최종 사용자 경험

MongoDB는 이 스택의 두 번째 계층에서 작동합니다. 고객은 MongoDB를 활용하여 모든 컴퓨팅 인프라에서 실행되는 모든 LLM으로 자체 소유 데이터를 가져와 생성형 인공지능 기반 사이버 보안 애플리케이션을 구축할 수 있습니다.

MongoDB는 사이버 보안에 생성형 인공지능을 도입할 때 발생하는 가장 어려운 문제를 해결함으로써 이를 가능하게 합니다. 즉, MongoDB Atlas는 운영 데이터, 비정형 데이터와 벡터 데이터를 단일 완전 관리형 cloud 플랫폼에서 안전하게 통합하므로 서로 다른 시스템 간에 데이터를 복사하고 동기화할 필요가 없습니다. 또한 개발팀은 MongoDB의 문서 기반 아키텍처를 활용하여 애플리케이션 데이터와 벡터 임베딩 간의 관계를 쉽게 모델링할 수 있습니다. 이를 통해 보안 관련 데이터에 관한 보다 심층적이고 신속한 분석과 통찰력을 얻을 수 있습니다.

**그림 1:** MongoDB Atlas는 최신 사이버 보안 애플리케이션을 구축하는 데 필요한 모든 데이터 서비스를 통합 API 및 개발자 데이터 플랫폼에 통합했습니다.

MongoDB의 개방형 아키텍처는 AI 개발자 프레임워크, LLM과 임베딩 제공업체를 포함하는 풍부한 에코시스템과 통합되어 있습니다. 업계를 선도하는 MongoDB의 멀티 cloud 기능과 이러한 에코시스템을 함께 활용하면 개발팀이 급속도로 변화하는 환경에서 특정 cloud 공급자나 AI 기술에 얽매이지 않고 신속하게 이동이 가능한 유연성을 확보할 수 있습니다.

MongoDB로 AI 기반 앱을 구축하는 방법에 관한 자세한 정보는 AI 리소스 페이지를 확인하세요.

실제 사이버 보안 애플리케이션에 생성형 인공지능 및 MongoDB 적용

위협 인텔리전스

ExTrac은 인공지능 기반 분석과 MongoDB Atlas를 활용하여 수천 개의 소스에서 데이터를 분석하여 공공 안전 위험을 예측합니다. 이 플랫폼은 처음에는 서방 정부의 분쟁 예측에 도움이 되었지만, 점차 기업으로 확대되어 평판 관리 등에 활용되고 있습니다.

ExTrac은 MongoDB의 문서 데이터 모델을 활용하여 복잡한 데이터를 효율적으로 관리하고, 이를 통해 실시간 위협 식별을 강화할 수 있습니다. Atlas Vector Search는 언어 모델을 보강하고 텍스트, 이미지 및 동영상을 위한 벡터 임베딩을 관리하여 기능을 더욱 빠르게 개발할 수 있게 합니다. 이러한 접근 방식을 통해 ExTrac은 모든 형태와 구조의 데이터를 처리하는 MongoDB의 유연성과 성능을 활용하여 트렌드를 효율적으로 모델링하고, 진화하는 내러티브를 추적하고, 고객의 위험을 예측할 수 있습니다. ExTrac 사례 연구에서 자세히 알아보세요.

Cybersec 평가

VISO TRUST는 인공지능을 활용하여 타사 사이버 위험 평가를 간소화함으로써 복잡한 공급업체 보안 정보에 빠르게 액세스해 정보에 기반한 의사 결정을 내릴 수 있도록 지원합니다.

VISO TRUST의 플랫폼은 Amazon Bedrock 및 MongoDB Atlas를 활용하여 공급업체 보안 실사를 자동화하함으로써 보안 팀의 워크로드를 크게 줄여 줍니다. VISO TRUST 플랫폼의 인공지능 기반 접근 방식에는 보안 문서를 분류하고, 조직을 탐지하고, 아티팩트 내 보안 제어 위치를 예측하는 아티팩트 인텔리전스가 포함됩니다. MongoDB Atlas는 RAG를 통해 LLM의 정확도를 높여서 즉각적이고 실행 가능한 보안 인사이트를 제공하는 고밀도 검색 시스템을 위한 텍스트 임베딩을 호스팅합니다. VISO TRUST는 이러한 혁신적인 기술을 사용하여 신속하고 확장 가능한 사이버 위험 평가를 제공함으로써 InstaCart, Upwork와 같은 기업의 업무를 줄이고 시간을 절약할 수 있습니다.

MongoDB의 유연한 문서 데이터베이스와 Atlas Vector Search는 방대한 양의 데이터의 관리와 쿼리에 중요한 역할을 하며, 포괄적인 사이버 위험 인텔리전스를 제공하고자 하는 VISO TRUST의 사명을 지원합니다. Viso Trust 사례 연구에서 자세히 알아보세요.

시작하기 위한 단계

벡터 임베딩으로 인코딩된 자체 운영 데이터를 통해 보강된, LLM으로 구동되는 생성형 인공지능은 사이버 보안에 새로운 가능성을 열어 줍니다. 이러한 기술과 그 가능성에 대해 자세히 알아보려면 Atlas Vector Search Learning Byte를 살펴보세요. 단 10분만에 다양한 사용 사례의 개요와 시작 방법을 확인할 수 있습니다.

¹ 1 Hill, M. (2023, April 10). 상당한 채용 노력에도 불구하고 사이버 보안 인력은 400만 명이 부족합니다. CSO.

← Previous

Use a IA generativa e o MongoDB para enfrentar os maiores desafios da segurança cibernética

No cenário dinâmico da segurança cibernética, as organizações enfrentam uma série de desafios que exigem soluções inovadoras respaldadas por tecnologias de ponta. Um dos problemas mais urgentes é a crescente sofisticação das ameaças cibernéticas, como ataques de malware, ransomware e phishing, que estão se tornando mais difíceis de detectar e mitigar. Além disso, a rápida expansão das infraestruturas digitais ampliou a superfície de ataque, tornando mais difícil para as equipes de segurança monitorar e proteger todos os pontos de entrada e saída. Outro desafio significativo é a escassez de profissionais qualificados em segurança cibernética. Pesquisas independentes estimam que há apenas cerca de 4 milhões deles em todo o mundo, o que deixa muitas organizações vulneráveis a ataques. Esses desafios ressaltam a necessidade de tecnologias avançadas que possam aumentar os esforços humanos para proteger ativos e dados digitais. Como a IA generativa pode ajudar? A IA generativa surgiu como uma ferramenta poderosa para enfrentar esses desafios de segurança cibernética. Ao usar modelos de linguagem grande (LLMs) para gerar novos dados ou padrões com base em conjuntos de dados existentes, a IA generativa pode oferecer soluções inovadoras em várias áreas importantes: Detecção e resposta aprimoradas a ameaças A IA generativa pode ser usada para criar simulações de ameaças cibernéticas, incluindo ataques sofisticados de malware e phishing. Essas simulações ajudam no treinamento de modelos de machine learning para detectar com mais precisão ameaças novas e em evolução. Além disso, a IA generativa pode contribuir para o desenvolvimento de sistemas de resposta automatizados que reagem a ameaças em tempo real. A supervisão humana será sempre necessária, mas isso reduz a necessidade de intervenção e trabalho manual, permitindo uma atenuação mais rápida dos ataques. Por exemplo, com a supervisão adequada, a IA pode instalar automaticamente patches em sistemas vulneráveis ou ajustar as regras de firewall para bloquear vetores de ataque. Esse recurso de resposta rápida automatizada é particularmente valioso na atenuação de vulnerabilidades de dia zero, quando o período entre a descoberta de uma vulnerabilidade e sua exploração por invasores pode ser muito curta. Aprendizagens práticas com a análise post mortem de eventos de segurança Na sequência de um incidente de segurança cibernética, a realização de uma análise post mortem completa é fundamental para entender o que aconteceu, por que aconteceu e como eventos semelhantes podem ser evitados no futuro. A IA generativa pode desempenhar um papel fundamental nesse processo, sintetizando e resumindo dados complexos de várias fontes, como registros, tráfego de rede e alerta de segurança. Ao analisar esses dados, a IA generativa identifica padrões e anomalias que possam ter contribuído para a violação de segurança e oferecem insights que podem ter sido ignorados por analistas humanos devido ao grande volume e à complexidade das informações. Além disso, ela pode gerar relatórios abrangentes que destacam as principais descobertas, fatores causais e vulnerabilidades em potencial, agilizando o processo post mortem. Esse recurso acelera o processo de recuperação e aprendizado, e também permite que as organizações implementem estratégias de correção mais eficazes, fortalecendo sua postura de segurança cibernética. Geração de dados sintéticos para treinamento de modelos profundos A falta de dados do mundo real para o treinamento de sistemas de segurança cibernética é um obstáculo significativo. A IA generativa pode criar conjuntos de dados sintéticos e realistas que espelham o tráfego de rede genuíno e o comportamento do usuário sem expor informações confidenciais. É possível usar esses dados sintéticos para treinar sistemas de detecção, melhorando sua precisão e eficácia sem comprometer a privacidade nem a segurança. Automatização da detecção de phishing O phishing continua sendo um dos vetores de ataque mais comuns. A IA generativa pode analisar padrões em e-mails e sites de phishing, gerando modelos que preveem e detectam tentativas de phishing com alta precisão. Ao integrar esses modelos a sistemas de e-mail e navegadores da web, as organizações podem filtrar automaticamente o conteúdo de phishing e protegendo os usuários contra possíveis ameaças. Resumo: as oportunidades e os riscos A IA generativa promete revolucionar as práticas de segurança cibernética com automatização de processos complexos, aprimoramento de detecção e de resposta a ameaças e apresentação de análises mais profundas das ameaças. À medida que a indústria continua integrando a IA generativa às estratégias de segurança cibernética, é crucial observar o uso ético dessa tecnologia e o potencial de uso indevido. No entanto, os benefícios que ela oferece no fortalecimento das defesas digitais são inegáveis, tornando-a uma ferramenta inestimável na batalha contínua contra as ameaças cibernéticas. Como o MongoDB pode ajudar? Com o MongoDB, suas equipes de desenvolvimento podem criar e implementar defesas cibernéticas robustas, corretas e diferenciadas em tempo real com mais rapidez e em qualquer escala. Para entender como o MongoDB faz isso, considere que a pilha de tecnologia de IA é composta por três camadas: A computação subjacente (GPUs) e os LLMs As ferramentas de ajuste fino dos modelos e as ferramentas de aprendizado e inferência no contexto em relação aos modelos treinados Os aplicativos de AI e as experiências relacionadas do usuário final O MongoDB opera na segunda camada da pilha. Ele permite que os clientes tragam seus próprios dados proprietários para qualquer LLM em execução em qualquer infraestrutura de computação para criar aplicativos de segurança cibernética orientados por IA generativa. O MongoDB é capaz de fazer isso porque adota a IA generativa para cuidar dos problemas mais complexos relacionados à segurança cibernética. O MongoDB Atlas unifica com segurança dados operacionais, dados não estruturados e dados vetoriais em uma plataforma multinuvem e totalmente gerenciada, evitando a necessidade de copiar e sincronizar dados entre diferentes sistemas. A arquitetura baseada em documentos do MongoDB também permite que as equipes de desenvolvimento modelem com facilidade relacionamentos entre os dados do seu aplicativo e as incorporações de vetores. Isso permite análises e insights mais profundos e rápidos dos dados relacionados à segurança. Figura 1: o MongoDB Atlas reúne todos os serviços de dados necessários para criar aplicativos modernos de segurança cibernética em uma API unificada e uma plataforma de dados para desenvolvedores. A arquitetura aberta do MongoDB é integrada a um rico ecossistema de estruturas de desenvolvedores de AI, LLMs e provedores de incorporação. Combinado com nossos recursos de estrutura multinuvem líderes do setor, isso permite que sua equipe de desenvolvimento tenha flexibilidade para agir com rapidez e impedir que sua empresa fique presa a um determinado fornecedor de nuvem ou tecnologia de IA, o que representa uma vantagem importante em um mercado tão dinâmico. Confira nossa página de recursos de IA para saber mais sobre como criar aplicativos baseados em IA com o MongoDB. Como usar a IA generativa e o MongoDB em aplicativos reais de segurança cibernética Inteligência de ameaças A ExTrac usa a IA e o MongoDB Atlas para analisar dados de milhares de fontes e prever riscos à segurança pública. Inicialmente, a plataforma ajudava os governos de países ocidentais a prever conflitos, mas agora está se expandindo para prestar serviços a empresas, como gerenciamento de reputação e muito mais. O modelo de dados de documento do MongoDB permite que a ExTrac gerencie dados complexos com eficiência, aprimorando a identificação de ameaças em tempo real. O Atlas Vector Search ajuda a aumentar os modelos de linguagem e a gerenciar as incorporações de vetores para textos, imagens e vídeos, acelerando o desenvolvimento de recursos. Essa abordagem permite que a ExTrac modele tendências com eficiência, rastreie narrativas em evolução e preveja riscos para seus clientes, mas sem abrir mão da flexibilidade e do poder do MongoDB para lidar com dados de qualquer formato e estrutura. Saiba mais no nosso estudo de caso da ExTrac . Avaliações de segurança cibernética A VISO TRUST usa a IA para agilizar a avaliação de riscos cibernéticos de terceiros, tornando as informações complexas de segurança do fornecedor rapidamente acessíveis para uma tomada de decisão fundamentada. Com o Amazon Bedrock e o MongoDB Atlas, a plataforma VISO TRUST automatiza a devida diligência da segurança do fornecedor, reduzindo significativamente a carga de trabalho das equipes de segurança. Sua abordagem orientada por IA envolve inteligência de artefatos que classifica documentos de segurança, detecta organizações e prevê locais de controle de segurança em artefatos. O MongoDB Atlas hospeda texto incorporado para proporcionar um sistema de recuperação denso que aprimora a precisão dos LLMs com geração aumentada por recuperação ( RAG ), fornecendo percepções de segurança instantâneas e acionáveis. Esse uso inovador da tecnologia permite que a VISO TRUST ofereça avaliações de risco cibernético rápidas e dimensionáveis, com reduções significativas de trabalho e tempo para empresas como a InstaCart e a Upwork. O banco de dados de documentos flexível do MongoDB e o Atlas Vector Search desempenham papéis essenciais no gerenciamento e na consulta de grandes quantidades de dados, apoiando a missão da VISO TRUST de fornecer inteligência abrangente em riscos cibernéticos. Saiba mais no nosso estudo de caso da Viso Trust. Como dar os primeiros passos A IA generativa alimentada por LLMs aumentada com seus próprios dados operacionais codificados como incorporações vetoriais está abrindo muitas novas possibilidades no campo da segurança cibernética. Se quiser saber mais sobre a tecnologia e suas possibilidades, dê uma olhada no nosso learning byte sobre o Atlas Vector Search . Em apenas 10 minutos, você terá uma visão geral de diferentes casos de uso e como começar. 1 1 Hill, M. (2023, 10 de abril). A escassez de mão de obra em segurança cibernética atinge 4 milhões, apesar do significativo esforço de recrutamento. OSC.

March 13, 2024

Next →

How the NFSA is Using MongoDB Atlas and AI to Make Aussie Culture Accessible

Where can you find everything from facts about Kylie Minogue, to more than 6,000 Australian home movies, to a 60s pop group playing a song with a drum-playing kangaroo ? The NFSA! Founded in 1935, the National Film and Sound Archive of Australia (NFSA) is one of the oldest archives of its kind in the world. It is tasked with collecting, preserving, and sharing Australia’s audiovisual culture. According to its website, the NFSA “represents not only [Australia’s] technical and artistic achievements, but also our stories, obsessions and myths; our triumphs and sorrows; who we were, are, and want to be.” The NFSA’s collection includes petabytes of audiovisual data—including broadcast-quality news footage, TV shows, and movies, high-resolution photographs, radio shows, and video games—plus millions of physical and contextual items like costumes, scripts, props, photographs, and promotional materials, all tucked away in a warehouse. “Today, we have eight petabytes of data, and our data is growing from one to two petabytes each year,” said Shahab Qamar, software engineering manager at NFSA. Making this wealth of data easily accessible to users across Australia (not to mention all over the world) has led to a number of challenges, which is where MongoDB Atlas—which helps developers simplify and accelerate building with data—comes in. Don’t change (but apply a few updates) Because of its broad appeal, the NFSA's collection website alone receives an average of 100,000 visitors each month. When Qamar joined the NFSA in 2020, he saw an opportunity to improve the organization’s web platform. His aim was to ensure the best possible experience for the site’s high number of daily visitors, which had begun to plateau. This included a website refresh, as well as addressing technical issues related to handling site traffic, due to the site being hosted on on-premises servers. The site also wasn’t “optimized for Google Analytics,” said Qamar. In fact, the NFSA website was invisible to Google and other search engines, so he knew it was time for a significant update, which also presented an opportunity to set up strong data foundations to build deeper capabilities down the line. But first, Qamar and team needed to find a setup that could serve the needs of the NFSA and Australia’s 26 million residents more robustly than their previous solution. Specifically, Qamar said, the NFSA was looking for a fully managed database that could also implement search at scale, as well as a system that his small team of five could easily manage. It also needed to ensure high levels of resiliency and the ability to work with more than one cloud provider. The previous NFSA site also didn’t support content delivery networks , he added. MongoDB Atlas supported all of the use cases the NFSA was looking for, Qamar said, including the ability to support multi-cloud hosting. And because Atlas is fully managed, it would readily meet the NFSA's requirements. In July 2023, after months of development, the new and greatly improved NFSA website was launched in July 2023. The redesign was immediately impactful: Since the NFSA’s redesigned site was launched, the number of users visiting the collection search website has gone up 200%, and content requests—which the NFSA access team responds to on a case-by-case basis—have gone up 16%. (Getting search) back in black While the previous version of the NFSA site included search, the prior functionality was prone to crashing, and the quality of the results was often poor, Qamar said. For example, search results were delivered alphabetically rather than based on relevance, and the previous search didn’t support fine-tuning of relevance based on matches in specific fields. So, as part of its site redesign, the NFSA was looking to add full text search, relevance-based search results, faceting, and pagination. MongoDB Atlas Search —which integrates the database, search engine, and sync mechanism into a single, unified, fully managed platform—ticked all of those boxes. A search results page on the NFSA website Indeed, the NFSA compared search results from its old site to its new MongoDB Atlas site and “found that MongoDB Atlas-based searches were more relevant and targeted,” Qamar said. Previously, configuring site search required manual coding and meant downtime for the site, he noted. “The whole setup wasn’t very developer friendly and, therefore, a barrier to working efficiently with search configuration and fine-tuning,” Qamar said. In comparison, MongoDB Atlas allowed for simple configuration and fine-tuning of the NFSA's search requirements. The NFSA has also been using MongoDB Atlas Charts . Charts help the NFSA easily visualize its collection by custom grouping (like production year or genre), as well as helping the NFSA see which items are most popular with users. “Charts have helped us understand how our collection is growing and evolving over time,” Qamar said. NFSA’s use of MongoDB Charts Can’t get you (AI) out of my head Now, the NFSA—inspired by Qamar’s own training in machine learning and the broad interest in all things AI—is exploring how it can use Atlas Vector Search and generative AI tools to allow users to explore content buried in the NFSA collection. One example cited is putting transcriptions of audiovisual files in NFSA’s collection into a vector database for retrieval-augmented generation (RAG). The NFSA has approximately 27 years worth—meaning, it would take 27 years to play it all back—of material to transcribe, and is currently developing a model to accurately capture the Australian dialect so the work is transcribed correctly. Ultimately, the NFSA is interested in building a RAG-powered AI bot to provide historically and contextually accurate information about work in the NFSA’s archive. The NFSA is also exploring how it can use RAG to deliver accurate, conversation-like search results without training large language models itself, and whether it can leverage AI to help restore some of the older videos in its collection. Qamar and team are also interested in vectorizing audio-visual material for semantic analysis and genre-based classification of collection material at scale, he said. “Historically, we’ve been very metadata-driven and keyword-driven, and I think that’s a missed opportunity. Because when we talk about what an archive does, we archive stories,” Qamar said of the possibilities offered by vectors. “An example I use is, what if the world ended tomorrow? And what if aliens came to Earth and only saw our metadata, what image of Australia would they see? Is that a true image of what Australia is really like?” Qamar said. “How content is described is important, but content’s imagery, the people in it, and the audio and words being spoken are really important. Full-text search can take you somewhere along the way, but vector search allows you to look things up in a semantic manner. So it’s more about ideas and concepts than very specific keywords,” he said. If you’re interested in learning how MongoDB helps accelerate and simplify time-to-mission for federal, state, and local governments, defense agencies, education, and across the public sector, check out MongoDB for Public Sector . Check out MongoDB Atlas Vector Search to learn more about how Vector Search helps organizations like the NFSA build applications powered by semantic search and gen AI. *Note that this story’s subheads come from Australian song titles!

May 14, 2024