Прескокни до содржината
Закажете консултација
МКEN

AI безбедност

AI безбедност за LLM апликации и AI агенти

Јазичните модели и AI агентите читаат текст од извори што не ги контролирате, повикуваат внатрешни алатки и работат со вистински податоци. Тоа отвора патишта за напад што класичното тестирање не ги покрива. Ги тестираме вашите AI апликации од позиција на напаѓач, ги проверуваме заштитните механизми и архитектурата околу нив и ви помагаме да поставите правила за тоа како вработените ги користат AI алатките. Така AI го воведувате без да му верувате повеќе отколку што заслужил.

Закажете консултацијаКако функционира
  1. 01КорисникБарање до AI асистентот или агентот.
  2. 02GuardrailПроверка на влезот и излезот според политики.
  3. 03LLMМодел со најмали потребни привилегии.
  4. 04Алатки и податоциАкции само со одобрение и евиденција.
Заштита на AI апликации: prompt injection запрен пред моделот

AI безбедност

Што добивате

01

Слабостите ги откривате пред напаѓачите

Ви покажуваме каде апликацијата може да се изманипулира со prompt injection, да открие податоци или системски инструкции, или да преземе дејство што не смее, со докази што може да се повторат за секој наод.

02

Агенти со ограничен дострел

Алатките и интеграциите добиваат само овластувања што навистина им требаат, а дејствата со големо влијание чекаат човек да ги одобри.

03

Јасни правила за вработените

Вашите луѓе знаат кои AI алатки смеат да ги користат, кои податоци смеат да ги внесат во нив и кого да прашаат кога не се сигурни.

04

Наоди на заеднички јазик

Секој резултат е мапиран на OWASP Top 10 for LLM Applications 2026 и MITRE ATLAS, па програмерите, тимот за ризици и ревизорите го читаат истиот извештај.

Што е вклучено

  • Безбедносна проценка на LLM апликации, чет-ботови, системи со пребарување низ документи (RAG) и AI агенти
  • Тестирање за директна и индиректна манипулација со инструкции (prompt injection), откривање чувствителни информации, изложување на скриениот контекст (вклучително протекување на системскиот промпт) и прекумерна автономија (excessive agency)
  • Проверка на ракувањето со излезот: дали одговорот на моделот стигнува до прелистувач, база на податоци, командна линија или друг систем без валидација
  • Преглед на слабостите во векторите и embeddings, на пример пребарување што ги заобиколува корисничките овластувања, и на синџирот на снабдување: модели, податочни множества, приклучоци и надворешни API
  • AI red teaming: сценарија на напад насочени кон конкретна цел, опишани со тактиките и техниките од MITRE ATLAS
  • Преглед на заштитните механизми и архитектурата: најмали потребни привилегии за алатките, човечко одобрение за дејства со големо влијание и евидентирање што овозможува истрага
  • Управување со безбедно воведување AI: политика за користење AI алатки, правила за класификација на податоци и проценка на ризикот од AI добавувачи, според NIST AI RMF (AI 100-1)
  • Извештај во кој секој наод е мапиран на OWASP Top 10 for LLM Applications 2026, оценет според ризикот и придружен со конкретна поправка

Како работиме

  1. 01

    Опфат и модел на закани

    Мапираме што чита вашиот AI систем, до кои алатки и податоци има пристап и кој го користи. Така гледаме каде би удрил напаѓачот и колку би ве чинела злоупотребата.

  2. 02

    Тестирање на апликацијата

    Ги тестираме интеграцијата со моделот, механизмот за пребарување и поврзаните алатки според OWASP Top 10 for LLM Applications 2026, со рачни техники и со тестови што може да се повторат.

  3. 03

    Red teaming

    Кога е дел од опфатот, тргнуваме кон конкретна цел на напаѓач, заснована на MITRE ATLAS. На пример, се обидуваме агентот да изнесе податоци откако ќе прочита подметнат документ.

  4. 04

    Заштитни механизми и архитектура

    Ги проверуваме овластувањата, чекорите за одобрување, филтрирањето на влезот и излезот и евидентирањето, и препорачуваме промени во дизајнот, а не само закрпи во промптот.

  5. 05

    Извештај и управување

    Добивате наоди оценети според ризикот, со конкретни поправки, а по потреба и пакет за управување: политика за AI, правила за податоците и проверка на добавувачите, усогласени со NIST AI RMF.

За кого е

  • Банки, осигурителни компании и јавни институции што нудат чет-ботови или асистенти на клиентите и граѓаните
  • Продуктни и развојни тимови што градат LLM апликации, системи со пребарување или AI агенти
  • Организации чии вработени веќе користат јавни AI алатки и на кои им требаат јасни правила и граници за податоците
  • Тимови за ризици и усогласеност на кои им требаат докази дека AI системот е проценет пред да биде пуштен во употреба

Рамки и стандарди

  • OWASP Top 10 for LLM Applications 2026
  • MITRE ATLAS
  • NIST AI RMF (AI 100-1)
  • ISO/IEC 27001:2022

Често поставувани прашања

По што се разликува тестирањето на AI апликација од класичното пенетрациско тестирање?
Класичниот тест бара пропусти во кодот и конфигурацијата. Јазичниот модел додава нов влезен канал: секој текст што го чита, од корисник, веб-страница или документ, може да се обиде да му го промени однесувањето. Го тестираме токму тој канал и она што моделот смее да го прави со својот излез, заедно со вообичаените проверки на веб-апликацијата и API.
Што опфаќа OWASP Top 10 for LLM Applications 2026?
Тоа е листата на OWASP со десет клучни категории ризици за апликации засновани на големи јазични модели: LLM01 Prompt Injection, LLM02 Sensitive Information Disclosure, LLM03 Excessive Agency, LLM04 Supply Chain, LLM05 Data and Model Poisoning, LLM06 Unbounded Consumption, LLM07 Misinformation, LLM08 Hidden Context Exposure, LLM09 Vector and Embedding Weaknesses и LLM10 Improper Output Handling. Го замени изданието од 2025 година во август 2026; протекувањето на системскиот промпт сега спаѓа во Hidden Context Exposure. Врз неа го градиме планот за тестирање и на неа ги мапираме наодите.
Што е AI red teaming?
Вежба насочена кон цел. Наместо да одиме по листа за проверка, тргнуваме од целта на напаѓачот, на пример да извлече податоци за клиенти или преку агент да предизвика неовластено плаќање, и се обидуваме да стигнеме до неа со поврзување на повеќе слабости. Патеките на напад ги опишуваме со MITRE ATLAS, базата на знаење за тактиките и техниките на напаѓачите врз AI системи.
Нашите вработени веќе користат јавни AI алатки. Од каде да почнеме?
Од кратка, практична политика: кои алатки се одобрени, кои категории податоци никогаш не смеат да се внесат и како вработените бараат одобрение за нова алатка. Ја градиме заедно со вас врз NIST AI RMF (AI 100-1) и неговите четири функции, Govern, Map, Measure и Manage, ја поврзуваме со постојната класификација на податоци и ги додаваме AI добавувачите во проценката на ризикот од добавувачи.
Дали и вие користите AI во својата работа?
Да, според истите правила што ви ги препорачуваме. Во нашиот SOC, AI ја подготвува првата анализа на алармот, но одлучуваат луѓе. Секое дејство што може да ја наруши работата, како блокирање сообраќај или изолирање уред, бара одобрение од аналитичар и се евидентира со тоа кој го одобрил и кога.

Поврзани услуги

Пенетрациско тестирање и red teamingРачно тестирање на мрежи, апликации, облак и луѓе, со наоди оценети по CVSS, јасни извештаи и повторен тест на поправките.Дознајте повеќеИмплементација на ISO 27001Систем за управување со безбедност на информации според ISO/IEC 27001:2022, изграден околу вашите ризици, од опфат до сертификација.Дознајте повеќеОбука за безбедност и фишинг симулацииОбука според улогите и етички фишинг симулации што градат култура на пријавување, на македонски и англиски јазик.Дознајте повеќе

Да разговараме за вашата безбедност

Кажете ни што ви треба: мониторинг 24/7, тестирање или подготовка за законот усогласен со NIS2. Во краток разговор ќе ги договориме опфатот и следните чекори.

Закажете консултација+389 75 340 034

Пон–Пет 09:00–17:00 · SOC 24/7 · info@diverto.mk