«Яндекс» представил тесты для национального ИИ. Без участия человека они все равно не обойдутся

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+

«Яндекс» 13 августа представил концепцию национального датасета на совещании рабочей группы по регулированию и административным барьерам ИИ, пишет «Коммерсант» со ссылкой на источник, близкий к Минцифры, и участника встречи. Датасет должен будет представлять собой набор тестовых заданий и эталонных данных, по которым можно оценить, насколько ИИ-система «соответствует духу времени и ценностям страны», а также пригодна для «использования в российских условиях».

UDP: В самом «Яндексе» заявили, что не представляли такую концепцию, а лишь участвовали в рабочей встрече в Минцифры вместе с другими компаниями. Там «Яндекс» высказал свою позицию — содержание датасета должно быть открытым по общепринятым принципам отрасли, утверждают в компании.

Одним из главных предметов спора стала публичность датасета, заявил один из источников. ФСБ настаивает на закрытом формате, чтобы разработчики не могли «настроить» модель на прохождение тестирования. Бизнес возражает, что закрытый формат может оказаться «несообразно сложным для прохождения» и затормозит развитие моделей, и предлагают оставить его публичным. Как компромисс обсуждается комбинированный формат: открытый бенчмарк — для публичного тестирования и прозрачности, закрытый — для финальной проверки по тем же темам, но с другими формулировками вопросов.

Открытым остается вопрос, кто будет определять содержание бенчмарка. ИТ-сообщество предлагает создать совместную комиссию с участием органов власти, бизнеса и экспертных организаций, чтобы бенчмарк получился сбалансированным. Полностью автоматизировать отбор из-за «ценностной» части теста не получится: в отличие от математики, программирования и других задач с однозначным ответом, здесь нет четкого эталона, поэтому потребуется «рубрикаторная или экспертная оценка», отмечает директор по ИБ GreenData Роман Перепонов.

В аппарате вице-премьера Дмитрия Григоренко и в Минцифры подтвердили, что все предложения обсуждаются с отраслью и заинтересованными ведомствами, а говорить о конкретных решениях преждевременно. Подзаконные акты к закону об ИИ также еще в работе. «Яндекс» и Альянс ИИ на запрос «Коммерсанта» не ответили.

Скопировать ссылку