Нужно настроить авторизацию входящих h323 звонков по IP адресу, но проблема в том, что часть звонков авторизуется и проходит нормально, а примерно половина отфутболивается и пытается лезть в контекст "default".
в h323.conf прописано UserByAlias=0 и AcceptAnonymous = yes, если прописать AcceptAnonymous = no, то часть звонков которая раньше лезла в "default" просто обрываются.

в конфиге прописано так:

[Office]
type=friend
host=123.123.123.123
nat=no
context=Office

Кто-нибудь сталкивался с такой проблемой ?

авторизация в h323 - это функции гейткипера.
С точки зрения RAS модуль h323 в Астериске - это шлюз. Конечно, шлюз может поддерживать несколько пиров, но менеджировать этим сложно, и это не его функции. Можно предположить, что часть звонков идёт с включенными fast start & h245 tunneling, а часть без.
Исходя из этого наилучший выход - поднять гейткипер, можно на той же машине, где Астериск, только на другом порту, чтобы с самим собой как со шлюзом не пересекаться. И все h323 пиры
регистрировать в нём, статически, или динамически по RAS.

вы привели недостаточно информации из ваших конфигов чтобы понять почему (и какие) некоторые звонки у вас идут не туда (или не идут)
проблема ваша в том что у вас половина пиров просто не настроена (или это сделано кое-как)!
крайне советую выставить AcceptAnonymous = no и всегда и везде это делать если не хотите чтобы в один "прекрасный" день какиенить умники не начали звонить за ваш счет. поверьте - находятся такие лазейки автоматическими сканерами за считанные секунды.
после этого уже нужно начинать настраивать ваши пиры, каждый по отдельности... я обхожусь без гейткипера. но это уже дело вкуса.