MULTIMODAL SUN’IY INTELLEKT TIZIMLARI: MATN, TASVIR VA OVOZNI BIRGALIKDA QAYTA ISHLASH TEXNOLOGIYALARI
Ключевые слова:
multimodal sun’iy intellekt, neyron tarmoqlar, mashinaviy o‘rganish, matn-tasvir mosligi, nutqni tanish, embedding, cross-attention, kontrastiv o‘qitish, ma’lumotlar sinteziАннотация
Maqolada matn, tasvir va ovoz signallarini yagona hisoblash tizimida tahlil qilishga imkon beruvchi multimodal sun’iy intellekt texnologiyalarining nazariy asoslari, asosiy arxitekturalari va amaliy qo‘llanish yo‘nalishlari yoritiladi. Ma’lumotlarni alohida kodlash, umumiy semantik makonda moslashtirish va turli modalitetlardan olingan belgilarni birlashtirish bosqichlari tahlil qilinadi. Erta, kech va gibrid birlashtirish usullari qiyoslanib, kontrastiv o‘qitish, cross-attention va umumiy embedding makonining vazifalari tushuntiriladi. Shuningdek, ma’lumotlar sifati, modalitetlar nomutanosibligi, noto‘g‘ri xulosa chiqarish, maxfiylik va hisoblash xarajatlari bilan bog‘liq muammolar ko‘rib chiqiladi. Yakunda o‘zbek tilidagi resurslar va amaliy joriy etish sharoitlariga mos bosqichma-bosqich yondashuv taklif etiladi. Maqola mavjud ilmiy adabiyotlar tahliliga asoslangan bo‘lib, yangi tajriba natijalarini da’vo qilmaydi.
Библиографические ссылки
1. Baltrušaitis, T., Ahuja, C., Morency, L.-P. Multimodal Machine Learning: A Survey and Taxonomy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(2), 423–443. DOI: https://doi.org/10.1109/TPAMI.2018.2798607
2. Radford, A., Kim, J. W., Hallacy, C., et al. Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139, 2021, pp. 8748–8763. https://proceedings.mlr.press/v139/radford21a.html
3. Alayrac, J.-B., Donahue, J., Luc, P., et al. Flamingo: a Visual Language Model for Few-Shot Learning. Advances in Neural Information Processing Systems, 2022. https://arxiv.org/abs/2204.14198
4. Girdhar, R., El-Nouby, A., Liu, Z., et al. ImageBind: One Embedding Space To Bind Them All. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 15180–15190. DOI: https://doi.org/10.1109/CVPR52729.2023.01457
5. Vaswani, A., Shazeer, N., Parmar, N., et al. Attention Is All You Need. Advances in Neural Information Processing Systems, 2017, 30. https://arxiv.org/abs/1706.03762
