Awesome VLM Architectures

VLM Architecturesを扱う資料や関連プロジェクトをまとめたAwesomeリストです。

目次

• 引用
• モデル
• リリース年表
• アーキテクチャ
• 重要な参考資料

引用

このリポジトリが役立つ場合は、以下の情報で引用できます。個別モデルの主張には原論文も引用してください。このカタログは文献案内であり、原資料の代替ではありません。

Gökay Aydoğanがfal.aiで作成・保守しています（ORCID、gokay@fal.ai）。

構成図は図版クレジットで個別に帰属を示し、図版通知記載の権利に従います。

@misc{aydogan2024awesomevlmarchitectures,
  author       = {Gökay Aydoğan},
  title        = {Awesome VLM Architectures},
  year         = {2024},
  howpublished = {\url{https://github.com/gokayfem/awesome-vlm-architectures}},
  note         = {GitHub repository, fal.ai},
  url          = {https://github.com/gokayfem/awesome-vlm-architectures}
}

モデル

すべてのアーキテクチャパネルはリリース日の新しい順です。同日公開のモデルは編集上のカタログ順を維持します。

リリース年表

日付は確認できる最初の公式モデルリリースを使い、ない場合は論文のarXiv v1投稿または最初の技術報告を使います。同系列のポイントリリースは最初のアーキテクチャ公開へ統合し、同日項目はカタログ順を維持します。

アーキテクチャ

MODUS: Decoder-Only Any-to-Any Multimodal Modeling

MODUSの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Mingqiao Ye et al., EPFL
Released: 2026-07-28

_{Figure 2. Decoder-only any-to-any modeling across tokenized 1D and 2D modalities. Source paper, PDF p. 4. Figure notice.}

Argus-Unified: Economical Understanding and Generation

Argus-Unifiedの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Weiming Zhuang et al.
Released: 2026-07-28

_{Figure 3. Two-stage hybrid-token training for unified image understanding and generation. Source paper, PDF p. 4. Figure notice.}

Kimi K3: Kimi Delta Attention at Trillion-Parameter Scale

Kimi K3の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 896。

Kimi Team, Moonshot AI
Released: 2026-07-27

_{Figure 2. Kimi Delta Attention, Stable LatentMoE, Attention Residuals, and MoonViT-V2. Source paper, PDF p. 3. Figure notice.}

Mage-VL: Codec-Native Streaming Multimodality

Mage-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Senqiao Yang et al., Microsoft Research
Released: 2026-07-27

_{Figure 3. Codec-native streaming perception with an event gate and causal language decoder. Source paper, PDF p. 8. Figure notice.}

Inkling: Relative-Position Multimodal Mixture of Experts

Inklingの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Thinking Machines Lab
Released: 2026-07-15

Architecture figure: The official Inkling model card contains no architecture figure.

Hy-Embodied-VLM: Sparse-MoE Reasoning for Physical Agents

Hy-Embodied-VLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 1.0。

Tencent Robotics X, Hy Vision Team and Futian Laboratory
Released: 2026-07-15

_{Figure 4. Self-evolving supervised fine-tuning, rejection sampling, and specialized reinforcement learning. Source paper, PDF p. 11. Figure notice.}

MonkeyOCRv2: Document-Native Visual-Text Pretraining

MonkeyOCRv2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 17。

Yuliang Liu et al.
Released: 2026-07-11

_{Figure 1. Document-native pretraining through text generation and pixel reconstruction. Source paper, PDF p. 2. Figure notice.}

MiniMax M3: Native Multimodality with Sparse Long-Context Attention

MiniMax M3の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 109B。

MiniMax
Released: 2026-06-11

_{Figure 1. MiniMax Sparse Attention index and exact-attention branches. Source paper, PDF p. 1. Figure notice.}

InternVideo3: Multimodal Contextual Reasoning for Video Agents

InternVideo3の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Ziang Yan et al.
Released: 2026-06-10

_{Figure 2. InternVideo3 with multimodal multi-head latent attention across long contexts. Source paper, PDF p. 7. Figure notice.}

Keye-VL 2.0: Sparse Attention for Long-Video Agents

Keye-VL 2.0の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2.0、256K。

Kwai Keye Team
Released: 2026-06-09

_{Figure 2. Four-stage curriculum extending Keye-VL from alignment to 256K context. Source paper, PDF p. 8. Figure notice.}

Zamba2-VL: Hybrid State-Space Vision-Language Modeling

Zamba2-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2。

Zyphra
Released: 2026-06-02

_{Figure 1. Zamba2 hybrid state-space language backbone connected to a vision encoder. Source paper, PDF p. 3. Figure notice.}

Cosmos 3: Omnimodal World Modeling with Mixture of Transformers

Cosmos 3の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 3。

NVIDIA
Released: 2026-05-31

_{Figure 5. Mixture-of-Transformers reasoner and generator with shared attention. Source paper, PDF p. 11. Figure notice.}

Lance: Unified Image and Video Understanding, Generation, and Editing

Lanceの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Lance Team
Released: 2026-05-18

_{Figure 6. Dual-expert sequence modeling for understanding and visual generation. Source paper, PDF p. 9. Figure notice.}

ZAYA1-VL: Vision-Specialized Compressed Convolutional Attention

ZAYA1-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Zyphra
Released: 2026-05-08

_{Figure 2. Visual routing, compressed convolutional attention, and a hybrid language backbone. Source paper, PDF p. 5. Figure notice.}

Falcon Perception: Early-Fusion Grounding, Segmentation, and OCR

Falcon Perceptionの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Technology Innovation Institute
Released: 2026-05-03

_{Figure 1. Early-fusion perception Transformer with grounding, geometry, and segmentation pathways. Source paper, PDF p. 3. Figure notice.}

GLM-5V-Turbo: Native Multimodal Agency

GLM-5V-Turboの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

GLM-V Team
Released: 2026-04-29

_{Figure 2. Multimodal multi-token prediction with image placeholders and shared Transformer blocks. Source paper, PDF p. 3. Figure notice.}

PLaMo 2.1-VL: Lightweight Japanese Vision-Language Modeling

PLaMo 2.1-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2.1-、2B、8B。

Tommi Kerola et al., Preferred Networks
Released: 2026-04-21

Architecture figure: The PLaMo 2.1-VL paper contains application and data figures, but no model architecture diagram.

EXAONE 4.5: Native Multimodal Pretraining for Documents

EXAONE 4.5の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 4.5。

Eunbi Choi et al., LG AI Research
Released: 2026-04-09

_{Figure 1. Native-resolution vision encoding, projection, language decoding, and multi-token prediction. Source paper, PDF p. 2. Figure notice.}

BidirLM and BidirLM-Omni: Causal Decoders as Multimodal Encoders

BidirLM and BidirLM-Omniの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

BidirLM Team
Released: 2026-04-02

_{Figure 10. Specialist-backbone merging with frozen modality projection heads. Source paper, PDF p. 25. Figure notice.}

Gemma 4: Open-Weight Native Multimodal Models

Gemma 4の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 4。

Gemma Team, Google DeepMind
Released: 2026-03-31

_{Figure 2. Aspect-preserving image resizing, patch pooling, and soft-token production. Source paper, PDF p. 16. Figure notice.}

Penguin-VL: Efficient VLMs with LLM-Based Vision Encoders

Penguin-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Boqiang Zhang, Lei Ke, Ruihan Yang, Qi Gao, Tianyuan Qu, Rossell Chen, Dong Yu, Leoweiliang
Released: 2026-03-06

_{Figure 3. An LLM-initialized vision encoder with priority-aware video-token compression. Source paper, PDF p. 4. Figure notice.}

Phi-4-Reasoning-Vision: Compact Multimodal Reasoning

Phi-4-Reasoning-Visionの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 4-、15B。

Jyoti Aneja, Michael Harrison, Neel Joshi, Tyler LaBonte, John Langford, Eduardo Salinas
Released: 2026-03-04

_{Figure 3. SigLIP2 vision encoding, cross-modal projection, mid-fusion, and language reasoning. Source paper, PDF p. 4. Figure notice.}

V-SONAR and V-LCM: Vision-Language Modeling in Concept Space

V-SONAR and V-LCMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Yifu Qiu, Paul-Ambroise Duquenne, Holger Schwenk
Released: 2026-03-01

_{Figure 1. Visual-semantic alignment and concept-space prediction. Source paper, PDF p. 3. Figure notice.}

Qwen3.5: Native Multimodal Hybrid-Attention Models

Qwen3.5の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 5、6。

Qwen Team
Released: 2026-02-16

Architecture figure: Qwen3.5 has no public technical paper containing an architecture figure.

Youtu-VL: Unified Autoregressive Supervision for Dense Vision

Youtu-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Tencent Youtu Lab
Released: 2026-01-27

_{Figure 3. Unified visual-text autoregressive supervision and dense-output decoding. Source paper, PDF p. 3. Figure notice.}

Kimi K2.5 and K2.6: Native Multimodal Agentic MoE

Kimi K2.5 and K2.6の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 5、6。

Kimi Team, Moonshot AI
Released: 2026-01-27

_{Figure 10. Agentic reinforcement-learning environments, rollout management, and training services. Source paper, PDF p. 23. Figure notice.}

Step3-VL-10B: Language-Aligned Perception with 16× Token Compression

Step3-VL-10Bの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 10B、1.8B、8B。

StepFun
Released: 2026-01-14

Architecture figure: The Step3-VL-10B report contains performance and RL figures, but no architecture diagram.

ERNIE 5.0: Unified Autoregressive Omnimodal Mixture of Experts

ERNIE 5.0の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 5.0、2.4T。

Baidu ERNIE Team
Released: 2025-11-13

_{Figure 2. Unified image understanding, image generation, and video generation objectives. Source paper, PDF p. 6. Figure notice.}

DeepSeek-OCR: Visual Context Compression through DeepEncoder

DeepSeek-OCRの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

DeepSeek-AI
Released: 2025-10-20

_{Figure 3. A SAM-CLIP DeepEncoder connected to a sparse language decoder. Source paper, PDF p. 5. Figure notice.}

PaddleOCR-VL: Ultra-Compact Multilingual Document Parsing

PaddleOCR-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 4.5-0.3B、0.9B。

PaddleOCR Team, Baidu
Released: 2025-10-16

_{Figure 2. Document layout analysis, compact VLM inference, instructions, and structured output. Source paper, PDF p. 5. Figure notice.}

Qwen3-VL: DeepStack Vision-Language Models

Qwen3-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Qwen Team
Released: 2025-09-22

_{Figure 1. Vision encoding, DeepStack injection, and dense or mixture-of-experts decoding. Source paper, PDF p. 3. Figure notice.}

Step3: Model-System Co-Design for Cost-Effective Multimodal Intelligence

Step3の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 321B、38B。

StepFun
Released: 2025-07-25

_{Figure 6. Attention-FFN disaggregation across attention and expert instances. Source paper, PDF p. 11. Figure notice.}

GLM-4.1V-Thinking: General-Purpose Multimodal Reasoning through Curriculum-Sampled RL

GLM-4.1V-Thinkingの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 4.、9B。

GLM-V Team, Zhipu AI and Tsinghua University
Released: 2025-07-01

_{Figure 2. Native-resolution vision encoding, projection, decoding, and timestamped video tokens. Source paper, PDF p. 4. Figure notice.}

ERNIE 4.5-VL: Heterogeneous Modality Mixture-of-Experts

ERNIE 4.5-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 4.5-。

Baidu ERNIE Team
Released: 2025-06-30

Architecture figure: ERNIE 4.5-VL has no public paper containing an extractable architecture figure.

MiMo-VL: Multimodal Pretraining with Mixed On-Policy Reinforcement Learning

MiMo-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2.4T。

Xiaomi MiMo Team
Released: 2025-06-04

_{Figure 2. Native-resolution vision encoding, projection, and language decoding. Source paper, PDF p. 6. Figure notice.}

BAGEL: A Mixture-of-Transformer-Experts for Unified Understanding and Generation

BAGELの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Chaorui Deng, Deyao Zhu, Kunchang Li, Chenhui Gou, Feng Li, Zeyu Wang, Shu Zhong, Weihao Yu, Xiaonan Nie, Ziang Song, Guang Shi, Haoqi Fan
Released: 2025-05-20

_{Figure 2. Shared self-attention with understanding and generation Transformer experts. Source paper, PDF p. 4. Figure notice.}

Seed1.5-VL: Sparse-MoE Multimodal Understanding and Agentic Reasoning

Seed1.5-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 5-、532M、20B。

ByteDance Seed Team
Released: 2025-05-11

_{Figure 1. Native-resolution vision encoding, adaptation, sparse MoE decoding, and timestamped video. Source paper, PDF p. 5. Figure notice.}

InternVL3 and InternVL3.5: Native Multimodal Pretraining and Adaptive Resolution

InternVL3 and InternVL3.5の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 5。

InternVL Team, OpenGVLab
Released: 2025-04-11

Architecture figure: The InternVL3 paper contains evaluation figures, but no definitive model architecture diagram.

Kimi-VL: Native-Resolution Vision with a Sparse MoE Decoder

Kimi-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2.8B、16B、128K。

Kimi Team
Released: 2025-04-10

_{Figure 3. MoonViT, multimodal projection, and a sparse mixture-of-experts decoder. Source paper, PDF p. 3. Figure notice.}

Llama 4 Scout and Maverick: Native Multimodal Mixture-of-Experts Models

Llama 4 Scout and Maverickの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 4、17B。

Meta
Released: 2025-04-05

Architecture figure: The official Llama 4 model card describes the architecture in text and tables only.

Qwen2.5-Omni: Streaming Multimodal Perception and Speech Generation

Qwen2.5-Omniの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 5-。

Qwen Team
Released: 2025-03-26

_{Figure 2. Thinker-Talker architecture for multimodal perception and streaming speech. Source paper, PDF p. 3. Figure notice.}

Gemma 3: Long-Context Multimodality with Efficient Interleaved Attention

Gemma 3の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 3、128K。

Gemma Team
Released: 2025-03-12

Architecture figure: The Gemma 3 report contains examples and analysis charts, but no architecture diagram.

Aya Vision: Multilingual Multimodality through Cross-Modal Model Merging

Aya Visionの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Cohere Labs
Released: 2025-03-04

Architecture figure: The Aya Vision paper contains data and evaluation figures, but no model architecture diagram.

Phi-4-multimodal: Text, Vision, and Speech through Mixture-of-LoRAs

Phi-4-multimodalの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 4-。

Microsoft Phi Team
Released: 2025-03-03

_{Figure 1. Vision and audio encoders, projectors, and modality-specific LoRA routes. Source paper, PDF p. 4. Figure notice.}

SigLIP 2: Multilingual Vision-Language Encoders with Native-Aspect-Ratio Support

SigLIP 2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2。

Michael Tschannen, Alexey Gritsenko, Xiao Wang, Muhammad Ferjad Naeem, Ibrahim Alabdulmohsin, Nikhil Parthasarathy, Talfan Evans, Lucas Beyer, et al.
Released: 2025-02-20

_{Figure 1. Combined contrastive, captioning, masked-prediction, and self-distillation objectives. Source paper, PDF p. 2. Figure notice.}

EVEv2: Improved Baselines for Encoder-Free Vision-Language Models

EVEv2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

EVEv2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. EVEv2.0 architecture: lossless patch embeddings and text tokens enter a unified decoder-only VLM whose attention, feed-forward, and normalization layers use modality-specific weights. Source paper, PDF p. 4. Figure notice.}

Qwen2.5-VL: Enhanced Vision-Language Capabilities in the Qwen Series

Qwen2.5-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 5-。

Qwen2.5-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. Qwen2.5-VL framework: a vision encoder processes native-resolution images and dynamic-FPS video into variable-length tokens for a Qwen2.5 language-model decoder with multimodal rotary position encoding. Source paper, PDF p. 3. Figure notice.}

VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding

VideoLLaMA 3の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

VideoLLaMA 3の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. VideoLLaMA 3 pipeline with any-resolution vision tokenization and a differential frame pruner that compresses redundant video tokens before language-model processing. Source paper, PDF p. 4. Figure notice.}

UI-TARS: Pioneering Automated GUI Interaction with Native Agents

UI-TARSの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 10。

UI-TARSの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 4. UI-TARS architecture and capability overview, connecting visual GUI observations and interaction histories to perception, action, system-level reasoning, and learning from prior experience. Source paper, PDF p. 14. Figure notice.}

MiniMax-01: Scaling Foundation Models with Lightning Attention

MiniMax-01の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 01、3.5-、4。

MiniMax-01の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. MiniMax-Text-01 backbone architecture, interleaving Lightning Attention and softmax-attention transformer blocks with routed mixture-of-experts feed-forward layers. Source paper, PDF p. 4. Figure notice.}

MiniCPM-o-2.6: A GPT-4o Level MLLM for Vision, Speech and Multimodal Live Streaming

MiniCPM-o-2.6の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2.6、8B。

MiniCPM-o-2.6の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Official architecture diagram. MiniCPM-o 2.6 end-to-end omni-modal streaming architecture, using time-division multiplexing to combine visual, audio, and query streams in a shared backbone with streaming speech decoding. Primary source. Figure notice.}

Eagle 2: Building Post-Training Data Strategies from Scratch for Frontier Vision-Language Models

Eagle 2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2。

Eagle 2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 11. Eagle 2's tiled mixture of vision encoders, combining SigLIP and ConvNeXt features through dynamic image splitting, feature concatenation, pixel shuffle, and an MLP connector to the LLM. Source paper, PDF p. 7. Figure notice.}

Sa2VA: Marrying SAM2 with LLaVA for Dense Grounded Understanding of Images and Videos

Sa2VAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2。

Sa2VAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. Sa2VA model: text, prompts, images, and videos are encoded for an LLM, whose segmentation token is combined with SAM 2 features to decode image or video masks. Source paper, PDF p. 5. Figure notice.}

VideoChat-Flash: Hierarchical Compression for Long-Context Video Modeling

VideoChat-Flashの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

VideoChat-Flashの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. VideoChat-Flash framework with hierarchical video-token compression: shared encoders and connectors first compress clips, then the LLM performs video-level compression for long-context inference. Source paper, PDF p. 3. Figure notice.}

OmniVLM: A Token-Compressed, Sub-Billion-Parameter Vision-Language Model for Efficient On-Device Inference

OmniVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 729、81、5-0.5B、400M。

OmniVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. OmniVLM architecture: a vision transformer feeds a reshape-based projector that compresses image tokens before they join text tokens in the Qwen2.5-0.5B-Instruct language model. Source paper, PDF p. 3. Figure notice.}

Apollo: An Exploration of Video Understanding in Large Multimodal Models

Apolloの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 3B、7B。

Apolloの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 8. Apollo architecture: image and video encoders process N-frame clips, interpolated features are concatenated channel-wise, and a Perceiver resampler produces a fixed token set for the language model. Source paper, PDF p. 21. Figure notice.}

DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding

DeepSeek-VL2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

DeepSeek-VL2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. DeepSeek-VL2 architecture: dynamic image tiling feeds a vision encoder and vision-language adapter whose image tokens join text tokens in a DeepSeek-MoE language model. Source paper, PDF p. 4. Figure notice.}

Maya: An Instruction Finetuned Multilingual Multimodal Model

Mayaの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Mayaの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 7. Maya's LLaVA-derived architecture, projecting multilingual SigLIP vision features into the embedding space of a multilingual language model for instruction following. Source paper, PDF p. 5. Figure notice.}

InternVL 2.5: Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling

InternVL 2.5の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2.5、2.0、3.5-。

InternVL 2.5の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. InternVL 2.5's ViT-MLP-LLM architecture with pixel-unshuffle visual-token compression. Source paper, PDF p. 3. Figure notice.}

PaliGemma 2: A Family of Versatile VLMs for Transfer

PaliGemma 2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2、3B、10B、28B。

PaliGemma 2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. PaliGemma 2 processes variable-resolution images with SigLIP, a linear projector, and Gemma 2. Source paper, PDF p. 2. Figure notice.}

ShowUI: Vision-Language-Action Modeling for GUI Agents

ShowUIの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2B。

Kevin Qinghong Lin, Linjie Li, Difei Gao, Zhengyuan Yang, Shiwei Wu, Zechen Bai, Weixian Lei, Lijuan Wang, Mike Zheng Shou
Released: 2024-11-26

_{Figure 3. UI-guided visual-token selection and interleaved action history. Source paper, PDF p. 3. Figure notice.}

SmolVLM: A Small, Efficient, and Open-Source Vision-Language Model

SmolVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2B、2.0。

SmolVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Official architecture diagram. SmolVLM's SigLIP vision encoder, aggressive pixel-shuffle compression, and SmolLM2 language backbone. Primary source. Figure notice.}

AIMv2: Multimodal Autoregressive Pre-training of Large Vision Encoders

AIMv2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

AIMv2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. AIMv2's prefix-attention vision encoder and joint autoregressive multimodal decoder. Source paper, PDF p. 2. Figure notice.}

LLaVA-CoT: Let Vision Language Models Reason Step-by-Step

LLaVA-CoTの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

LLaVA-CoTの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 4. LLaVA-CoT's Best-of-N, stage-wise beam-search, and stage-wise retracing inference procedures. Source paper, PDF p. 5. Figure notice.}

LLM2CLIP: Powerful Language Model Unlocks Richer Visual Representation

LLM2CLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

LLM2CLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. LLM2CLIP fine-tunes an LLM for caption discrimination before using it to train stronger CLIP representations. Source paper, PDF p. 1. Figure notice.}

Tarsier2: Advancing Large Vision-Language Models from Detailed Video Description to Comprehensive Video Understanding

Tarsier2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 1.5。

Tarsier2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Architecture figure: The paper contains capability, dataset, DPO-construction, and benchmark figures but inherits Qwen2-VL and provides no architecture overview; a training diagram would be misleading.

Janus and Janus-Pro: Decoupled Visual Understanding and Generation

Janus and Janus-Proの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

DeepSeek-AI
Released: 2024-10-17

_{Figure 3. Janus-Pro decouples visual understanding and generation encoders around a shared autoregressive transformer. Source paper, PDF p. 3. Figure notice.}

ARIA: An Open Multimodal Native Mixture-of-Experts Model

ARIAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 4-。

ARIAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Architecture figure: ARIA’s visual encoder, projection layer, and fine-grained MoE are described in prose and a configuration table; its only numbered model figure visualizes expert specialization, not architecture.

Emu3: Next-Token Prediction across Text, Image, and Video

Emu3の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 8B。

Xinlong Wang, Xiaosong Zhang, Zhengxiong Luo, Quan Sun, Yufeng Cui, Jinsheng Wang, Fan Zhang, Yueze Wang, Zhen Li, Qiying Yu, Yingli Zhao, Yulong Ao, Xuebin Min, Tao Li, Boya Wu, et al.
Released: 2024-09-27

_{Figure 1. A single next-token objective across text, image, and video tokens. Source paper, PDF p. 1. Figure notice.}

Molmo and PixMo: Open Weights, Open Data, and Grounded Pointing

Molmo and PixMoの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Matt Deitke, Christopher Clark, Sangho Lee, Rohun Tripathi, Yue Yang, Jae Sung Park, Mohammadreza Salehi, Niklas Muennighoff, Kyle Lo, Luca Soldaini, Jiasen Lu, et al.
Released: 2024-09-25

_{Figure 2. Vision encoding, multimodal connection, language decoding, and grounded pointing. Source paper, PDF p. 3. Figure notice.}

Llama 3.2-Vision: Enhanced Multimodal Capabilities Built on Llama 3

Llama 3.2-Visionの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 3.2-、3、11B、90B。

Llama 3.2-Visionの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Architecture figure: The official source describes the image encoder and cross-attention adapter in prose; benchmark tables and marketing artwork are not legitimate substitutes.

NVLM: Open Frontier-Class Multimodal LLMs

NVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 1.0、1-。

NVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. NVLM-X, NVLM-H, and NVLM-D share a dynamic-high-resolution visual pathway but integrate vision differently. Source paper, PDF p. 9. Figure notice.}

Pixtral 12B: A Cutting-Edge Open Multimodal Language Model

Pixtral 12Bの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 12B、12-。

Pixtral 12Bの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. Pixtral combines a variable-resolution vision encoder with a 128K-context multimodal decoder. Source paper, PDF p. 4. Figure notice.}

VILA-U: Fully Autoregressive Visual Understanding and Generation

VILA-Uの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

VILA-U Team
Released: 2024-09-06

_{Figure 1. A shared visual tokenizer, autoregressive model, and modality decoders. Source paper, PDF p. 3. Figure notice.}

Qwen2-VL: A Powerful Open-Source Vision-Language Model for Image and Video Understanding

Qwen2-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Bai, Jinze and Bai, Shuai and Yang, Shusheng and Wang, Shijie and Tan, Sinan and Wang, Peng and Lin, Junyang and Zhou, Chang and Zhou, Jingren

_{Figure 3. Qwen2-VL's M-RoPE decomposes multimodal position encoding into temporal, height, and width components. Source paper, PDF p. 5. Figure notice.}

EAGLE: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders

EAGLEの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Min Shi, Fuxiao Liu, Shihao Wang, Shijia Liao, Subhashree Radhakrishnan, De-An Huang, Hongxu Yin, Karan Sapra, Yaser Yacoob, Humphrey Shi, Bryan Catanzaro, Andrew Tao, Jan Kautz, Zhiding Yu, Guilin Liu

_{Figure 2. EAGLE explores mixtures of vision experts and alternative fusion strategies for multimodal language models. Source paper, PDF p. 4. Figure notice.}

Show-o: Autoregressive Language and Discrete-Diffusion Vision in One Transformer

Show-oの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Show Lab
Released: 2024-08-22

_{Figure 2. Causal text attention and full-attention discrete image diffusion. Source paper, PDF p. 4. Figure notice.}

Idefics3-8B: Building and Better Understanding Vision-Language Models

Idefics3-8Bの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 8B。

Hugo Laurençon, Andrés Marafioti, Victor Sanh, Léo Tronchon

_{Figure 1. Idefics3 maps vision-encoder features into interleaved visual tokens consumed by an autoregressive language model. Source paper, PDF p. 3. Figure notice.}

Transfusion: Next-Token Text Prediction and Continuous Image Diffusion

Transfusionの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Meta FAIR
Released: 2024-08-20

_{Figure 1. A shared Transformer with autoregressive text and continuous image diffusion. Source paper, PDF p. 2. Figure notice.}

mPLUG-Owl3: Hyper-Attention for Long Image Sequences

mPLUG-Owl3の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

mPLUG-Owl Team
Released: 2024-08-09

_{Figure 2. Vision encoding and Hyper-Attention blocks inside the language model. Source paper, PDF p. 4. Figure notice.}

VITA: Towards Open-Source Interactive Omni Multimodal LLM

VITAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

VITAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. VITA unifies text, audio, image, and video inputs with state tokens, an LLM, and speech output. Source paper, PDF p. 3. Figure notice.}

LLaVA-OneVision: Easy Visual Task Transfer

LLaVA-OneVisionの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Bo Li, Yuanhan Zhang, Dong Guo, Renrui Zhang, Feng Li, Hao Zhang, Kaichen Zhang, Yanwei Li, Ziwei Liu, Chunyuan Li

_{Figure 1. LLaVA-OneVision extends the minimal LLaVA vision-encoder, projector, and LLM architecture to multiple visual signals. Source paper, PDF p. 3. Figure notice.}

VILA²: VILA Augmented VILA

VILA²の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Yunhao Fang, Ligeng Zhu, Yao Lu, Yan Wang, Pavlo Molchanov, Jang Hyun Cho, Marco Pavone, Song Han, Hongxu Yin

_{Figure 1. VILA² improves itself through generic model-in-the-loop recaptioning and specialist-model augmentation. Source paper, PDF p. 2. Figure notice.}

INF-LLaVA: High-Resolution Image Perception for Multimodal Large Language Models

INF-LLaVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Yiwei Ma, Zhibin Wang, Xiaoshuai Sun, Weihuang Lin, Qiang Zhou, Jiayi Ji, Rongrong Ji

_{Figure 2. INF-LLaVA combines dual-perspective cropping, CLIP encoding, feature recombination, enhancement, and language reasoning. Source paper, PDF p. 5. Figure notice.}

SlowFast-LLaVA: A Strong Training-Free Baseline for Video Large Language Models

SlowFast-LLaVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Mingze Xu, Mingfei Gao, Zhe Gan, Hong-You Chen, Zhengfeng Lai, Haiming Gang, Kai Kang, Afshin Dehghan

_{Figure 2. SlowFast-LLaVA combines low-frame-rate spatial detail with high-frame-rate motion features. Source paper, PDF p. 4. Figure notice.}

EVLM: An Efficient Vision-Language Model for Visual Understanding

EVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Kaibing Chen, Dong Shen, Hanwen Zhong, Huasong Zhong, Kui Xia, Di Xu, Wei Yuan, Yifei Hu, Bin Wen, Tianke Zhang, Changyi Liu, Dewen Fan, Huihui Xiao, Jiahong Wu, Fan Yang, Size Li, Di Zhang

_{Figure 2. EVLM injects hierarchical EVA2-CLIP features into the language model through gated cross-attention layers. Source paper, PDF p. 3. Figure notice.}

InternLM-XComposer-2.5: A Versatile Large Vision Language Model Supporting Long-Contextual Input and Output

InternLM-XComposer-2.5の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2.5、7B。

Pan Zhang, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Rui Qian, Lin Chen, Qipeng Guo, Haodong Duan, Bin Wang, Linke Ouyang, Songyang Zhang, Wenwei Zhang, Yining Li, Yang Gao, Peng Sun, Xinyue Zhang, Wei Li, Jingwen Li, Wenhai Wang, Hang Yan, Conghui He, Xingcheng Zhang, Kai Chen, Jifeng Dai, Yu Qiao, Dahua Lin, Jiaqi Wang

_{Figure 5. InternLM-XComposer-2.5's framework supports text, single and multiple images, and video inputs. Source paper, PDF p. 6. Figure notice.}

OMG-LLaVA: Bridging Image-level, Object-level, Pixel-level Reasoning and Understanding

OMG-LLaVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Tao Zhang, Xiangtai Li, Hao Fei, Haobo Yuan, Shengqiong Wu, Shunping Ji, Chen Change Loy, Shuicheng Yan

_{Figure 3. OMG-LLaVA connects OMG-Seg visual tokens and prompts to an LLM that can decode segmentation outputs. Source paper, PDF p. 5. Figure notice.}

Cambrian-1: Vision-Centric Multimodal LLMs

Cambrian-1の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 1、8B、13B、34B。

Shengbang Tong, Ellis Brown, Penghao Wu, Sanghyun Woo, Manoj Middepogu, Sai Charitha Akula, Jihan Yang, Shusheng Yang, Adithya Iyer, Xichen Pan, Ziteng Wang, Rob Fergus, Yann LeCun, Saining Xie
Released: 2024-06-24

_{Figure 8. Spatial Vision Aggregation across multiple visual encoders and decoder layers. Source paper, PDF p. 13. Figure notice.}

EVE: Unveiling Encoder-Free Vision-Language Models

EVEの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 35M。

EVEの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. EVE combines patch embedding, a decoder-only backbone, patch alignment, and next-word prediction without a separate vision encoder. Source paper, PDF p. 4. Figure notice.}

Ovis: Structural Visual-Text Embedding Alignment

Ovisの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Alibaba International Digital Commerce
Released: 2024-06-14

_{Figure 3. Visual-token probability distributions and structural visual embedding lookup. Source paper, PDF p. 4. Figure notice.}

Parrot: Multilingual Visual Instruction Tuning

Parrotの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Hai-Long Sun, Da-Wei Zhou, Yang Li, Shiyin Lu, Chao Yi, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang, De-Chuan Zhan, Han-Jia Ye

_{Figure 5. PARROT aligns multilingual visual features through a projector, multilingual mixture of experts, and language model. Source paper, PDF p. 6. Figure notice.}

ConvLLaVA: Hierarchical Backbones as Visual Encoder for Large Multimodal Models

ConvLLaVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Chunjiang Ge, Sijie Cheng, Ziming Wang, Jiale Yuan, Yuan Gao, Jun Song, Shiji Song, Gao Huang, Bo Zheng

_{Figure 1. ConvLLaVA uses a hierarchical ConvNeXt vision encoder to compress visual tokens between stages. Source paper, PDF p. 3. Figure notice.}

Phi-3-Vision and Phi-3.5-Vision: Compact Long-Context Multimodal Reasoning

Phi-3-Vision and Phi-3.5-Visionの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 3-、4.2B、3.5-。

Microsoft Phi Team
Released: 2024-05-21

Architecture figure: The cited Phi-3 report contains no Phi-3-Vision architecture diagram.

CogVLM2: Enhanced Vision-Language Models for Image and Video Understanding

CogVLM2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Wenyi Hong, Weihan Wang, Ming Ding, Wenmeng Yu, Qingsong Lv, Yan Wang, Yean Cheng, Shiyu Huang, Junhui Ji, Zhao Xue, Lei Zhao, Zhuoyi Yang, Xiaotao Gu, Xiaohan Zhang, Guanyu Feng, Da Yin, Zihan Wang, Ji Qi, Xixuan Song, Peng Zhang, Debing Liu, Bin Xu, Juanzi Li, Yuxiao Dong, Jie Tang

_{Figure 2. CogVLM2 processes high-resolution images and video frames through a ViT encoder, adapter, and visual-language decoder. Source paper, PDF p. 5. Figure notice.}

Chameleon: Mixed-Modal Early-Fusion Foundation Models

Chameleonの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Chameleon Team
Released: 2024-05-16

_{Figure 1. Mixed-modal early-fusion tokenization and autoregressive generation. Source paper, PDF p. 2. Figure notice.}

PaliGemma: A Versatile and Transferable 3B Vision-Language Model

PaliGemmaの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2B、40。

Lucas Beyer, Andreas Steiner, André Susano Pinto, Alexander Kolesnikov, Xiao Wang, Daniel Salz, Maxim Neumann, Ibrahim Alabdulmohsin, Michael Tschannen, Emanuele Bugliarello, Thomas Unterthiner, Daniel Keysers, Skanda Koppula, Fangyu Liu, Adam Grycner, Alexey Gritsenko, Neil Houlsby, Manoj Kumar, Keran Rong, Julian Eisenschlos, Rishabh Kabra, Matthias Bauer, Matko Bošnjak, Xi Chen, Matthias Minderer, Paul Voigtlaender, Ioana Bica, Ivana Balazevic, Joan Puigcerver, Pinelopi Papalampidi, Olivier Henaff, Xi Xiong, Radu Soricut, Jeremiah Harmsen, Xiaohua Zhai

_{Figure 1. PaliGemma connects a SigLIP image encoder to a Gemma autoregressive decoder language model. Source paper, PDF p. 2. Figure notice.}

xGen-MM (BLIP-3): An Open-Source Framework for Building Powerful and Responsible Large Multimodal Models

xGen-MM (BLIP-3)の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 3。

Le Xue, Manli Shu, Anas Awadalla, Jun Wang, An Yan, Senthil Purushwalkam, Honglu Zhou, Viraj Prabhu, Yutong Dai, Michael S Ryoo, Shrikant Kendre, Jieyu Zhang, Can Qin, Shu Zhang, Chia-Chih Chen, Ning Yu, Juntao Tan, Tulika Manoj Awalgaonkar, Shelby Heinecke, Huan Wang, Yejin Choi, Ludwig Schmidt, Zeyuan Chen, Silvio Savarese, Juan Carlos Niebles, Caiming Xiong, Ran Xu

_{Figure 2. BLIP-3 feeds interleaved visual and text tokens through a scalable vision-token sampler into a pretrained language model. Source paper, PDF p. 2. Figure notice.}

MANTIS: Mastering Multi-Image Understanding Through Interleaved Instruction Tuning

MANTISの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Dongfu Jiang, Xuan He, Huaye Zeng, Cong Wei, Max Ku, Qian Liu, Wenhu Chen

Architecture figure: The paper contains capability examples, dataset statistics and illustrations, and case studies, none of which is a model architecture or system diagram.

Moondream-next: Compact Vision-Language Model with Enhanced Capabilities

Moondream-nextの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 1.9B。

Architecture figure: The rolling model card and official repository provide implementation details but no legitimate architecture or system figure.

Idefics2

Idefics2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 8B、7B。

Idefics2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. Idefics2 maps vision-encoder features into interleaved visual tokens consumed by an autoregressive language model. Source paper, PDF p. 3. Figure notice.}

InternLM-XComposer2-4KHD: A Pioneering Large Vision-Language Model Handling Resolutions from 336 Pixels to 4K HD

InternLM-XComposer2-4KHDの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 336、4K。

Xiaoyi Dong, Pan Zhang, Yuhang Zang, Yuhang Cao, Bin Wang, Linke Ouyang, Songyang Zhang, Haodong Duan, Wenwei Zhang, Yining Li, Hang Yan, Yang Gao, Zhe Chen, Xinyue Zhang, Wei Li, Jingwen Li, Wenhai Wang, Kai Chen, Conghui He, Xingcheng Zhang, Jifeng Dai, Yu Qiao, Dahua Lin, Jiaqi Wang

_{Figure 4. InternLM-XComposer2-4KHD dynamically partitions high-resolution images into local patches while retaining a global thumbnail. Source paper, PDF p. 5. Figure notice.}

MM1: Methods, Analysis, and Insights from Multimodal Pre-training

MM1の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Brandon McKinzie, Zhe Gan, Jean-Philippe Fauconnier, Sam Dodge, Bowen Zhang, Philipp Dufter, Dhruti Shah, Xianzhi Du, Futang Peng, Floris Weers, Anton Belyi, Haotian Zhang, et al.
Released: 2024-03-14

Architecture figure: MM1 presents an architecture design space and ablations, but no definitive final-model diagram.

DeepSeek-VL: Towards Real-World Vision-Language Understanding

DeepSeek-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Haoyu Lu, Wen Liu, Bo Zhang, Bingxuan Wang, Kai Dong, Bo Liu, Jingxiang Sun, Tongzheng Ren, Zhuoshu Li, Hao Yang, Yaofeng Sun, Chengqi Deng, Hanwei Xu, Zhenda Xie, Chong Ruan

_{Figure 3. DeepSeek-VL trains its hybrid vision encoder, vision-language adaptor, and language model across three progressive stages. Source paper, PDF p. 12. Figure notice.}

AnyGPT: Unified Any-to-Any Multimodal Modeling with Discrete Tokens

AnyGPTの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

OpenMOSS
Released: 2024-02-19

_{Figure 1. Unified discrete sequence modeling across speech, text, image, and music. Source paper, PDF p. 2. Figure notice.}

SPHINX-X: Scaling Data and Parameters for a Family of Multi-modal Large Language Models

SPHINX-Xの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

SPHINX-Xの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. SPHINX-X combines mixed visual experts, padded-tile skip tokens, high-resolution partitioning, and unified training. Source paper, PDF p. 5. Figure notice.}

LLaVA 1.6: LLaVA-NeXT Improved reasoning, OCR, and world knowledge

LLaVA 1.6の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 1.5。

LLaVA 1.6の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Official architecture diagram. LLaVA-NeXT's AnyRes scheme partitions high-resolution images into a configurable grid of local views. Primary source. Figure notice.}

MiniCPM-V: A GPT-4V Level MLLM on Your Phone

MiniCPM-Vの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2.5、3。

Yuan Yao, Tianyu Yu, Ao Zhang, Chongyi Wang, Junbo Cui, Hongji Zhu, Tianchi Cai, Haoyu Li, Weilin Zhao, Zhihui He, Qianyu Chen, Huarong Zhou, Zhensheng Zou, Haoye Zhang, Shengding Hu, Zhi Zheng, Jie Zhou, Jie Cai, Xu Han, Guoyang Zeng, Dahai Li, Zhiyuan Liu, Maosong Sun

_{Figure 3. MiniCPM-V combines a visual encoder, shared compression layer, language model, and adaptive high-resolution encoding. Source paper, PDF p. 5. Figure notice.}

MouSi: Poly-Visual-Expert Vision-Language Models

MouSiの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

MouSiの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. MouSi integrates heterogeneous visual experts through a fusion network and projector into a language model. Source paper, PDF p. 3. Figure notice.}

InternLM-XComposer2: Mastering Free-form Text-Image Composition and Comprehension in Vision-Language Large Model

InternLM-XComposer2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2。

InternLM-XComposer2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. InternLM-XComposer2 applies Partial-LoRA only to visual tokens while preserving language-only behavior. Source paper, PDF p. 3. Figure notice.}

MoE-LLaVA: Mixture of Experts for Large Vision-Language Models

MoE-LLaVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

MoE-LLaVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. MoE-LLaVA routes multimodal tokens through sparse experts added to a vision-encoder, projector, and language-model backbone. Source paper, PDF p. 2. Figure notice.}

moondream1 and moondream2

moondream1 and moondream2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 1.5。

@vikhyatk

Architecture figure: Official repository and model cards describe the implementation but provide no legitimate family architecture or system figure.

FireLLaVA

FireLLaVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 34B。

Architecture figure: A generic LLaVA diagram would not document FireLLaVA’s own contribution and should not be substituted.

COSMO: COntrastive Streamlined MultimOdal Model with Interleaved Pre-Training

COSMOの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

COSMOの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. CosMo handles image and video inputs through a language model trained with contrastive and language-modeling objectives. Source paper, PDF p. 4. Figure notice.}

TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones

TinyGPT-Vの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2。

TinyGPT-Vの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 4. TinyGPT-V projects frozen visual-backbone and Q-Former outputs through two linear layers into Phi-2. Source paper, PDF p. 4. Figure notice.}

MobileVLM: A Fast, Strong and Open Vision Language Assistant for Mobile Devices

MobileVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 14。

MobileVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. MobileVLM connects a visual encoder to MobileLLaMA through a lightweight downsample projector. Source paper, PDF p. 5. Figure notice.}

Alpha-CLIP: A CLIP Model Focusing on Wherever You Want

Alpha-CLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Alpha-CLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. Alpha-CLIP extends CLIP with an alpha channel that focuses visual encoding on a specified region. Source paper, PDF p. 4. Figure notice.}

Nous-Hermes-2-Vision - Mistral 7B

Nous-Hermes-2-Vision - Mistral 7Bの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2-、2.5、400M。

Nous-Hermes-2-Vision - Mistral 7Bの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Architecture figure: The card describes SigLIP integration and training data in prose but contains no legitimate architecture or system figure.

SPHINX: The Joint Mixing of Weights, Tasks, and Visual Embeddings for Multi-modal Large Language Models

SPHINXの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2。

SPHINXの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. SPHINX jointly mixes tuning tasks, visual embeddings, and model weights in one multimodal architecture. Source paper, PDF p. 6. Figure notice.}

Florence-2: A Deep Dive into its Unified Architecture and Multi-Task Capabilities

Florence-2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2。

Bin Xiao, Haiping Wu, Weijian Xu, Xiyang Dai, Houdong Hu, Yumao Lu, Michael Zeng, Ce Liu, Lu Yuan

_{Figure 2. Florence-2 combines an image encoder and multimodality encoder-decoder through a unified task-prompt interface. Source paper, PDF p. 3. Figure notice.}

u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model

u-LLaVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

u-LLaVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. u-LLaVA unifies modality alignment with task-specific projectors, decoders, and patched downstream modules. Source paper, PDF p. 2. Figure notice.}

LLaVA-Plus: Learning to Use Tools for Creating Multimodal Agents

LLaVA-Plusの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

LLaVA-Plusの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. LLaVA-Plus retrieves skills, invokes tools, consumes their results, and generates a final response. Source paper, PDF p. 3. Figure notice.}

OtterHD: A High-Resolution Multi-modality Model

OtterHDの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 8B。

OtterHDの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Architecture figure: The paper’s figures cover demonstrations, benchmark construction, throughput, resolution, and loss; none is a legitimate architecture substitute.

CoVLM: Composing Visual Entities and Relationships in Large Language Models Via Communicative Decoding

CoVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

CoVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. CoVLM vision module and communication-token framework. Source paper, PDF p. 4. Figure notice.}

GLaMM: Pixel Grounding Large Multimodal Model

GLaMMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Hanoona Rasheed, Muhammad Maaz, Sahal Shaji Mullappilly, Abdelrahman Shaker, Salman Khan, Hisham Cholakkal, Rao M. Anwer, Erix Xing, Ming-Hsuan Yang, Fahad S. Khan

_{Figure 2. GLaMM architecture for scene-, region-, and pixel-level grounding. Source paper, PDF p. 4. Figure notice.}

Fuyu-8B: A Multimodal Architecture for AI Agents

Fuyu-8Bの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 8B。

Fuyu-8Bの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Official architecture diagram. Fuyu-8B projects image patches directly into a decoder-only Transformer. Primary source. Figure notice.}

PaLI-3 Vision Language Models: Smaller, Faster, Stronger

PaLI-3 Vision Language Modelsの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 3、2B、3B。

PaLI-3 Vision Language Modelsの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. PaLI-3 connects a contrastively pretrained SigLIP encoder to an encoder-decoder UL2 Transformer. Source paper, PDF p. 3. Figure notice.}

MiniGPT-v2: large language model as a unified interface for vision-language multi-task learning

MiniGPT-v2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 7B、2-。

MiniGPT-v2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. MiniGPT-v2 architecture with frozen ViT, token concatenation, projection, and LLaMA-2. Source paper, PDF p. 3. Figure notice.}

BakLLaVA

BakLLaVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 7B、1.5、2、13B。

Architecture figure: The official model card and repository describe a LLaVA-on-Mistral derivative but publish no model-specific architecture figure.

Ferret: Refer and Ground Anything Anywhere at Any Granularity

Ferretの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Ferretの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. Ferret hybrid region representation, spatial-aware sampler, and complete model architecture. Source paper, PDF p. 5. Figure notice.}

LLaVA 1.5: Improved Baselines with Visual Instruction Tuning

LLaVA 1.5の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 1.5。

LLaVA 1.5の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. LLaVA-1.5-HD grid-based encoding for arbitrary image resolutions. Source paper, PDF p. 4. Figure notice.}

CogVLM: Visual Expert for Pretrained Language Models

CogVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

CogVLMの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 4. CogVLM input pathway and visual-expert Transformer block. Source paper, PDF p. 3. Figure notice.}

MetaCLIP: Demystifying CLIP Data

MetaCLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

MetaCLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Architecture figure: The paper contributes data curation rather than a model architecture; Figure 5 is a data-pipeline case study.

Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond

Qwen-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Qwen-VLの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. Qwen-VL visual-language architecture across pretraining, multitask pretraining, and supervised finetuning. Source paper, PDF p. 4. Figure notice.}

IDEFICS

IDEFICSの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 80B、4。

Architecture figure: The official launch post and model card have capability and performance illustrations but no IDEFICS-specific architecture diagram.

BLIVA: A Simple Multimodal LLM for Better Handling of Text-rich Visual Questions

BLIVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

BLIVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. BLIVA architecture with frozen image encoder, Q-Former, patch projection, and frozen LLM. Source paper, PDF p. 3. Figure notice.}

KOSMOS-2: Grounding Multimodal Large Language Models to the World

KOSMOS-2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2、1。

KOSMOS-2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. KOSMOS-2 system overview for multimodal grounding and referring. Source paper, PDF p. 1. Figure notice.}

LaVIN: Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models

LaVINの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

LaVINの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. LaVIN architecture and Mixture-of-Modality Adaptation mechanism. Source paper, PDF p. 4. Figure notice.}

InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

InstructBLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2。

InstructBLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. InstructBLIP architecture with instruction-aware Q-Former and frozen LLM. Source paper, PDF p. 5. Figure notice.}

ImageBind: One Embedding Space To Bind Them All

ImageBindの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

ImageBindの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. ImageBind aligns six modalities in one shared embedding space. Source paper, PDF p. 3. Figure notice.}

LLaVA: Large Language and Vision Assistant - Visual Instruction Tuning

LLaVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

LLaVAの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. LLaVA connects CLIP visual features to a language model through a learned projection. Source paper, PDF p. 4. Figure notice.}

MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models

MiniGPT-4の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 4。

MiniGPT-4の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. MiniGPT-4 architecture with ViT, Q-Former, linear projection, and Vicuna. Source paper, PDF p. 2. Figure notice.}

SigLIP: Sigmoid Loss for Language Image Pre-Training

SigLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Xiaohua Zhai, Basil Mustafa, Alexander Kolesnikov, Lucas Beyer

Architecture figure: The paper changes the training loss, not the encoder architecture; Figure 1 is a distributed loss-implementation mock-up.

OpenFlamingo: An Open-Source Framework for Training Large Autoregressive Vision-Language Models

OpenFlamingoの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 14、7B。

OpenFlamingoの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. OpenFlamingo-9B interleaved image-and-text system interface. Source paper, PDF p. 2. Figure notice.}

PaLM-E: An Embodied Multimodal Language Model

PaLM-Eの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

PaLM-Eの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. PaLM-E combines sensor encoders and a language model for embodied and visual-language tasks. Source paper, PDF p. 1. Figure notice.}

KOSMOS-1: Language Is Not All You Need: Aligning Perception with Language Models

KOSMOS-1の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 1。

KOSMOS-1の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. KOSMOS-1 multimodal input, embedding, language-model, and output overview. Source paper, PDF p. 1. Figure notice.}

BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models

BLIP-2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 2。

BLIP-2の構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. BLIP-2 bridges a frozen image encoder and frozen LLM through a two-stage Q-Former. Source paper, PDF p. 1. Figure notice.}

MULTIINSTRUCT: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning

MULTIINSTRUCTの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

MULTIINSTRUCTの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Architecture figure: Figures cover examples, task taxonomy, performance, and attention; the paper publishes no model-specific architecture figure.

PaLI: A Jointly-Scaled Multilingual Language-Image Model

PaLIの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

PaLIの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. PaLI combines a scalable ViT with an encoder-decoder Transformer. Source paper, PDF p. 4. Figure notice.}

Flamingo: a Visual Language Model for Few-Shot Learning

Flamingoの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Flamingoの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 3. Flamingo architecture for interleaved visual inputs and free-form text output. Source paper, PDF p. 4. Figure notice.}

BLIP: Bootstrapping Language-Image Pre-training

BLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

Junnan Li, Dongxu Li, Caiming Xiong, Steven Hoi

_{Figure 2. BLIP multimodal mixture-of-encoder-decoder architecture and training objectives. Source paper, PDF p. 2. Figure notice.}

GLIP: Grounded Language-Image Pre-training

GLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

GLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. GLIP image and language encoders with deep fusion and word-region alignment. Source paper, PDF p. 2. Figure notice.}

FROZEN: Multimodal Few-Shot Learning with Frozen Language Models

FROZENの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 50。

FROZENの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 2. FROZEN trains a vision encoder through a frozen language model. Source paper, PDF p. 2. Figure notice.}

CLIP: Contrastive Language-Image Pre-training

CLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。 値: 400。

CLIPの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. CLIP dual-encoder contrastive training and zero-shot classification approach. Source paper, PDF p. 2. Figure notice.}

ViT: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

ViTの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

ViTの構造、学習方法、データ、モダリティ統合、設計上の特徴に関する要約です。

_{Figure 1. ViT patch embedding, Transformer encoder, and classification-token architecture. Source paper, PDF p. 3. Figure notice.}

重要な参考資料

• Guide to Vision-Language Models (VLMs) by Görkem Polat
• VLM Primer by Aman Chadha
• Generalized Visual Language Models by Lilian Weng