include/media/videobuf2-core.h

   1 /*
   2  * videobuf2-core.h - V4L2 driver helper framework
   3  *
   4  * Copyright (C) 2010 Samsung Electronics
   5  *
   6  * Author: Pawel Osciak <pawel@osciak.com>
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License as published by
  10  * the Free Software Foundation.
  11  */
  12 #ifndef _MEDIA_VIDEOBUF2_CORE_H
  13 #define _MEDIA_VIDEOBUF2_CORE_H
  14
  15 #include <linux/mm_types.h>
  16 #include <linux/mutex.h>
  17 #include <linux/poll.h>
  18 #include <linux/videodev2.h>
  19 #include <linux/dma-buf.h>
  20
  21 struct vb2_alloc_ctx;
  22 struct vb2_fileio_data;
  23
  24 /**
  25  * struct vb2_mem_ops - memory handling/memory allocator operations
  26  * @alloc:      allocate video memory and, optionally, allocator private data,
  27  *              return NULL on failure or a pointer to allocator private,
  28  *              per-buffer data on success; the returned private structure
  29  *              will then be passed as buf_priv argument to other ops in this
  30  *              structure. Additional gfp_flags to use when allocating the
  31  *              are also passed to this operation. These flags are from the
  32  *              gfp_flags field of vb2_queue.
  33  * @put:        inform the allocator that the buffer will no longer be used;
  34  *              usually will result in the allocator freeing the buffer (if
  35  *              no other users of this buffer are present); the buf_priv
  36  *              argument is the allocator private per-buffer structure
  37  *              previously returned from the alloc callback
  38  * @get_userptr: acquire userspace memory for a hardware operation; used for
  39  *               USERPTR memory types; vaddr is the address passed to the
  40  *               videobuf layer when queuing a video buffer of USERPTR type;
  41  *               should return an allocator private per-buffer structure
  42  *               associated with the buffer on success, NULL on failure;
  43  *               the returned private structure will then be passed as buf_priv
  44  *               argument to other ops in this structure
  45  * @put_userptr: inform the allocator that a USERPTR buffer will no longer
  46  *               be used
  47  * @attach_dmabuf: attach a shared struct dma_buf for a hardware operation;
  48  *                 used for DMABUF memory types; alloc_ctx is the alloc context
  49  *                 dbuf is the shared dma_buf; returns NULL on failure;
  50  *                 allocator private per-buffer structure on success;
  51  *                 this needs to be used for further accesses to the buffer
  52  * @detach_dmabuf: inform the exporter of the buffer that the current DMABUF
  53  *                 buffer is no longer used; the buf_priv argument is the
  54  *                 allocator private per-buffer structure previously returned
  55  *                 from the attach_dmabuf callback
  56  * @map_dmabuf: request for access to the dmabuf from allocator; the allocator
  57  *              of dmabuf is informed that this driver is going to use the
  58  *              dmabuf
  59  * @unmap_dmabuf: releases access control to the dmabuf - allocator is notified
  60  *                that this driver is done using the dmabuf for now
  61  * @prepare:    called every time the buffer is passed from userspace to the
  62  *              driver, useful for cache synchronisation, optional
  63  * @finish:     called every time the buffer is passed back from the driver
  64  *              to the userspace, also optional
  65  * @vaddr:      return a kernel virtual address to a given memory buffer
  66  *              associated with the passed private structure or NULL if no
  67  *              such mapping exists
  68  * @cookie:     return allocator specific cookie for a given memory buffer
  69  *              associated with the passed private structure or NULL if not
  70  *              available
  71  * @num_users:  return the current number of users of a memory buffer;
  72  *              return 1 if the videobuf layer (or actually the driver using
  73  *              it) is the only user
  74  * @mmap:       setup a userspace mapping for a given memory buffer under
  75  *              the provided virtual memory region
  76  *
  77  * Required ops for USERPTR types: get_userptr, put_userptr.
  78  * Required ops for MMAP types: alloc, put, num_users, mmap.
  79  * Required ops for read/write access types: alloc, put, num_users, vaddr
  80  * Required ops for DMABUF types: attach_dmabuf, detach_dmabuf, map_dmabuf,
  81  *                                unmap_dmabuf.
  82  */
  83 struct vb2_mem_ops {
  84         void            *(*alloc)(void *alloc_ctx, unsigned long size, gfp_t gfp_flags);
  85         void            (*put)(void *buf_priv);
  86         struct dma_buf *(*get_dmabuf)(void *buf_priv, unsigned long flags);
  87
  88         void            *(*get_userptr)(void *alloc_ctx, unsigned long vaddr,
  89                                         unsigned long size, int write);
  90         void            (*put_userptr)(void *buf_priv);
  91
  92         void            (*prepare)(void *buf_priv);
  93         void            (*finish)(void *buf_priv);
  94
  95         void            *(*attach_dmabuf)(void *alloc_ctx, struct dma_buf *dbuf,
  96                                 unsigned long size, int write);
  97         void            (*detach_dmabuf)(void *buf_priv);
  98         int             (*map_dmabuf)(void *buf_priv);
  99         void            (*unmap_dmabuf)(void *buf_priv);
 100
 101         void            *(*vaddr)(void *buf_priv);
 102         void            *(*cookie)(void *buf_priv);
 103
 104         unsigned int    (*num_users)(void *buf_priv);
 105
 106         int             (*mmap)(void *buf_priv, struct vm_area_struct *vma);
 107 };
 108
 109 struct vb2_plane {
 110         void                    *mem_priv;
 111         struct dma_buf          *dbuf;
 112         unsigned int            dbuf_mapped;
 113 };
 114
 115 /**
 116  * enum vb2_io_modes - queue access methods
 117  * @VB2_MMAP:           driver supports MMAP with streaming API
 118  * @VB2_USERPTR:        driver supports USERPTR with streaming API
 119  * @VB2_READ:           driver supports read() style access
 120  * @VB2_WRITE:          driver supports write() style access
 121  * @VB2_DMABUF:         driver supports DMABUF with streaming API
 122  */
 123 enum vb2_io_modes {
 124         VB2_MMAP        = (1 << 0),
 125         VB2_USERPTR     = (1 << 1),
 126         VB2_READ        = (1 << 2),
 127         VB2_WRITE       = (1 << 3),
 128         VB2_DMABUF      = (1 << 4),
 129 };
 130
 131 /**
 132  * enum vb2_fileio_flags - flags for selecting a mode of the file io emulator,
 133  * by default the 'streaming' style is used by the file io emulator
 134  * @VB2_FILEIO_READ_ONCE:       report EOF after reading the first buffer
 135  * @VB2_FILEIO_WRITE_IMMEDIATELY:       queue buffer after each write() call
 136  */
 137 enum vb2_fileio_flags {
 138         VB2_FILEIO_READ_ONCE            = (1 << 0),
 139         VB2_FILEIO_WRITE_IMMEDIATELY    = (1 << 1),
 140 };
 141
 142 /**
 143  * enum vb2_buffer_state - current video buffer state
 144  * @VB2_BUF_STATE_DEQUEUED:     buffer under userspace control
 145  * @VB2_BUF_STATE_PREPARED:     buffer prepared in videobuf and by the driver
 146  * @VB2_BUF_STATE_QUEUED:       buffer queued in videobuf, but not in driver
 147  * @VB2_BUF_STATE_ACTIVE:       buffer queued in driver and possibly used
 148  *                              in a hardware operation
 149  * @VB2_BUF_STATE_DONE:         buffer returned from driver to videobuf, but
 150  *                              not yet dequeued to userspace
 151  * @VB2_BUF_STATE_ERROR:        same as above, but the operation on the buffer
 152  *                              has ended with an error, which will be reported
 153  *                              to the userspace when it is dequeued
 154  */
 155 enum vb2_buffer_state {
 156         VB2_BUF_STATE_DEQUEUED,
 157         VB2_BUF_STATE_PREPARED,
 158         VB2_BUF_STATE_QUEUED,
 159         VB2_BUF_STATE_ACTIVE,
 160         VB2_BUF_STATE_DONE,
 161         VB2_BUF_STATE_ERROR,
 162 };
 163
 164 struct vb2_queue;
 165
 166 /**
 167  * struct vb2_buffer - represents a video buffer
 168  * @v4l2_buf:           struct v4l2_buffer associated with this buffer; can
 169  *                      be read by the driver and relevant entries can be
 170  *                      changed by the driver in case of CAPTURE types
 171  *                      (such as timestamp)
 172  * @v4l2_planes:        struct v4l2_planes associated with this buffer; can
 173  *                      be read by the driver and relevant entries can be
 174  *                      changed by the driver in case of CAPTURE types
 175  *                      (such as bytesused); NOTE that even for single-planar
 176  *                      types, the v4l2_planes[0] struct should be used
 177  *                      instead of v4l2_buf for filling bytesused - drivers
 178  *                      should use the vb2_set_plane_payload() function for that
 179  * @vb2_queue:          the queue to which this driver belongs
 180  * @num_planes:         number of planes in the buffer
 181  *                      on an internal driver queue
 182  * @state:              current buffer state; do not change
 183  * @queued_entry:       entry on the queued buffers list, which holds all
 184  *                      buffers queued from userspace
 185  * @done_entry:         entry on the list that stores all buffers ready to
 186  *                      be dequeued to userspace
 187  * @planes:             private per-plane information; do not change
 188  */
 189 struct vb2_buffer {
 190         struct v4l2_buffer      v4l2_buf;
 191         struct v4l2_plane       v4l2_planes[VIDEO_MAX_PLANES];
 192
 193         struct vb2_queue        *vb2_queue;
 194
 195         unsigned int            num_planes;
 196
 197 /* Private: internal use only */
 198         enum vb2_buffer_state   state;
 199
 200         struct list_head        queued_entry;
 201         struct list_head        done_entry;
 202
 203         struct vb2_plane        planes[VIDEO_MAX_PLANES];
 204 };
 205
 206 /**
 207  * struct vb2_ops - driver-specific callbacks
 208  *
 209  * @queue_setup:        called from VIDIOC_REQBUFS and VIDIOC_CREATE_BUFS
 210  *                      handlers before memory allocation, or, if
 211  *                      *num_planes != 0, after the allocation to verify a
 212  *                      smaller number of buffers. Driver should return
 213  *                      the required number of buffers in *num_buffers, the
 214  *                      required number of planes per buffer in *num_planes; the
 215  *                      size of each plane should be set in the sizes[] array
 216  *                      and optional per-plane allocator specific context in the
 217  *                      alloc_ctxs[] array. When called from VIDIOC_REQBUFS,
 218  *                      fmt == NULL, the driver has to use the currently
 219  *                      configured format and *num_buffers is the total number
 220  *                      of buffers, that are being allocated. When called from
 221  *                      VIDIOC_CREATE_BUFS, fmt != NULL and it describes the
 222  *                      target frame format (if the format isn't valid the
 223  *                      callback must return -EINVAL). In this case *num_buffers
 224  *                      are being allocated additionally to q->num_buffers.
 225  * @wait_prepare:       release any locks taken while calling vb2 functions;
 226  *                      it is called before an ioctl needs to wait for a new
 227  *                      buffer to arrive; required to avoid a deadlock in
 228  *                      blocking access type
 229  * @wait_finish:        reacquire all locks released in the previous callback;
 230  *                      required to continue operation after sleeping while
 231  *                      waiting for a new buffer to arrive
 232  * @buf_init:           called once after allocating a buffer (in MMAP case)
 233  *                      or after acquiring a new USERPTR buffer; drivers may
 234  *                      perform additional buffer-related initialization;
 235  *                      initialization failure (return != 0) will prevent
 236  *                      queue setup from completing successfully; optional
 237  * @buf_prepare:        called every time the buffer is queued from userspace
 238  *                      and from the VIDIOC_PREPARE_BUF ioctl; drivers may
 239  *                      perform any initialization required before each hardware
 240  *                      operation in this callback; drivers that support
 241  *                      VIDIOC_CREATE_BUFS must also validate the buffer size;
 242  *                      if an error is returned, the buffer will not be queued
 243  *                      in driver; optional
 244  * @buf_finish:         called before every dequeue of the buffer back to
 245  *                      userspace; drivers may perform any operations required
 246  *                      before userspace accesses the buffer; optional
 247  * @buf_cleanup:        called once before the buffer is freed; drivers may
 248  *                      perform any additional cleanup; optional
 249  * @start_streaming:    called once to enter 'streaming' state; the driver may
 250  *                      receive buffers with @buf_queue callback before
 251  *                      @start_streaming is called; the driver gets the number
 252  *                      of already queued buffers in count parameter; driver
 253  *                      can return an error if hardware fails or not enough
 254  *                      buffers has been queued, in such case all buffers that
 255  *                      have been already given by the @buf_queue callback are
 256  *                      invalidated.
 257  * @stop_streaming:     called when 'streaming' state must be disabled; driver
 258  *                      should stop any DMA transactions or wait until they
 259  *                      finish and give back all buffers it got from buf_queue()
 260  *                      callback; may use vb2_wait_for_all_buffers() function
 261  * @buf_queue:          passes buffer vb to the driver; driver may start
 262  *                      hardware operation on this buffer; driver should give
 263  *                      the buffer back by calling vb2_buffer_done() function;
 264  *                      it is allways called after calling STREAMON ioctl;
 265  *                      might be called before start_streaming callback if user
 266  *                      pre-queued buffers before calling STREAMON
 267  */
 268 struct vb2_ops {
 269         int (*queue_setup)(struct vb2_queue *q, const struct v4l2_format *fmt,
 270                            unsigned int *num_buffers, unsigned int *num_planes,
 271                            unsigned int sizes[], void *alloc_ctxs[]);
 272
 273         void (*wait_prepare)(struct vb2_queue *q);
 274         void (*wait_finish)(struct vb2_queue *q);
 275
 276         int (*buf_init)(struct vb2_buffer *vb);
 277         int (*buf_prepare)(struct vb2_buffer *vb);
 278         int (*buf_finish)(struct vb2_buffer *vb);
 279         void (*buf_cleanup)(struct vb2_buffer *vb);
 280
 281         int (*start_streaming)(struct vb2_queue *q, unsigned int count);
 282         int (*stop_streaming)(struct vb2_queue *q);
 283
 284         void (*buf_queue)(struct vb2_buffer *vb);
 285 };
 286
 287 struct v4l2_fh;
 288
 289 /**
 290  * struct vb2_queue - a videobuf queue
 291  *
 292  * @type:       queue type (see V4L2_BUF_TYPE_* in linux/videodev2.h
 293  * @io_modes:   supported io methods (see vb2_io_modes enum)
 294  * @io_flags:   additional io flags (see vb2_fileio_flags enum)
 295  * @lock:       pointer to a mutex that protects the vb2_queue struct. The
 296  *              driver can set this to a mutex to let the v4l2 core serialize
 297  *              the queuing ioctls. If the driver wants to handle locking
 298  *              itself, then this should be set to NULL. This lock is not used
 299  *              by the videobuf2 core API.
 300  * @owner:      The filehandle that 'owns' the buffers, i.e. the filehandle
 301  *              that called reqbufs, create_buffers or started fileio.
 302  *              This field is not used by the videobuf2 core API, but it allows
 303  *              drivers to easily associate an owner filehandle with the queue.
 304  * @ops:        driver-specific callbacks
 305  * @mem_ops:    memory allocator specific callbacks
 306  * @drv_priv:   driver private data
 307  * @buf_struct_size: size of the driver-specific buffer structure;
 308  *              "0" indicates the driver doesn't want to use a custom buffer
 309  *              structure type, so sizeof(struct vb2_buffer) will is used
 310  * @gfp_flags:  additional gfp flags used when allocating the buffers.
 311  *              Typically this is 0, but it may be e.g. GFP_DMA or __GFP_DMA32
 312  *              to force the buffer allocation to a specific memory zone.
 313  *
 314  * @memory:     current memory type used
 315  * @bufs:       videobuf buffer structures
 316  * @num_buffers: number of allocated/used buffers
 317  * @queued_list: list of buffers currently queued from userspace
 318  * @queued_count: number of buffers owned by the driver
 319  * @done_list:  list of buffers ready to be dequeued to userspace
 320  * @done_lock:  lock to protect done_list list
 321  * @done_wq:    waitqueue for processes waiting for buffers ready to be dequeued
 322  * @alloc_ctx:  memory type/allocator-specific contexts for each plane
 323  * @streaming:  current streaming state
 324  * @fileio:     file io emulator internal data, used only if emulator is active
 325  */
 326 struct vb2_queue {
 327         enum v4l2_buf_type              type;
 328         unsigned int                    io_modes;
 329         unsigned int                    io_flags;
 330         struct mutex                    *lock;
 331         struct v4l2_fh                  *owner;
 332
 333         const struct vb2_ops            *ops;
 334         const struct vb2_mem_ops        *mem_ops;
 335         void                            *drv_priv;
 336         unsigned int                    buf_struct_size;
 337         u32                             timestamp_type;
 338         gfp_t                           gfp_flags;
 339
 340 /* private: internal use only */
 341         enum v4l2_memory                memory;
 342         struct vb2_buffer               *bufs[VIDEO_MAX_FRAME];
 343         unsigned int                    num_buffers;
 344
 345         struct list_head                queued_list;
 346
 347         atomic_t                        queued_count;
 348         struct list_head                done_list;
 349         spinlock_t                      done_lock;
 350         wait_queue_head_t               done_wq;
 351
 352         void                            *alloc_ctx[VIDEO_MAX_PLANES];
 353         unsigned int                    plane_sizes[VIDEO_MAX_PLANES];
 354
 355         unsigned int                    streaming:1;
 356
 357         struct vb2_fileio_data          *fileio;
 358 };
 359
 360 void *vb2_plane_vaddr(struct vb2_buffer *vb, unsigned int plane_no);
 361 void *vb2_plane_cookie(struct vb2_buffer *vb, unsigned int plane_no);
 362
 363 void vb2_buffer_done(struct vb2_buffer *vb, enum vb2_buffer_state state);
 364 int vb2_wait_for_all_buffers(struct vb2_queue *q);
 365
 366 int vb2_querybuf(struct vb2_queue *q, struct v4l2_buffer *b);
 367 int vb2_reqbufs(struct vb2_queue *q, struct v4l2_requestbuffers *req);
 368
 369 int vb2_create_bufs(struct vb2_queue *q, struct v4l2_create_buffers *create);
 370 int vb2_prepare_buf(struct vb2_queue *q, struct v4l2_buffer *b);
 371
 372 int __must_check vb2_queue_init(struct vb2_queue *q);
 373
 374 void vb2_queue_release(struct vb2_queue *q);
 375
 376 int vb2_qbuf(struct vb2_queue *q, struct v4l2_buffer *b);
 377 int vb2_expbuf(struct vb2_queue *q, struct v4l2_exportbuffer *eb);
 378 int vb2_dqbuf(struct vb2_queue *q, struct v4l2_buffer *b, bool nonblocking);
 379
 380 int vb2_streamon(struct vb2_queue *q, enum v4l2_buf_type type);
 381 int vb2_streamoff(struct vb2_queue *q, enum v4l2_buf_type type);
 382
 383 int vb2_mmap(struct vb2_queue *q, struct vm_area_struct *vma);
 384 #ifndef CONFIG_MMU
 385 unsigned long vb2_get_unmapped_area(struct vb2_queue *q,
 386                                     unsigned long addr,
 387                                     unsigned long len,
 388                                     unsigned long pgoff,
 389                                     unsigned long flags);
 390 #endif
 391 unsigned int vb2_poll(struct vb2_queue *q, struct file *file, poll_table *wait);
 392 size_t vb2_read(struct vb2_queue *q, char __user *data, size_t count,
 393                 loff_t *ppos, int nonblock);
 394 size_t vb2_write(struct vb2_queue *q, const char __user *data, size_t count,
 395                 loff_t *ppos, int nonblock);
 396
 397 /**
 398  * vb2_is_streaming() - return streaming status of the queue
 399  * @q:          videobuf queue
 400  */
 401 static inline bool vb2_is_streaming(struct vb2_queue *q)
 402 {
 403         return q->streaming;
 404 }
 405
 406 /**
 407  * vb2_is_busy() - return busy status of the queue
 408  * @q:          videobuf queue
 409  *
 410  * This function checks if queue has any buffers allocated.
 411  */
 412 static inline bool vb2_is_busy(struct vb2_queue *q)
 413 {
 414         return (q->num_buffers > 0);
 415 }
 416
 417 /**
 418  * vb2_get_drv_priv() - return driver private data associated with the queue
 419  * @q:          videobuf queue
 420  */
 421 static inline void *vb2_get_drv_priv(struct vb2_queue *q)
 422 {
 423         return q->drv_priv;
 424 }
 425
 426 /**
 427  * vb2_set_plane_payload() - set bytesused for the plane plane_no
 428  * @vb:         buffer for which plane payload should be set
 429  * @plane_no:   plane number for which payload should be set
 430  * @size:       payload in bytes
 431  */
 432 static inline void vb2_set_plane_payload(struct vb2_buffer *vb,
 433                                  unsigned int plane_no, unsigned long size)
 434 {
 435         if (plane_no < vb->num_planes)
 436                 vb->v4l2_planes[plane_no].bytesused = size;
 437 }
 438
 439 /**
 440  * vb2_get_plane_payload() - get bytesused for the plane plane_no
 441  * @vb:         buffer for which plane payload should be set
 442  * @plane_no:   plane number for which payload should be set
 443  * @size:       payload in bytes
 444  */
 445 static inline unsigned long vb2_get_plane_payload(struct vb2_buffer *vb,
 446                                  unsigned int plane_no)
 447 {
 448         if (plane_no < vb->num_planes)
 449                 return vb->v4l2_planes[plane_no].bytesused;
 450         return 0;
 451 }
 452
 453 /**
 454  * vb2_plane_size() - return plane size in bytes
 455  * @vb:         buffer for which plane size should be returned
 456  * @plane_no:   plane number for which size should be returned
 457  */
 458 static inline unsigned long
 459 vb2_plane_size(struct vb2_buffer *vb, unsigned int plane_no)
 460 {
 461         if (plane_no < vb->num_planes)
 462                 return vb->v4l2_planes[plane_no].length;
 463         return 0;
 464 }
 465
 466 /*
 467  * The following functions are not part of the vb2 core API, but are simple
 468  * helper functions that you can use in your struct v4l2_file_operations,
 469  * struct v4l2_ioctl_ops and struct vb2_ops. They will serialize if vb2_queue->lock
 470  * or video_device->lock is set, and they will set and test vb2_queue->owner
 471  * to check if the calling filehandle is permitted to do the queuing operation.
 472  */
 473
 474 /* struct v4l2_ioctl_ops helpers */
 475
 476 int vb2_ioctl_reqbufs(struct file *file, void *priv,
 477                           struct v4l2_requestbuffers *p);
 478 int vb2_ioctl_create_bufs(struct file *file, void *priv,
 479                           struct v4l2_create_buffers *p);
 480 int vb2_ioctl_prepare_buf(struct file *file, void *priv,
 481                           struct v4l2_buffer *p);
 482 int vb2_ioctl_querybuf(struct file *file, void *priv, struct v4l2_buffer *p);
 483 int vb2_ioctl_qbuf(struct file *file, void *priv, struct v4l2_buffer *p);
 484 int vb2_ioctl_dqbuf(struct file *file, void *priv, struct v4l2_buffer *p);
 485 int vb2_ioctl_streamon(struct file *file, void *priv, enum v4l2_buf_type i);
 486 int vb2_ioctl_streamoff(struct file *file, void *priv, enum v4l2_buf_type i);
 487 int vb2_ioctl_expbuf(struct file *file, void *priv,
 488         struct v4l2_exportbuffer *p);
 489
 490 /* struct v4l2_file_operations helpers */
 491
 492 int vb2_fop_mmap(struct file *file, struct vm_area_struct *vma);
 493 int vb2_fop_release(struct file *file);
 494 ssize_t vb2_fop_write(struct file *file, const char __user *buf,
 495                 size_t count, loff_t *ppos);
 496 ssize_t vb2_fop_read(struct file *file, char __user *buf,
 497                 size_t count, loff_t *ppos);
 498 unsigned int vb2_fop_poll(struct file *file, poll_table *wait);
 499 #ifndef CONFIG_MMU
 500 unsigned long vb2_fop_get_unmapped_area(struct file *file, unsigned long addr,
 501                 unsigned long len, unsigned long pgoff, unsigned long flags);
 502 #endif
 503
 504 /* struct vb2_ops helpers, only use if vq->lock is non-NULL. */
 505
 506 void vb2_ops_wait_prepare(struct vb2_queue *vq);
 507 void vb2_ops_wait_finish(struct vb2_queue *vq);
 508
 509 #endif /* _MEDIA_VIDEOBUF2_CORE_H */