sound/firewire/amdtp.c

   1 /*
   2  * Audio and Music Data Transmission Protocol (IEC 61883-6) streams
   3  * with Common Isochronous Packet (IEC 61883-1) headers
   4  *
   5  * Copyright (c) Clemens Ladisch <clemens@ladisch.de>
   6  * Licensed under the terms of the GNU General Public License, version 2.
   7  */
   8
   9 #include <linux/device.h>
  10 #include <linux/err.h>
  11 #include <linux/firewire.h>
  12 #include <linux/module.h>
  13 #include <linux/slab.h>
  14 #include <linux/sched.h>
  15 #include <sound/pcm.h>
  16 #include <sound/pcm_params.h>
  17 #include <sound/rawmidi.h>
  18 #include "amdtp.h"
  19
  20 #define TICKS_PER_CYCLE         3072
  21 #define CYCLES_PER_SECOND       8000
  22 #define TICKS_PER_SECOND        (TICKS_PER_CYCLE * CYCLES_PER_SECOND)
  23
  24 /*
  25  * Nominally 3125 bytes/second, but the MIDI port's clock might be
  26  * 1% too slow, and the bus clock 100 ppm too fast.
  27  */
  28 #define MIDI_BYTES_PER_SECOND   3093
  29
  30 /*
  31  * Several devices look only at the first eight data blocks.
  32  * In any case, this is more than enough for the MIDI data rate.
  33  */
  34 #define MAX_MIDI_RX_BLOCKS      8
  35
  36 #define TRANSFER_DELAY_TICKS    0x2e00 /* 479.17 Âµs */
  37
  38 /* isochronous header parameters */
  39 #define ISO_DATA_LENGTH_SHIFT   16
  40 #define TAG_CIP                 1
  41
  42 /* common isochronous packet header parameters */
  43 #define CIP_EOH                 (1u << 31)
  44 #define CIP_EOH_MASK            0x80000000
  45 #define CIP_FMT_AM              (0x10 << 24)
  46 #define CIP_FMT_MASK            0x3f000000
  47 #define CIP_SYT_MASK            0x0000ffff
  48 #define CIP_SYT_NO_INFO         0xffff
  49 #define CIP_FDF_MASK            0x00ff0000
  50 #define CIP_FDF_SFC_SHIFT       16
  51
  52 /*
  53  * Audio and Music transfer protocol specific parameters
  54  * only "Clock-based rate control mode" is supported
  55  */
  56 #define AMDTP_FDF_AM824         (0 << (CIP_FDF_SFC_SHIFT + 3))
  57 #define AMDTP_FDF_NO_DATA       0xff
  58 #define AMDTP_DBS_MASK          0x00ff0000
  59 #define AMDTP_DBS_SHIFT         16
  60 #define AMDTP_DBC_MASK          0x000000ff
  61
  62 /* TODO: make these configurable */
  63 #define INTERRUPT_INTERVAL      16
  64 #define QUEUE_LENGTH            48
  65
  66 #define IN_PACKET_HEADER_SIZE   4
  67 #define OUT_PACKET_HEADER_SIZE  0
  68
  69 static void pcm_period_tasklet(unsigned long data);
  70
  71 /**
  72  * amdtp_stream_init - initialize an AMDTP stream structure
  73  * @s: the AMDTP stream to initialize
  74  * @unit: the target of the stream
  75  * @dir: the direction of stream
  76  * @flags: the packet transmission method to use
  77  */
  78 int amdtp_stream_init(struct amdtp_stream *s, struct fw_unit *unit,
  79                       enum amdtp_stream_direction dir, enum cip_flags flags)
  80 {
  81         s->unit = fw_unit_get(unit);
  82         s->direction = dir;
  83         s->flags = flags;
  84         s->context = ERR_PTR(-1);
  85         mutex_init(&s->mutex);
  86         tasklet_init(&s->period_tasklet, pcm_period_tasklet, (unsigned long)s);
  87         s->packet_index = 0;
  88
  89         init_waitqueue_head(&s->callback_wait);
  90         s->callbacked = false;
  91         s->sync_slave = NULL;
  92
  93         return 0;
  94 }
  95 EXPORT_SYMBOL(amdtp_stream_init);
  96
  97 /**
  98  * amdtp_stream_destroy - free stream resources
  99  * @s: the AMDTP stream to destroy
 100  */
 101 void amdtp_stream_destroy(struct amdtp_stream *s)
 102 {
 103         WARN_ON(amdtp_stream_running(s));
 104         mutex_destroy(&s->mutex);
 105         fw_unit_put(s->unit);
 106 }
 107 EXPORT_SYMBOL(amdtp_stream_destroy);
 108
 109 const unsigned int amdtp_syt_intervals[CIP_SFC_COUNT] = {
 110         [CIP_SFC_32000]  =  8,
 111         [CIP_SFC_44100]  =  8,
 112         [CIP_SFC_48000]  =  8,
 113         [CIP_SFC_88200]  = 16,
 114         [CIP_SFC_96000]  = 16,
 115         [CIP_SFC_176400] = 32,
 116         [CIP_SFC_192000] = 32,
 117 };
 118 EXPORT_SYMBOL(amdtp_syt_intervals);
 119
 120 const unsigned int amdtp_rate_table[CIP_SFC_COUNT] = {
 121         [CIP_SFC_32000]  =  32000,
 122         [CIP_SFC_44100]  =  44100,
 123         [CIP_SFC_48000]  =  48000,
 124         [CIP_SFC_88200]  =  88200,
 125         [CIP_SFC_96000]  =  96000,
 126         [CIP_SFC_176400] = 176400,
 127         [CIP_SFC_192000] = 192000,
 128 };
 129 EXPORT_SYMBOL(amdtp_rate_table);
 130
 131 /**
 132  * amdtp_stream_add_pcm_hw_constraints - add hw constraints for PCM substream
 133  * @s:          the AMDTP stream, which must be initialized.
 134  * @runtime:    the PCM substream runtime
 135  */
 136 int amdtp_stream_add_pcm_hw_constraints(struct amdtp_stream *s,
 137                                         struct snd_pcm_runtime *runtime)
 138 {
 139         int err;
 140
 141         /* AM824 in IEC 61883-6 can deliver 24bit data */
 142         err = snd_pcm_hw_constraint_msbits(runtime, 0, 32, 24);
 143         if (err < 0)
 144                 goto end;
 145
 146         /*
 147          * Currently firewire-lib processes 16 packets in one software
 148          * interrupt callback. This equals to 2msec but actually the
 149          * interval of the interrupts has a jitter.
 150          * Additionally, even if adding a constraint to fit period size to
 151          * 2msec, actual calculated frames per period doesn't equal to 2msec,
 152          * depending on sampling rate.
 153          * Anyway, the interval to call snd_pcm_period_elapsed() cannot 2msec.
 154          * Here let us use 5msec for safe period interrupt.
 155          */
 156         err = snd_pcm_hw_constraint_minmax(runtime,
 157                                            SNDRV_PCM_HW_PARAM_PERIOD_TIME,
 158                                            5000, UINT_MAX);
 159         if (err < 0)
 160                 goto end;
 161
 162         /* Non-Blocking stream has no more constraints */
 163         if (!(s->flags & CIP_BLOCKING))
 164                 goto end;
 165
 166         /*
 167          * One AMDTP packet can include some frames. In blocking mode, the
 168          * number equals to SYT_INTERVAL. So the number is 8, 16 or 32,
 169          * depending on its sampling rate. For accurate period interrupt, it's
 170          * preferrable to aligh period/buffer sizes to current SYT_INTERVAL.
 171          *
 172          * TODO: These constraints can be improved with propper rules.
 173          * Currently apply LCM of SYT_INTEVALs.
 174          */
 175         err = snd_pcm_hw_constraint_step(runtime, 0,
 176                                          SNDRV_PCM_HW_PARAM_PERIOD_SIZE, 32);
 177         if (err < 0)
 178                 goto end;
 179         err = snd_pcm_hw_constraint_step(runtime, 0,
 180                                          SNDRV_PCM_HW_PARAM_BUFFER_SIZE, 32);
 181 end:
 182         return err;
 183 }
 184 EXPORT_SYMBOL(amdtp_stream_add_pcm_hw_constraints);
 185
 186 /**
 187  * amdtp_stream_set_parameters - set stream parameters
 188  * @s: the AMDTP stream to configure
 189  * @rate: the sample rate
 190  * @pcm_channels: the number of PCM samples in each data block, to be encoded
 191  *                as AM824 multi-bit linear audio
 192  * @midi_ports: the number of MIDI ports (i.e., MPX-MIDI Data Channels)
 193  *
 194  * The parameters must be set before the stream is started, and must not be
 195  * changed while the stream is running.
 196  */
 197 void amdtp_stream_set_parameters(struct amdtp_stream *s,
 198                                  unsigned int rate,
 199                                  unsigned int pcm_channels,
 200                                  unsigned int midi_ports)
 201 {
 202         unsigned int i, sfc, midi_channels;
 203
 204         midi_channels = DIV_ROUND_UP(midi_ports, 8);
 205
 206         if (WARN_ON(amdtp_stream_running(s)) |
 207             WARN_ON(pcm_channels > AMDTP_MAX_CHANNELS_FOR_PCM) |
 208             WARN_ON(midi_channels > AMDTP_MAX_CHANNELS_FOR_MIDI))
 209                 return;
 210
 211         for (sfc = 0; sfc < ARRAY_SIZE(amdtp_rate_table); ++sfc)
 212                 if (amdtp_rate_table[sfc] == rate)
 213                         goto sfc_found;
 214         WARN_ON(1);
 215         return;
 216
 217 sfc_found:
 218         s->pcm_channels = pcm_channels;
 219         s->sfc = sfc;
 220         s->data_block_quadlets = s->pcm_channels + midi_channels;
 221         s->midi_ports = midi_ports;
 222
 223         s->syt_interval = amdtp_syt_intervals[sfc];
 224
 225         /* default buffering in the device */
 226         s->transfer_delay = TRANSFER_DELAY_TICKS - TICKS_PER_CYCLE;
 227         if (s->flags & CIP_BLOCKING)
 228                 /* additional buffering needed to adjust for no-data packets */
 229                 s->transfer_delay += TICKS_PER_SECOND * s->syt_interval / rate;
 230
 231         /* init the position map for PCM and MIDI channels */
 232         for (i = 0; i < pcm_channels; i++)
 233                 s->pcm_positions[i] = i;
 234         s->midi_position = s->pcm_channels;
 235
 236         /*
 237          * We do not know the actual MIDI FIFO size of most devices.  Just
 238          * assume two bytes, i.e., one byte can be received over the bus while
 239          * the previous one is transmitted over MIDI.
 240          * (The value here is adjusted for midi_ratelimit_per_packet().)
 241          */
 242         s->midi_fifo_limit = rate - MIDI_BYTES_PER_SECOND * s->syt_interval + 1;
 243 }
 244 EXPORT_SYMBOL(amdtp_stream_set_parameters);
 245
 246 /**
 247  * amdtp_stream_get_max_payload - get the stream's packet size
 248  * @s: the AMDTP stream
 249  *
 250  * This function must not be called before the stream has been configured
 251  * with amdtp_stream_set_parameters().
 252  */
 253 unsigned int amdtp_stream_get_max_payload(struct amdtp_stream *s)
 254 {
 255         return 8 + s->syt_interval * s->data_block_quadlets * 4;
 256 }
 257 EXPORT_SYMBOL(amdtp_stream_get_max_payload);
 258
 259 static void amdtp_write_s16(struct amdtp_stream *s,
 260                             struct snd_pcm_substream *pcm,
 261                             __be32 *buffer, unsigned int frames);
 262 static void amdtp_write_s32(struct amdtp_stream *s,
 263                             struct snd_pcm_substream *pcm,
 264                             __be32 *buffer, unsigned int frames);
 265 static void amdtp_read_s32(struct amdtp_stream *s,
 266                            struct snd_pcm_substream *pcm,
 267                            __be32 *buffer, unsigned int frames);
 268
 269 /**
 270  * amdtp_stream_set_pcm_format - set the PCM format
 271  * @s: the AMDTP stream to configure
 272  * @format: the format of the ALSA PCM device
 273  *
 274  * The sample format must be set after the other paramters (rate/PCM channels/
 275  * MIDI) and before the stream is started, and must not be changed while the
 276  * stream is running.
 277  */
 278 void amdtp_stream_set_pcm_format(struct amdtp_stream *s,
 279                                  snd_pcm_format_t format)
 280 {
 281         if (WARN_ON(amdtp_stream_pcm_running(s)))
 282                 return;
 283
 284         switch (format) {
 285         default:
 286                 WARN_ON(1);
 287                 /* fall through */
 288         case SNDRV_PCM_FORMAT_S16:
 289                 if (s->direction == AMDTP_OUT_STREAM) {
 290                         s->transfer_samples = amdtp_write_s16;
 291                         break;
 292                 }
 293                 WARN_ON(1);
 294                 /* fall through */
 295         case SNDRV_PCM_FORMAT_S32:
 296                 if (s->direction == AMDTP_OUT_STREAM)
 297                         s->transfer_samples = amdtp_write_s32;
 298                 else
 299                         s->transfer_samples = amdtp_read_s32;
 300                 break;
 301         }
 302 }
 303 EXPORT_SYMBOL(amdtp_stream_set_pcm_format);
 304
 305 /**
 306  * amdtp_stream_pcm_prepare - prepare PCM device for running
 307  * @s: the AMDTP stream
 308  *
 309  * This function should be called from the PCM device's .prepare callback.
 310  */
 311 void amdtp_stream_pcm_prepare(struct amdtp_stream *s)
 312 {
 313         tasklet_kill(&s->period_tasklet);
 314         s->pcm_buffer_pointer = 0;
 315         s->pcm_period_pointer = 0;
 316         s->pointer_flush = true;
 317 }
 318 EXPORT_SYMBOL(amdtp_stream_pcm_prepare);
 319
 320 static unsigned int calculate_data_blocks(struct amdtp_stream *s)
 321 {
 322         unsigned int phase, data_blocks;
 323
 324         if (s->flags & CIP_BLOCKING)
 325                 data_blocks = s->syt_interval;
 326         else if (!cip_sfc_is_base_44100(s->sfc)) {
 327                 /* Sample_rate / 8000 is an integer, and precomputed. */
 328                 data_blocks = s->data_block_state;
 329         } else {
 330                 phase = s->data_block_state;
 331
 332                 /*
 333                  * This calculates the number of data blocks per packet so that
 334                  * 1) the overall rate is correct and exactly synchronized to
 335                  *    the bus clock, and
 336                  * 2) packets with a rounded-up number of blocks occur as early
 337                  *    as possible in the sequence (to prevent underruns of the
 338                  *    device's buffer).
 339                  */
 340                 if (s->sfc == CIP_SFC_44100)
 341                         /* 6 6 5 6 5 6 5 ... */
 342                         data_blocks = 5 + ((phase & 1) ^
 343                                            (phase == 0 || phase >= 40));
 344                 else
 345                         /* 12 11 11 11 11 ... or 23 22 22 22 22 ... */
 346                         data_blocks = 11 * (s->sfc >> 1) + (phase == 0);
 347                 if (++phase >= (80 >> (s->sfc >> 1)))
 348                         phase = 0;
 349                 s->data_block_state = phase;
 350         }
 351
 352         return data_blocks;
 353 }
 354
 355 static unsigned int calculate_syt(struct amdtp_stream *s,
 356                                   unsigned int cycle)
 357 {
 358         unsigned int syt_offset, phase, index, syt;
 359
 360         if (s->last_syt_offset < TICKS_PER_CYCLE) {
 361                 if (!cip_sfc_is_base_44100(s->sfc))
 362                         syt_offset = s->last_syt_offset + s->syt_offset_state;
 363                 else {
 364                 /*
 365                  * The time, in ticks, of the n'th SYT_INTERVAL sample is:
 366                  *   n * SYT_INTERVAL * 24576000 / sample_rate
 367                  * Modulo TICKS_PER_CYCLE, the difference between successive
 368                  * elements is about 1386.23.  Rounding the results of this
 369                  * formula to the SYT precision results in a sequence of
 370                  * differences that begins with:
 371                  *   1386 1386 1387 1386 1386 1386 1387 1386 1386 1386 1387 ...
 372                  * This code generates _exactly_ the same sequence.
 373                  */
 374                         phase = s->syt_offset_state;
 375                         index = phase % 13;
 376                         syt_offset = s->last_syt_offset;
 377                         syt_offset += 1386 + ((index && !(index & 3)) ||
 378                                               phase == 146);
 379                         if (++phase >= 147)
 380                                 phase = 0;
 381                         s->syt_offset_state = phase;
 382                 }
 383         } else
 384                 syt_offset = s->last_syt_offset - TICKS_PER_CYCLE;
 385         s->last_syt_offset = syt_offset;
 386
 387         if (syt_offset < TICKS_PER_CYCLE) {
 388                 syt_offset += s->transfer_delay;
 389                 syt = (cycle + syt_offset / TICKS_PER_CYCLE) << 12;
 390                 syt += syt_offset % TICKS_PER_CYCLE;
 391
 392                 return syt & CIP_SYT_MASK;
 393         } else {
 394                 return CIP_SYT_NO_INFO;
 395         }
 396 }
 397
 398 static void amdtp_write_s32(struct amdtp_stream *s,
 399                             struct snd_pcm_substream *pcm,
 400                             __be32 *buffer, unsigned int frames)
 401 {
 402         struct snd_pcm_runtime *runtime = pcm->runtime;
 403         unsigned int channels, remaining_frames, i, c;
 404         const u32 *src;
 405
 406         channels = s->pcm_channels;
 407         src = (void *)runtime->dma_area +
 408                         frames_to_bytes(runtime, s->pcm_buffer_pointer);
 409         remaining_frames = runtime->buffer_size - s->pcm_buffer_pointer;
 410
 411         for (i = 0; i < frames; ++i) {
 412                 for (c = 0; c < channels; ++c) {
 413                         buffer[s->pcm_positions[c]] =
 414                                         cpu_to_be32((*src >> 8) | 0x40000000);
 415                         src++;
 416                 }
 417                 buffer += s->data_block_quadlets;
 418                 if (--remaining_frames == 0)
 419                         src = (void *)runtime->dma_area;
 420         }
 421 }
 422
 423 static void amdtp_write_s16(struct amdtp_stream *s,
 424                             struct snd_pcm_substream *pcm,
 425                             __be32 *buffer, unsigned int frames)
 426 {
 427         struct snd_pcm_runtime *runtime = pcm->runtime;
 428         unsigned int channels, remaining_frames, i, c;
 429         const u16 *src;
 430
 431         channels = s->pcm_channels;
 432         src = (void *)runtime->dma_area +
 433                         frames_to_bytes(runtime, s->pcm_buffer_pointer);
 434         remaining_frames = runtime->buffer_size - s->pcm_buffer_pointer;
 435
 436         for (i = 0; i < frames; ++i) {
 437                 for (c = 0; c < channels; ++c) {
 438                         buffer[s->pcm_positions[c]] =
 439                                         cpu_to_be32((*src << 8) | 0x42000000);
 440                         src++;
 441                 }
 442                 buffer += s->data_block_quadlets;
 443                 if (--remaining_frames == 0)
 444                         src = (void *)runtime->dma_area;
 445         }
 446 }
 447
 448 static void amdtp_read_s32(struct amdtp_stream *s,
 449                            struct snd_pcm_substream *pcm,
 450                            __be32 *buffer, unsigned int frames)
 451 {
 452         struct snd_pcm_runtime *runtime = pcm->runtime;
 453         unsigned int channels, remaining_frames, i, c;
 454         u32 *dst;
 455
 456         channels = s->pcm_channels;
 457         dst  = (void *)runtime->dma_area +
 458                         frames_to_bytes(runtime, s->pcm_buffer_pointer);
 459         remaining_frames = runtime->buffer_size - s->pcm_buffer_pointer;
 460
 461         for (i = 0; i < frames; ++i) {
 462                 for (c = 0; c < channels; ++c) {
 463                         *dst = be32_to_cpu(buffer[s->pcm_positions[c]]) << 8;
 464                         dst++;
 465                 }
 466                 buffer += s->data_block_quadlets;
 467                 if (--remaining_frames == 0)
 468                         dst = (void *)runtime->dma_area;
 469         }
 470 }
 471
 472 static void amdtp_fill_pcm_silence(struct amdtp_stream *s,
 473                                    __be32 *buffer, unsigned int frames)
 474 {
 475         unsigned int i, c;
 476
 477         for (i = 0; i < frames; ++i) {
 478                 for (c = 0; c < s->pcm_channels; ++c)
 479                         buffer[s->pcm_positions[c]] = cpu_to_be32(0x40000000);
 480                 buffer += s->data_block_quadlets;
 481         }
 482 }
 483
 484 /*
 485  * To avoid sending MIDI bytes at too high a rate, assume that the receiving
 486  * device has a FIFO, and track how much it is filled.  This values increases
 487  * by one whenever we send one byte in a packet, but the FIFO empties at
 488  * a constant rate independent of our packet rate.  One packet has syt_interval
 489  * samples, so the number of bytes that empty out of the FIFO, per packet(!),
 490  * is MIDI_BYTES_PER_SECOND * syt_interval / sample_rate.  To avoid storing
 491  * fractional values, the values in midi_fifo_used[] are measured in bytes
 492  * multiplied by the sample rate.
 493  */
 494 static bool midi_ratelimit_per_packet(struct amdtp_stream *s, unsigned int port)
 495 {
 496         int used;
 497
 498         used = s->midi_fifo_used[port];
 499         if (used == 0) /* common shortcut */
 500                 return true;
 501
 502         used -= MIDI_BYTES_PER_SECOND * s->syt_interval;
 503         used = max(used, 0);
 504         s->midi_fifo_used[port] = used;
 505
 506         return used < s->midi_fifo_limit;
 507 }
 508
 509 static void midi_rate_use_one_byte(struct amdtp_stream *s, unsigned int port)
 510 {
 511         s->midi_fifo_used[port] += amdtp_rate_table[s->sfc];
 512 }
 513
 514 static void amdtp_fill_midi(struct amdtp_stream *s,
 515                             __be32 *buffer, unsigned int frames)
 516 {
 517         unsigned int f, port;
 518         u8 *b;
 519
 520         for (f = 0; f < frames; f++) {
 521                 b = (u8 *)&buffer[s->midi_position];
 522
 523                 port = (s->data_block_counter + f) % 8;
 524                 if (f < MAX_MIDI_RX_BLOCKS &&
 525                     midi_ratelimit_per_packet(s, port) &&
 526                     s->midi[port] != NULL &&
 527                     snd_rawmidi_transmit(s->midi[port], &b[1], 1) == 1) {
 528                         midi_rate_use_one_byte(s, port);
 529                         b[0] = 0x81;
 530                 } else {
 531                         b[0] = 0x80;
 532                         b[1] = 0;
 533                 }
 534                 b[2] = 0;
 535                 b[3] = 0;
 536
 537                 buffer += s->data_block_quadlets;
 538         }
 539 }
 540
 541 static void amdtp_pull_midi(struct amdtp_stream *s,
 542                             __be32 *buffer, unsigned int frames)
 543 {
 544         unsigned int f, port;
 545         int len;
 546         u8 *b;
 547
 548         for (f = 0; f < frames; f++) {
 549                 port = (s->data_block_counter + f) % 8;
 550                 b = (u8 *)&buffer[s->midi_position];
 551
 552                 len = b[0] - 0x80;
 553                 if ((1 <= len) &&  (len <= 3) && (s->midi[port]))
 554                         snd_rawmidi_receive(s->midi[port], b + 1, len);
 555
 556                 buffer += s->data_block_quadlets;
 557         }
 558 }
 559
 560 static void update_pcm_pointers(struct amdtp_stream *s,
 561                                 struct snd_pcm_substream *pcm,
 562                                 unsigned int frames)
 563 {
 564         unsigned int ptr;
 565
 566         /*
 567          * In IEC 61883-6, one data block represents one event. In ALSA, one
 568          * event equals to one PCM frame. But Dice has a quirk to transfer
 569          * two PCM frames in one data block.
 570          */
 571         if (s->double_pcm_frames)
 572                 frames *= 2;
 573
 574         ptr = s->pcm_buffer_pointer + frames;
 575         if (ptr >= pcm->runtime->buffer_size)
 576                 ptr -= pcm->runtime->buffer_size;
 577         ACCESS_ONCE(s->pcm_buffer_pointer) = ptr;
 578
 579         s->pcm_period_pointer += frames;
 580         if (s->pcm_period_pointer >= pcm->runtime->period_size) {
 581                 s->pcm_period_pointer -= pcm->runtime->period_size;
 582                 s->pointer_flush = false;
 583                 tasklet_hi_schedule(&s->period_tasklet);
 584         }
 585 }
 586
 587 static void pcm_period_tasklet(unsigned long data)
 588 {
 589         struct amdtp_stream *s = (void *)data;
 590         struct snd_pcm_substream *pcm = ACCESS_ONCE(s->pcm);
 591
 592         if (pcm)
 593                 snd_pcm_period_elapsed(pcm);
 594 }
 595
 596 static int queue_packet(struct amdtp_stream *s,
 597                         unsigned int header_length,
 598                         unsigned int payload_length, bool skip)
 599 {
 600         struct fw_iso_packet p = {0};
 601         int err = 0;
 602
 603         if (IS_ERR(s->context))
 604                 goto end;
 605
 606         p.interrupt = IS_ALIGNED(s->packet_index + 1, INTERRUPT_INTERVAL);
 607         p.tag = TAG_CIP;
 608         p.header_length = header_length;
 609         p.payload_length = (!skip) ? payload_length : 0;
 610         p.skip = skip;
 611         err = fw_iso_context_queue(s->context, &p, &s->buffer.iso_buffer,
 612                                    s->buffer.packets[s->packet_index].offset);
 613         if (err < 0) {
 614                 dev_err(&s->unit->device, "queueing error: %d\n", err);
 615                 goto end;
 616         }
 617
 618         if (++s->packet_index >= QUEUE_LENGTH)
 619                 s->packet_index = 0;
 620 end:
 621         return err;
 622 }
 623
 624 static inline int queue_out_packet(struct amdtp_stream *s,
 625                                    unsigned int payload_length, bool skip)
 626 {
 627         return queue_packet(s, OUT_PACKET_HEADER_SIZE,
 628                             payload_length, skip);
 629 }
 630
 631 static inline int queue_in_packet(struct amdtp_stream *s)
 632 {
 633         return queue_packet(s, IN_PACKET_HEADER_SIZE,
 634                             amdtp_stream_get_max_payload(s), false);
 635 }
 636
 637 static void handle_out_packet(struct amdtp_stream *s, unsigned int syt)
 638 {
 639         __be32 *buffer;
 640         unsigned int data_blocks, payload_length;
 641         struct snd_pcm_substream *pcm;
 642
 643         if (s->packet_index < 0)
 644                 return;
 645
 646         /* this module generate empty packet for 'no data' */
 647         if (!(s->flags & CIP_BLOCKING) || (syt != CIP_SYT_NO_INFO))
 648                 data_blocks = calculate_data_blocks(s);
 649         else
 650                 data_blocks = 0;
 651
 652         buffer = s->buffer.packets[s->packet_index].buffer;
 653         buffer[0] = cpu_to_be32(ACCESS_ONCE(s->source_node_id_field) |
 654                                 (s->data_block_quadlets << AMDTP_DBS_SHIFT) |
 655                                 s->data_block_counter);
 656         buffer[1] = cpu_to_be32(CIP_EOH | CIP_FMT_AM | AMDTP_FDF_AM824 |
 657                                 (s->sfc << CIP_FDF_SFC_SHIFT) | syt);
 658         buffer += 2;
 659
 660         pcm = ACCESS_ONCE(s->pcm);
 661         if (pcm)
 662                 s->transfer_samples(s, pcm, buffer, data_blocks);
 663         else
 664                 amdtp_fill_pcm_silence(s, buffer, data_blocks);
 665         if (s->midi_ports)
 666                 amdtp_fill_midi(s, buffer, data_blocks);
 667
 668         s->data_block_counter = (s->data_block_counter + data_blocks) & 0xff;
 669
 670         payload_length = 8 + data_blocks * 4 * s->data_block_quadlets;
 671         if (queue_out_packet(s, payload_length, false) < 0) {
 672                 s->packet_index = -1;
 673                 amdtp_stream_pcm_abort(s);
 674                 return;
 675         }
 676
 677         if (pcm)
 678                 update_pcm_pointers(s, pcm, data_blocks);
 679 }
 680
 681 static void handle_in_packet(struct amdtp_stream *s,
 682                              unsigned int payload_quadlets,
 683                              __be32 *buffer)
 684 {
 685         u32 cip_header[2];
 686         unsigned int data_blocks, data_block_quadlets, data_block_counter,
 687                      dbc_interval;
 688         struct snd_pcm_substream *pcm = NULL;
 689         bool lost;
 690
 691         cip_header[0] = be32_to_cpu(buffer[0]);
 692         cip_header[1] = be32_to_cpu(buffer[1]);
 693
 694         /*
 695          * This module supports 'Two-quadlet CIP header with SYT field'.
 696          * For convenience, also check FMT field is AM824 or not.
 697          */
 698         if (((cip_header[0] & CIP_EOH_MASK) == CIP_EOH) ||
 699             ((cip_header[1] & CIP_EOH_MASK) != CIP_EOH) ||
 700             ((cip_header[1] & CIP_FMT_MASK) != CIP_FMT_AM)) {
 701                 dev_info_ratelimited(&s->unit->device,
 702                                 "Invalid CIP header for AMDTP: %08X:%08X\n",
 703                                 cip_header[0], cip_header[1]);
 704                 goto end;
 705         }
 706
 707         /* Calculate data blocks */
 708         if (payload_quadlets < 3 ||
 709             ((cip_header[1] & CIP_FDF_MASK) ==
 710                                 (AMDTP_FDF_NO_DATA << CIP_FDF_SFC_SHIFT))) {
 711                 data_blocks = 0;
 712         } else {
 713                 data_block_quadlets =
 714                         (cip_header[0] & AMDTP_DBS_MASK) >> AMDTP_DBS_SHIFT;
 715                 /* avoid division by zero */
 716                 if (data_block_quadlets == 0) {
 717                         dev_info_ratelimited(&s->unit->device,
 718                                 "Detect invalid value in dbs field: %08X\n",
 719                                 cip_header[0]);
 720                         goto err;
 721                 }
 722                 if (s->flags & CIP_WRONG_DBS)
 723                         data_block_quadlets = s->data_block_quadlets;
 724
 725                 data_blocks = (payload_quadlets - 2) / data_block_quadlets;
 726         }
 727
 728         /* Check data block counter continuity */
 729         data_block_counter = cip_header[0] & AMDTP_DBC_MASK;
 730         if (data_blocks == 0 && (s->flags & CIP_EMPTY_HAS_WRONG_DBC) &&
 731             s->data_block_counter != UINT_MAX)
 732                 data_block_counter = s->data_block_counter;
 733
 734         if (((s->flags & CIP_SKIP_DBC_ZERO_CHECK) && data_block_counter == 0) ||
 735             (s->data_block_counter == UINT_MAX)) {
 736                 lost = false;
 737         } else if (!(s->flags & CIP_DBC_IS_END_EVENT)) {
 738                 lost = data_block_counter != s->data_block_counter;
 739         } else {
 740                 if ((data_blocks > 0) && (s->tx_dbc_interval > 0))
 741                         dbc_interval = s->tx_dbc_interval;
 742                 else
 743                         dbc_interval = data_blocks;
 744
 745                 lost = data_block_counter !=
 746                        ((s->data_block_counter + dbc_interval) & 0xff);
 747         }
 748
 749         if (lost) {
 750                 dev_info(&s->unit->device,
 751                          "Detect discontinuity of CIP: %02X %02X\n",
 752                          s->data_block_counter, data_block_counter);
 753                 goto err;
 754         }
 755
 756         if (data_blocks > 0) {
 757                 buffer += 2;
 758
 759                 pcm = ACCESS_ONCE(s->pcm);
 760                 if (pcm)
 761                         s->transfer_samples(s, pcm, buffer, data_blocks);
 762
 763                 if (s->midi_ports)
 764                         amdtp_pull_midi(s, buffer, data_blocks);
 765         }
 766
 767         if (s->flags & CIP_DBC_IS_END_EVENT)
 768                 s->data_block_counter = data_block_counter;
 769         else
 770                 s->data_block_counter =
 771                                 (data_block_counter + data_blocks) & 0xff;
 772 end:
 773         if (queue_in_packet(s) < 0)
 774                 goto err;
 775
 776         if (pcm)
 777                 update_pcm_pointers(s, pcm, data_blocks);
 778
 779         return;
 780 err:
 781         s->packet_index = -1;
 782         amdtp_stream_pcm_abort(s);
 783 }
 784
 785 static void out_stream_callback(struct fw_iso_context *context, u32 cycle,
 786                                 size_t header_length, void *header,
 787                                 void *private_data)
 788 {
 789         struct amdtp_stream *s = private_data;
 790         unsigned int i, syt, packets = header_length / 4;
 791
 792         /*
 793          * Compute the cycle of the last queued packet.
 794          * (We need only the four lowest bits for the SYT, so we can ignore
 795          * that bits 0-11 must wrap around at 3072.)
 796          */
 797         cycle += QUEUE_LENGTH - packets;
 798
 799         for (i = 0; i < packets; ++i) {
 800                 syt = calculate_syt(s, ++cycle);
 801                 handle_out_packet(s, syt);
 802         }
 803         fw_iso_context_queue_flush(s->context);
 804 }
 805
 806 static void in_stream_callback(struct fw_iso_context *context, u32 cycle,
 807                                size_t header_length, void *header,
 808                                void *private_data)
 809 {
 810         struct amdtp_stream *s = private_data;
 811         unsigned int p, syt, packets, payload_quadlets;
 812         __be32 *buffer, *headers = header;
 813
 814         /* The number of packets in buffer */
 815         packets = header_length / IN_PACKET_HEADER_SIZE;
 816
 817         for (p = 0; p < packets; p++) {
 818                 if (s->packet_index < 0)
 819                         break;
 820
 821                 buffer = s->buffer.packets[s->packet_index].buffer;
 822
 823                 /* Process sync slave stream */
 824                 if (s->sync_slave && s->sync_slave->callbacked) {
 825                         syt = be32_to_cpu(buffer[1]) & CIP_SYT_MASK;
 826                         handle_out_packet(s->sync_slave, syt);
 827                 }
 828
 829                 /* The number of quadlets in this packet */
 830                 payload_quadlets =
 831                         (be32_to_cpu(headers[p]) >> ISO_DATA_LENGTH_SHIFT) / 4;
 832                 handle_in_packet(s, payload_quadlets, buffer);
 833         }
 834
 835         /* Queueing error or detecting discontinuity */
 836         if (s->packet_index < 0) {
 837                 /* Abort sync slave. */
 838                 if (s->sync_slave) {
 839                         s->sync_slave->packet_index = -1;
 840                         amdtp_stream_pcm_abort(s->sync_slave);
 841                 }
 842                 return;
 843         }
 844
 845         /* when sync to device, flush the packets for slave stream */
 846         if (s->sync_slave && s->sync_slave->callbacked)
 847                 fw_iso_context_queue_flush(s->sync_slave->context);
 848
 849         fw_iso_context_queue_flush(s->context);
 850 }
 851
 852 /* processing is done by master callback */
 853 static void slave_stream_callback(struct fw_iso_context *context, u32 cycle,
 854                                   size_t header_length, void *header,
 855                                   void *private_data)
 856 {
 857         return;
 858 }
 859
 860 /* this is executed one time */
 861 static void amdtp_stream_first_callback(struct fw_iso_context *context,
 862                                         u32 cycle, size_t header_length,
 863                                         void *header, void *private_data)
 864 {
 865         struct amdtp_stream *s = private_data;
 866
 867         /*
 868          * For in-stream, first packet has come.
 869          * For out-stream, prepared to transmit first packet
 870          */
 871         s->callbacked = true;
 872         wake_up(&s->callback_wait);
 873
 874         if (s->direction == AMDTP_IN_STREAM)
 875                 context->callback.sc = in_stream_callback;
 876         else if ((s->flags & CIP_BLOCKING) && (s->flags & CIP_SYNC_TO_DEVICE))
 877                 context->callback.sc = slave_stream_callback;
 878         else
 879                 context->callback.sc = out_stream_callback;
 880
 881         context->callback.sc(context, cycle, header_length, header, s);
 882 }
 883
 884 /**
 885  * amdtp_stream_start - start transferring packets
 886  * @s: the AMDTP stream to start
 887  * @channel: the isochronous channel on the bus
 888  * @speed: firewire speed code
 889  *
 890  * The stream cannot be started until it has been configured with
 891  * amdtp_stream_set_parameters() and it must be started before any PCM or MIDI
 892  * device can be started.
 893  */
 894 int amdtp_stream_start(struct amdtp_stream *s, int channel, int speed)
 895 {
 896         static const struct {
 897                 unsigned int data_block;
 898                 unsigned int syt_offset;
 899         } initial_state[] = {
 900                 [CIP_SFC_32000]  = {  4, 3072 },
 901                 [CIP_SFC_48000]  = {  6, 1024 },
 902                 [CIP_SFC_96000]  = { 12, 1024 },
 903                 [CIP_SFC_192000] = { 24, 1024 },
 904                 [CIP_SFC_44100]  = {  0,   67 },
 905                 [CIP_SFC_88200]  = {  0,   67 },
 906                 [CIP_SFC_176400] = {  0,   67 },
 907         };
 908         unsigned int header_size;
 909         enum dma_data_direction dir;
 910         int type, tag, err;
 911
 912         mutex_lock(&s->mutex);
 913
 914         if (WARN_ON(amdtp_stream_running(s) ||
 915                     (s->data_block_quadlets < 1))) {
 916                 err = -EBADFD;
 917                 goto err_unlock;
 918         }
 919
 920         if (s->direction == AMDTP_IN_STREAM &&
 921             s->flags & CIP_SKIP_INIT_DBC_CHECK)
 922                 s->data_block_counter = UINT_MAX;
 923         else
 924                 s->data_block_counter = 0;
 925         s->data_block_state = initial_state[s->sfc].data_block;
 926         s->syt_offset_state = initial_state[s->sfc].syt_offset;
 927         s->last_syt_offset = TICKS_PER_CYCLE;
 928
 929         /* initialize packet buffer */
 930         if (s->direction == AMDTP_IN_STREAM) {
 931                 dir = DMA_FROM_DEVICE;
 932                 type = FW_ISO_CONTEXT_RECEIVE;
 933                 header_size = IN_PACKET_HEADER_SIZE;
 934         } else {
 935                 dir = DMA_TO_DEVICE;
 936                 type = FW_ISO_CONTEXT_TRANSMIT;
 937                 header_size = OUT_PACKET_HEADER_SIZE;
 938         }
 939         err = iso_packets_buffer_init(&s->buffer, s->unit, QUEUE_LENGTH,
 940                                       amdtp_stream_get_max_payload(s), dir);
 941         if (err < 0)
 942                 goto err_unlock;
 943
 944         s->context = fw_iso_context_create(fw_parent_device(s->unit)->card,
 945                                            type, channel, speed, header_size,
 946                                            amdtp_stream_first_callback, s);
 947         if (IS_ERR(s->context)) {
 948                 err = PTR_ERR(s->context);
 949                 if (err == -EBUSY)
 950                         dev_err(&s->unit->device,
 951                                 "no free stream on this controller\n");
 952                 goto err_buffer;
 953         }
 954
 955         amdtp_stream_update(s);
 956
 957         s->packet_index = 0;
 958         do {
 959                 if (s->direction == AMDTP_IN_STREAM)
 960                         err = queue_in_packet(s);
 961                 else
 962                         err = queue_out_packet(s, 0, true);
 963                 if (err < 0)
 964                         goto err_context;
 965         } while (s->packet_index > 0);
 966
 967         /* NOTE: TAG1 matches CIP. This just affects in stream. */
 968         tag = FW_ISO_CONTEXT_MATCH_TAG1;
 969         if (s->flags & CIP_EMPTY_WITH_TAG0)
 970                 tag |= FW_ISO_CONTEXT_MATCH_TAG0;
 971
 972         s->callbacked = false;
 973         err = fw_iso_context_start(s->context, -1, 0, tag);
 974         if (err < 0)
 975                 goto err_context;
 976
 977         mutex_unlock(&s->mutex);
 978
 979         return 0;
 980
 981 err_context:
 982         fw_iso_context_destroy(s->context);
 983         s->context = ERR_PTR(-1);
 984 err_buffer:
 985         iso_packets_buffer_destroy(&s->buffer, s->unit);
 986 err_unlock:
 987         mutex_unlock(&s->mutex);
 988
 989         return err;
 990 }
 991 EXPORT_SYMBOL(amdtp_stream_start);
 992
 993 /**
 994  * amdtp_stream_pcm_pointer - get the PCM buffer position
 995  * @s: the AMDTP stream that transports the PCM data
 996  *
 997  * Returns the current buffer position, in frames.
 998  */
 999 unsigned long amdtp_stream_pcm_pointer(struct amdtp_stream *s)
1000 {
1001         /* this optimization is allowed to be racy */
1002         if (s->pointer_flush && amdtp_stream_running(s))
1003                 fw_iso_context_flush_completions(s->context);
1004         else
1005                 s->pointer_flush = true;
1006
1007         return ACCESS_ONCE(s->pcm_buffer_pointer);
1008 }
1009 EXPORT_SYMBOL(amdtp_stream_pcm_pointer);
1010
1011 /**
1012  * amdtp_stream_update - update the stream after a bus reset
1013  * @s: the AMDTP stream
1014  */
1015 void amdtp_stream_update(struct amdtp_stream *s)
1016 {
1017         ACCESS_ONCE(s->source_node_id_field) =
1018                 (fw_parent_device(s->unit)->card->node_id & 0x3f) << 24;
1019 }
1020 EXPORT_SYMBOL(amdtp_stream_update);
1021
1022 /**
1023  * amdtp_stream_stop - stop sending packets
1024  * @s: the AMDTP stream to stop
1025  *
1026  * All PCM and MIDI devices of the stream must be stopped before the stream
1027  * itself can be stopped.
1028  */
1029 void amdtp_stream_stop(struct amdtp_stream *s)
1030 {
1031         mutex_lock(&s->mutex);
1032
1033         if (!amdtp_stream_running(s)) {
1034                 mutex_unlock(&s->mutex);
1035                 return;
1036         }
1037
1038         tasklet_kill(&s->period_tasklet);
1039         fw_iso_context_stop(s->context);
1040         fw_iso_context_destroy(s->context);
1041         s->context = ERR_PTR(-1);
1042         iso_packets_buffer_destroy(&s->buffer, s->unit);
1043
1044         s->callbacked = false;
1045
1046         mutex_unlock(&s->mutex);
1047 }
1048 EXPORT_SYMBOL(amdtp_stream_stop);
1049
1050 /**
1051  * amdtp_stream_pcm_abort - abort the running PCM device
1052  * @s: the AMDTP stream about to be stopped
1053  *
1054  * If the isochronous stream needs to be stopped asynchronously, call this
1055  * function first to stop the PCM device.
1056  */
1057 void amdtp_stream_pcm_abort(struct amdtp_stream *s)
1058 {
1059         struct snd_pcm_substream *pcm;
1060
1061         pcm = ACCESS_ONCE(s->pcm);
1062         if (pcm)
1063                 snd_pcm_stop_xrun(pcm);
1064 }
1065 EXPORT_SYMBOL(amdtp_stream_pcm_abort);