arch/sh/mm/cache-sh4.c

   1 /*
   2  * arch/sh/mm/cache-sh4.c
   3  *
   4  * Copyright (C) 1999, 2000, 2002  Niibe Yutaka
   5  * Copyright (C) 2001 - 2006  Paul Mundt
   6  * Copyright (C) 2003  Richard Curnow
   7  *
   8  * This file is subject to the terms and conditions of the GNU General Public
   9  * License.  See the file "COPYING" in the main directory of this archive
  10  * for more details.
  11  */
  12 #include <linux/init.h>
  13 #include <linux/mm.h>
  14 #include <linux/io.h>
  15 #include <linux/mutex.h>
  16 #include <asm/mmu_context.h>
  17 #include <asm/cacheflush.h>
  18
  19 /*
  20  * The maximum number of pages we support up to when doing ranged dcache
  21  * flushing. Anything exceeding this will simply flush the dcache in its
  22  * entirety.
  23  */
  24 #define MAX_DCACHE_PAGES        64      /* XXX: Tune for ways */
  25
  26 static void __flush_dcache_segment_1way(unsigned long start,
  27                                         unsigned long extent);
  28 static void __flush_dcache_segment_2way(unsigned long start,
  29                                         unsigned long extent);
  30 static void __flush_dcache_segment_4way(unsigned long start,
  31                                         unsigned long extent);
  32
  33 static void __flush_cache_4096(unsigned long addr, unsigned long phys,
  34                                unsigned long exec_offset);
  35
  36 /*
  37  * This is initialised here to ensure that it is not placed in the BSS.  If
  38  * that were to happen, note that cache_init gets called before the BSS is
  39  * cleared, so this would get nulled out which would be hopeless.
  40  */
  41 static void (*__flush_dcache_segment_fn)(unsigned long, unsigned long) =
  42         (void (*)(unsigned long, unsigned long))0xdeadbeef;
  43
  44 static void compute_alias(struct cache_info *c)
  45 {
  46         c->alias_mask = ((c->sets - 1) << c->entry_shift) & ~(PAGE_SIZE - 1);
  47         c->n_aliases = (c->alias_mask >> PAGE_SHIFT) + 1;
  48 }
  49
  50 static void __init emit_cache_params(void)
  51 {
  52         printk("PVR=%08x CVR=%08x PRR=%08x\n",
  53                 ctrl_inl(CCN_PVR),
  54                 ctrl_inl(CCN_CVR),
  55                 ctrl_inl(CCN_PRR));
  56         printk("I-cache : n_ways=%d n_sets=%d way_incr=%d\n",
  57                 current_cpu_data.icache.ways,
  58                 current_cpu_data.icache.sets,
  59                 current_cpu_data.icache.way_incr);
  60         printk("I-cache : entry_mask=0x%08x alias_mask=0x%08x n_aliases=%d\n",
  61                 current_cpu_data.icache.entry_mask,
  62                 current_cpu_data.icache.alias_mask,
  63                 current_cpu_data.icache.n_aliases);
  64         printk("D-cache : n_ways=%d n_sets=%d way_incr=%d\n",
  65                 current_cpu_data.dcache.ways,
  66                 current_cpu_data.dcache.sets,
  67                 current_cpu_data.dcache.way_incr);
  68         printk("D-cache : entry_mask=0x%08x alias_mask=0x%08x n_aliases=%d\n",
  69                 current_cpu_data.dcache.entry_mask,
  70                 current_cpu_data.dcache.alias_mask,
  71                 current_cpu_data.dcache.n_aliases);
  72
  73         if (!__flush_dcache_segment_fn)
  74                 panic("unknown number of cache ways\n");
  75 }
  76
  77 /*
  78  * SH-4 has virtually indexed and physically tagged cache.
  79  */
  80
  81 /* Worst case assumed to be 64k cache, direct-mapped i.e. 4 synonym bits. */
  82 #define MAX_P3_MUTEXES 16
  83
  84 struct mutex p3map_mutex[MAX_P3_MUTEXES];
  85
  86 void __init p3_cache_init(void)
  87 {
  88         int i;
  89
  90         compute_alias(&current_cpu_data.icache);
  91         compute_alias(&current_cpu_data.dcache);
  92
  93         switch (current_cpu_data.dcache.ways) {
  94         case 1:
  95                 __flush_dcache_segment_fn = __flush_dcache_segment_1way;
  96                 break;
  97         case 2:
  98                 __flush_dcache_segment_fn = __flush_dcache_segment_2way;
  99                 break;
 100         case 4:
 101                 __flush_dcache_segment_fn = __flush_dcache_segment_4way;
 102                 break;
 103         default:
 104                 __flush_dcache_segment_fn = NULL;
 105                 break;
 106         }
 107
 108         emit_cache_params();
 109
 110         if (ioremap_page_range(P3SEG, P3SEG + (PAGE_SIZE * 4), 0, PAGE_KERNEL))
 111                 panic("%s failed.", __FUNCTION__);
 112
 113         for (i = 0; i < current_cpu_data.dcache.n_aliases; i++)
 114                 mutex_init(&p3map_mutex[i]);
 115 }
 116
 117 /*
 118  * Write back the dirty D-caches, but not invalidate them.
 119  *
 120  * START: Virtual Address (U0, P1, or P3)
 121  * SIZE: Size of the region.
 122  */
 123 void __flush_wback_region(void *start, int size)
 124 {
 125         unsigned long v;
 126         unsigned long begin, end;
 127
 128         begin = (unsigned long)start & ~(L1_CACHE_BYTES-1);
 129         end = ((unsigned long)start + size + L1_CACHE_BYTES-1)
 130                 & ~(L1_CACHE_BYTES-1);
 131         for (v = begin; v < end; v+=L1_CACHE_BYTES) {
 132                 asm volatile("ocbwb     %0"
 133                              : /* no output */
 134                              : "m" (__m(v)));
 135         }
 136 }
 137
 138 /*
 139  * Write back the dirty D-caches and invalidate them.
 140  *
 141  * START: Virtual Address (U0, P1, or P3)
 142  * SIZE: Size of the region.
 143  */
 144 void __flush_purge_region(void *start, int size)
 145 {
 146         unsigned long v;
 147         unsigned long begin, end;
 148
 149         begin = (unsigned long)start & ~(L1_CACHE_BYTES-1);
 150         end = ((unsigned long)start + size + L1_CACHE_BYTES-1)
 151                 & ~(L1_CACHE_BYTES-1);
 152         for (v = begin; v < end; v+=L1_CACHE_BYTES) {
 153                 asm volatile("ocbp      %0"
 154                              : /* no output */
 155                              : "m" (__m(v)));
 156         }
 157 }
 158
 159 /*
 160  * No write back please
 161  */
 162 void __flush_invalidate_region(void *start, int size)
 163 {
 164         unsigned long v;
 165         unsigned long begin, end;
 166
 167         begin = (unsigned long)start & ~(L1_CACHE_BYTES-1);
 168         end = ((unsigned long)start + size + L1_CACHE_BYTES-1)
 169                 & ~(L1_CACHE_BYTES-1);
 170         for (v = begin; v < end; v+=L1_CACHE_BYTES) {
 171                 asm volatile("ocbi      %0"
 172                              : /* no output */
 173                              : "m" (__m(v)));
 174         }
 175 }
 176
 177 /*
 178  * Write back the range of D-cache, and purge the I-cache.
 179  *
 180  * Called from kernel/module.c:sys_init_module and routine for a.out format.
 181  */
 182 void flush_icache_range(unsigned long start, unsigned long end)
 183 {
 184         flush_cache_all();
 185 }
 186
 187 /*
 188  * Write back the D-cache and purge the I-cache for signal trampoline.
 189  * .. which happens to be the same behavior as flush_icache_range().
 190  * So, we simply flush out a line.
 191  */
 192 void flush_cache_sigtramp(unsigned long addr)
 193 {
 194         unsigned long v, index;
 195         unsigned long flags;
 196         int i;
 197
 198         v = addr & ~(L1_CACHE_BYTES-1);
 199         asm volatile("ocbwb     %0"
 200                      : /* no output */
 201                      : "m" (__m(v)));
 202
 203         index = CACHE_IC_ADDRESS_ARRAY |
 204                         (v & current_cpu_data.icache.entry_mask);
 205
 206         local_irq_save(flags);
 207         jump_to_P2();
 208
 209         for (i = 0; i < current_cpu_data.icache.ways;
 210              i++, index += current_cpu_data.icache.way_incr)
 211                 ctrl_outl(0, index);    /* Clear out Valid-bit */
 212
 213         back_to_P1();
 214         wmb();
 215         local_irq_restore(flags);
 216 }
 217
 218 static inline void flush_cache_4096(unsigned long start,
 219                                     unsigned long phys)
 220 {
 221         unsigned long flags, exec_offset = 0;
 222
 223         /*
 224          * All types of SH-4 require PC to be in P2 to operate on the I-cache.
 225          * Some types of SH-4 require PC to be in P2 to operate on the D-cache.
 226          */
 227         if ((current_cpu_data.flags & CPU_HAS_P2_FLUSH_BUG) ||
 228             (start < CACHE_OC_ADDRESS_ARRAY))
 229                 exec_offset = 0x20000000;
 230
 231         local_irq_save(flags);
 232         __flush_cache_4096(start | SH_CACHE_ASSOC,
 233                            P1SEGADDR(phys), exec_offset);
 234         local_irq_restore(flags);
 235 }
 236
 237 /*
 238  * Write back & invalidate the D-cache of the page.
 239  * (To avoid "alias" issues)
 240  *
 241  * This uses a lazy write-back on UP, which is explicitly
 242  * disabled on SMP.
 243  */
 244 void flush_dcache_page(struct page *page)
 245 {
 246 #ifndef CONFIG_SMP
 247         struct address_space *mapping = page_mapping(page);
 248
 249         if (mapping && !mapping_mapped(mapping))
 250                 set_bit(PG_dcache_dirty, &page->flags);
 251         else
 252 #endif
 253         {
 254                 unsigned long phys = PHYSADDR(page_address(page));
 255                 unsigned long addr = CACHE_OC_ADDRESS_ARRAY;
 256                 int i, n;
 257
 258                 /* Loop all the D-cache */
 259                 n = current_cpu_data.dcache.n_aliases;
 260                 for (i = 0; i < n; i++, addr += 4096)
 261                         flush_cache_4096(addr, phys);
 262         }
 263
 264         wmb();
 265 }
 266
 267 /* TODO: Selective icache invalidation through IC address array.. */
 268 static inline void flush_icache_all(void)
 269 {
 270         unsigned long flags, ccr;
 271
 272         local_irq_save(flags);
 273         jump_to_P2();
 274
 275         /* Flush I-cache */
 276         ccr = ctrl_inl(CCR);
 277         ccr |= CCR_CACHE_ICI;
 278         ctrl_outl(ccr, CCR);
 279
 280         /*
 281          * back_to_P1() will take care of the barrier for us, don't add
 282          * another one!
 283          */
 284
 285         back_to_P1();
 286         local_irq_restore(flags);
 287 }
 288
 289 void flush_dcache_all(void)
 290 {
 291         (*__flush_dcache_segment_fn)(0UL, current_cpu_data.dcache.way_size);
 292         wmb();
 293 }
 294
 295 void flush_cache_all(void)
 296 {
 297         flush_dcache_all();
 298         flush_icache_all();
 299 }
 300
 301 static void __flush_cache_mm(struct mm_struct *mm, unsigned long start,
 302                              unsigned long end)
 303 {
 304         unsigned long d = 0, p = start & PAGE_MASK;
 305         unsigned long alias_mask = current_cpu_data.dcache.alias_mask;
 306         unsigned long n_aliases = current_cpu_data.dcache.n_aliases;
 307         unsigned long select_bit;
 308         unsigned long all_aliases_mask;
 309         unsigned long addr_offset;
 310         pgd_t *dir;
 311         pmd_t *pmd;
 312         pud_t *pud;
 313         pte_t *pte;
 314         int i;
 315
 316         dir = pgd_offset(mm, p);
 317         pud = pud_offset(dir, p);
 318         pmd = pmd_offset(pud, p);
 319         end = PAGE_ALIGN(end);
 320
 321         all_aliases_mask = (1 << n_aliases) - 1;
 322
 323         do {
 324                 if (pmd_none(*pmd) || unlikely(pmd_bad(*pmd))) {
 325                         p &= PMD_MASK;
 326                         p += PMD_SIZE;
 327                         pmd++;
 328
 329                         continue;
 330                 }
 331
 332                 pte = pte_offset_kernel(pmd, p);
 333
 334                 do {
 335                         unsigned long phys;
 336                         pte_t entry = *pte;
 337
 338                         if (!(pte_val(entry) & _PAGE_PRESENT)) {
 339                                 pte++;
 340                                 p += PAGE_SIZE;
 341                                 continue;
 342                         }
 343
 344                         phys = pte_val(entry) & PTE_PHYS_MASK;
 345
 346                         if ((p ^ phys) & alias_mask) {
 347                                 d |= 1 << ((p & alias_mask) >> PAGE_SHIFT);
 348                                 d |= 1 << ((phys & alias_mask) >> PAGE_SHIFT);
 349
 350                                 if (d == all_aliases_mask)
 351                                         goto loop_exit;
 352                         }
 353
 354                         pte++;
 355                         p += PAGE_SIZE;
 356                 } while (p < end && ((unsigned long)pte & ~PAGE_MASK));
 357                 pmd++;
 358         } while (p < end);
 359
 360 loop_exit:
 361         addr_offset = 0;
 362         select_bit = 1;
 363
 364         for (i = 0; i < n_aliases; i++) {
 365                 if (d & select_bit) {
 366                         (*__flush_dcache_segment_fn)(addr_offset, PAGE_SIZE);
 367                         wmb();
 368                 }
 369
 370                 select_bit <<= 1;
 371                 addr_offset += PAGE_SIZE;
 372         }
 373 }
 374
 375 /*
 376  * Note : (RPC) since the caches are physically tagged, the only point
 377  * of flush_cache_mm for SH-4 is to get rid of aliases from the
 378  * D-cache.  The assumption elsewhere, e.g. flush_cache_range, is that
 379  * lines can stay resident so long as the virtual address they were
 380  * accessed with (hence cache set) is in accord with the physical
 381  * address (i.e. tag).  It's no different here.  So I reckon we don't
 382  * need to flush the I-cache, since aliases don't matter for that.  We
 383  * should try that.
 384  *
 385  * Caller takes mm->mmap_sem.
 386  */
 387 void flush_cache_mm(struct mm_struct *mm)
 388 {
 389         /*
 390          * If cache is only 4k-per-way, there are never any 'aliases'.  Since
 391          * the cache is physically tagged, the data can just be left in there.
 392          */
 393         if (current_cpu_data.dcache.n_aliases == 0)
 394                 return;
 395
 396         /*
 397          * Don't bother groveling around the dcache for the VMA ranges
 398          * if there are too many PTEs to make it worthwhile.
 399          */
 400         if (mm->nr_ptes >= MAX_DCACHE_PAGES)
 401                 flush_dcache_all();
 402         else {
 403                 struct vm_area_struct *vma;
 404
 405                 /*
 406                  * In this case there are reasonably sized ranges to flush,
 407                  * iterate through the VMA list and take care of any aliases.
 408                  */
 409                 for (vma = mm->mmap; vma; vma = vma->vm_next)
 410                         __flush_cache_mm(mm, vma->vm_start, vma->vm_end);
 411         }
 412
 413         /* Only touch the icache if one of the VMAs has VM_EXEC set. */
 414         if (mm->exec_vm)
 415                 flush_icache_all();
 416 }
 417
 418 /*
 419  * Write back and invalidate I/D-caches for the page.
 420  *
 421  * ADDR: Virtual Address (U0 address)
 422  * PFN: Physical page number
 423  */
 424 void flush_cache_page(struct vm_area_struct *vma, unsigned long address,
 425                       unsigned long pfn)
 426 {
 427         unsigned long phys = pfn << PAGE_SHIFT;
 428         unsigned int alias_mask;
 429
 430         alias_mask = current_cpu_data.dcache.alias_mask;
 431
 432         /* We only need to flush D-cache when we have alias */
 433         if ((address^phys) & alias_mask) {
 434                 /* Loop 4K of the D-cache */
 435                 flush_cache_4096(
 436                         CACHE_OC_ADDRESS_ARRAY | (address & alias_mask),
 437                         phys);
 438                 /* Loop another 4K of the D-cache */
 439                 flush_cache_4096(
 440                         CACHE_OC_ADDRESS_ARRAY | (phys & alias_mask),
 441                         phys);
 442         }
 443
 444         alias_mask = current_cpu_data.icache.alias_mask;
 445         if (vma->vm_flags & VM_EXEC) {
 446                 /*
 447                  * Evict entries from the portion of the cache from which code
 448                  * may have been executed at this address (virtual).  There's
 449                  * no need to evict from the portion corresponding to the
 450                  * physical address as for the D-cache, because we know the
 451                  * kernel has never executed the code through its identity
 452                  * translation.
 453                  */
 454                 flush_cache_4096(
 455                         CACHE_IC_ADDRESS_ARRAY | (address & alias_mask),
 456                         phys);
 457         }
 458 }
 459
 460 /*
 461  * Write back and invalidate D-caches.
 462  *
 463  * START, END: Virtual Address (U0 address)
 464  *
 465  * NOTE: We need to flush the _physical_ page entry.
 466  * Flushing the cache lines for U0 only isn't enough.
 467  * We need to flush for P1 too, which may contain aliases.
 468  */
 469 void flush_cache_range(struct vm_area_struct *vma, unsigned long start,
 470                        unsigned long end)
 471 {
 472         /*
 473          * If cache is only 4k-per-way, there are never any 'aliases'.  Since
 474          * the cache is physically tagged, the data can just be left in there.
 475          */
 476         if (current_cpu_data.dcache.n_aliases == 0)
 477                 return;
 478
 479         /*
 480          * Don't bother with the lookup and alias check if we have a
 481          * wide range to cover, just blow away the dcache in its
 482          * entirety instead. -- PFM.
 483          */
 484         if (((end - start) >> PAGE_SHIFT) >= MAX_DCACHE_PAGES)
 485                 flush_dcache_all();
 486         else
 487                 __flush_cache_mm(vma->vm_mm, start, end);
 488
 489         if (vma->vm_flags & VM_EXEC) {
 490                 /*
 491                  * TODO: Is this required???  Need to look at how I-cache
 492                  * coherency is assured when new programs are loaded to see if
 493                  * this matters.
 494                  */
 495                 flush_icache_all();
 496         }
 497 }
 498
 499 /*
 500  * flush_icache_user_range
 501  * @vma: VMA of the process
 502  * @page: page
 503  * @addr: U0 address
 504  * @len: length of the range (< page size)
 505  */
 506 void flush_icache_user_range(struct vm_area_struct *vma,
 507                              struct page *page, unsigned long addr, int len)
 508 {
 509         flush_cache_page(vma, addr, page_to_pfn(page));
 510         mb();
 511 }
 512
 513 /**
 514  * __flush_cache_4096
 515  *
 516  * @addr:  address in memory mapped cache array
 517  * @phys:  P1 address to flush (has to match tags if addr has 'A' bit
 518  *         set i.e. associative write)
 519  * @exec_offset: set to 0x20000000 if flush has to be executed from P2
 520  *               region else 0x0
 521  *
 522  * The offset into the cache array implied by 'addr' selects the
 523  * 'colour' of the virtual address range that will be flushed.  The
 524  * operation (purge/write-back) is selected by the lower 2 bits of
 525  * 'phys'.
 526  */
 527 static void __flush_cache_4096(unsigned long addr, unsigned long phys,
 528                                unsigned long exec_offset)
 529 {
 530         int way_count;
 531         unsigned long base_addr = addr;
 532         struct cache_info *dcache;
 533         unsigned long way_incr;
 534         unsigned long a, ea, p;
 535         unsigned long temp_pc;
 536
 537         dcache = &current_cpu_data.dcache;
 538         /* Write this way for better assembly. */
 539         way_count = dcache->ways;
 540         way_incr = dcache->way_incr;
 541
 542         /*
 543          * Apply exec_offset (i.e. branch to P2 if required.).
 544          *
 545          * FIXME:
 546          *
 547          *      If I write "=r" for the (temp_pc), it puts this in r6 hence
 548          *      trashing exec_offset before it's been added on - why?  Hence
 549          *      "=&r" as a 'workaround'
 550          */
 551         asm volatile("mov.l 1f, %0\n\t"
 552                      "add   %1, %0\n\t"
 553                      "jmp   @%0\n\t"
 554                      "nop\n\t"
 555                      ".balign 4\n\t"
 556                      "1:  .long 2f\n\t"
 557                      "2:\n" : "=&r" (temp_pc) : "r" (exec_offset));
 558
 559         /*
 560          * We know there will be >=1 iteration, so write as do-while to avoid
 561          * pointless nead-of-loop check for 0 iterations.
 562          */
 563         do {
 564                 ea = base_addr + PAGE_SIZE;
 565                 a = base_addr;
 566                 p = phys;
 567
 568                 do {
 569                         *(volatile unsigned long *)a = p;
 570                         /*
 571                          * Next line: intentionally not p+32, saves an add, p
 572                          * will do since only the cache tag bits need to
 573                          * match.
 574                          */
 575                         *(volatile unsigned long *)(a+32) = p;
 576                         a += 64;
 577                         p += 64;
 578                 } while (a < ea);
 579
 580                 base_addr += way_incr;
 581         } while (--way_count != 0);
 582 }
 583
 584 /*
 585  * Break the 1, 2 and 4 way variants of this out into separate functions to
 586  * avoid nearly all the overhead of having the conditional stuff in the function
 587  * bodies (+ the 1 and 2 way cases avoid saving any registers too).
 588  */
 589 static void __flush_dcache_segment_1way(unsigned long start,
 590                                         unsigned long extent_per_way)
 591 {
 592         unsigned long orig_sr, sr_with_bl;
 593         unsigned long base_addr;
 594         unsigned long way_incr, linesz, way_size;
 595         struct cache_info *dcache;
 596         register unsigned long a0, a0e;
 597
 598         asm volatile("stc sr, %0" : "=r" (orig_sr));
 599         sr_with_bl = orig_sr | (1<<28);
 600         base_addr = ((unsigned long)&empty_zero_page[0]);
 601
 602         /*
 603          * The previous code aligned base_addr to 16k, i.e. the way_size of all
 604          * existing SH-4 D-caches.  Whilst I don't see a need to have this
 605          * aligned to any better than the cache line size (which it will be
 606          * anyway by construction), let's align it to at least the way_size of
 607          * any existing or conceivable SH-4 D-cache.  -- RPC
 608          */
 609         base_addr = ((base_addr >> 16) << 16);
 610         base_addr |= start;
 611
 612         dcache = &current_cpu_data.dcache;
 613         linesz = dcache->linesz;
 614         way_incr = dcache->way_incr;
 615         way_size = dcache->way_size;
 616
 617         a0 = base_addr;
 618         a0e = base_addr + extent_per_way;
 619         do {
 620                 asm volatile("ldc %0, sr" : : "r" (sr_with_bl));
 621                 asm volatile("movca.l r0, @%0\n\t"
 622                              "ocbi @%0" : : "r" (a0));
 623                 a0 += linesz;
 624                 asm volatile("movca.l r0, @%0\n\t"
 625                              "ocbi @%0" : : "r" (a0));
 626                 a0 += linesz;
 627                 asm volatile("movca.l r0, @%0\n\t"
 628                              "ocbi @%0" : : "r" (a0));
 629                 a0 += linesz;
 630                 asm volatile("movca.l r0, @%0\n\t"
 631                              "ocbi @%0" : : "r" (a0));
 632                 asm volatile("ldc %0, sr" : : "r" (orig_sr));
 633                 a0 += linesz;
 634         } while (a0 < a0e);
 635 }
 636
 637 static void __flush_dcache_segment_2way(unsigned long start,
 638                                         unsigned long extent_per_way)
 639 {
 640         unsigned long orig_sr, sr_with_bl;
 641         unsigned long base_addr;
 642         unsigned long way_incr, linesz, way_size;
 643         struct cache_info *dcache;
 644         register unsigned long a0, a1, a0e;
 645
 646         asm volatile("stc sr, %0" : "=r" (orig_sr));
 647         sr_with_bl = orig_sr | (1<<28);
 648         base_addr = ((unsigned long)&empty_zero_page[0]);
 649
 650         /* See comment under 1-way above */
 651         base_addr = ((base_addr >> 16) << 16);
 652         base_addr |= start;
 653
 654         dcache = &current_cpu_data.dcache;
 655         linesz = dcache->linesz;
 656         way_incr = dcache->way_incr;
 657         way_size = dcache->way_size;
 658
 659         a0 = base_addr;
 660         a1 = a0 + way_incr;
 661         a0e = base_addr + extent_per_way;
 662         do {
 663                 asm volatile("ldc %0, sr" : : "r" (sr_with_bl));
 664                 asm volatile("movca.l r0, @%0\n\t"
 665                              "movca.l r0, @%1\n\t"
 666                              "ocbi @%0\n\t"
 667                              "ocbi @%1" : :
 668                              "r" (a0), "r" (a1));
 669                 a0 += linesz;
 670                 a1 += linesz;
 671                 asm volatile("movca.l r0, @%0\n\t"
 672                              "movca.l r0, @%1\n\t"
 673                              "ocbi @%0\n\t"
 674                              "ocbi @%1" : :
 675                              "r" (a0), "r" (a1));
 676                 a0 += linesz;
 677                 a1 += linesz;
 678                 asm volatile("movca.l r0, @%0\n\t"
 679                              "movca.l r0, @%1\n\t"
 680                              "ocbi @%0\n\t"
 681                              "ocbi @%1" : :
 682                              "r" (a0), "r" (a1));
 683                 a0 += linesz;
 684                 a1 += linesz;
 685                 asm volatile("movca.l r0, @%0\n\t"
 686                              "movca.l r0, @%1\n\t"
 687                              "ocbi @%0\n\t"
 688                              "ocbi @%1" : :
 689                              "r" (a0), "r" (a1));
 690                 asm volatile("ldc %0, sr" : : "r" (orig_sr));
 691                 a0 += linesz;
 692                 a1 += linesz;
 693         } while (a0 < a0e);
 694 }
 695
 696 static void __flush_dcache_segment_4way(unsigned long start,
 697                                         unsigned long extent_per_way)
 698 {
 699         unsigned long orig_sr, sr_with_bl;
 700         unsigned long base_addr;
 701         unsigned long way_incr, linesz, way_size;
 702         struct cache_info *dcache;
 703         register unsigned long a0, a1, a2, a3, a0e;
 704
 705         asm volatile("stc sr, %0" : "=r" (orig_sr));
 706         sr_with_bl = orig_sr | (1<<28);
 707         base_addr = ((unsigned long)&empty_zero_page[0]);
 708
 709         /* See comment under 1-way above */
 710         base_addr = ((base_addr >> 16) << 16);
 711         base_addr |= start;
 712
 713         dcache = &current_cpu_data.dcache;
 714         linesz = dcache->linesz;
 715         way_incr = dcache->way_incr;
 716         way_size = dcache->way_size;
 717
 718         a0 = base_addr;
 719         a1 = a0 + way_incr;
 720         a2 = a1 + way_incr;
 721         a3 = a2 + way_incr;
 722         a0e = base_addr + extent_per_way;
 723         do {
 724                 asm volatile("ldc %0, sr" : : "r" (sr_with_bl));
 725                 asm volatile("movca.l r0, @%0\n\t"
 726                              "movca.l r0, @%1\n\t"
 727                              "movca.l r0, @%2\n\t"
 728                              "movca.l r0, @%3\n\t"
 729                              "ocbi @%0\n\t"
 730                              "ocbi @%1\n\t"
 731                              "ocbi @%2\n\t"
 732                              "ocbi @%3\n\t" : :
 733                              "r" (a0), "r" (a1), "r" (a2), "r" (a3));
 734                 a0 += linesz;
 735                 a1 += linesz;
 736                 a2 += linesz;
 737                 a3 += linesz;
 738                 asm volatile("movca.l r0, @%0\n\t"
 739                              "movca.l r0, @%1\n\t"
 740                              "movca.l r0, @%2\n\t"
 741                              "movca.l r0, @%3\n\t"
 742                              "ocbi @%0\n\t"
 743                              "ocbi @%1\n\t"
 744                              "ocbi @%2\n\t"
 745                              "ocbi @%3\n\t" : :
 746                              "r" (a0), "r" (a1), "r" (a2), "r" (a3));
 747                 a0 += linesz;
 748                 a1 += linesz;
 749                 a2 += linesz;
 750                 a3 += linesz;
 751                 asm volatile("movca.l r0, @%0\n\t"
 752                              "movca.l r0, @%1\n\t"
 753                              "movca.l r0, @%2\n\t"
 754                              "movca.l r0, @%3\n\t"
 755                              "ocbi @%0\n\t"
 756                              "ocbi @%1\n\t"
 757                              "ocbi @%2\n\t"
 758                              "ocbi @%3\n\t" : :
 759                              "r" (a0), "r" (a1), "r" (a2), "r" (a3));
 760                 a0 += linesz;
 761                 a1 += linesz;
 762                 a2 += linesz;
 763                 a3 += linesz;
 764                 asm volatile("movca.l r0, @%0\n\t"
 765                              "movca.l r0, @%1\n\t"
 766                              "movca.l r0, @%2\n\t"
 767                              "movca.l r0, @%3\n\t"
 768                              "ocbi @%0\n\t"
 769                              "ocbi @%1\n\t"
 770                              "ocbi @%2\n\t"
 771                              "ocbi @%3\n\t" : :
 772                              "r" (a0), "r" (a1), "r" (a2), "r" (a3));
 773                 asm volatile("ldc %0, sr" : : "r" (orig_sr));
 774                 a0 += linesz;
 775                 a1 += linesz;
 776                 a2 += linesz;
 777                 a3 += linesz;
 778         } while (a0 < a0e);
 779 }