eeaf0245c3b16f89a8295f0f60172fd2ccf812b4
[linux-drm-fsl-dcu.git] / arch / mips / mm / dma-default.c
1 /*
2  * This file is subject to the terms and conditions of the GNU General Public
3  * License.  See the file "COPYING" in the main directory of this archive
4  * for more details.
5  *
6  * Copyright (C) 2000  Ani Joshi <ajoshi@unixbox.com>
7  * Copyright (C) 2000, 2001, 06  Ralf Baechle <ralf@linux-mips.org>
8  * swiped from i386, and cloned for MIPS by Geert, polished by Ralf.
9  */
10
11 #include <linux/types.h>
12 #include <linux/dma-mapping.h>
13 #include <linux/mm.h>
14 #include <linux/module.h>
15 #include <linux/scatterlist.h>
16 #include <linux/string.h>
17 #include <linux/gfp.h>
18 #include <linux/highmem.h>
19 #include <linux/dma-contiguous.h>
20
21 #include <asm/cache.h>
22 #include <asm/cpu-type.h>
23 #include <asm/io.h>
24
25 #include <dma-coherence.h>
26
27 #ifdef CONFIG_DMA_MAYBE_COHERENT
28 int coherentio = 0;     /* User defined DMA coherency from command line. */
29 EXPORT_SYMBOL_GPL(coherentio);
30 int hw_coherentio = 0;  /* Actual hardware supported DMA coherency setting. */
31
32 static int __init setcoherentio(char *str)
33 {
34         coherentio = 1;
35         pr_info("Hardware DMA cache coherency (command line)\n");
36         return 0;
37 }
38 early_param("coherentio", setcoherentio);
39
40 static int __init setnocoherentio(char *str)
41 {
42         coherentio = 0;
43         pr_info("Software DMA cache coherency (command line)\n");
44         return 0;
45 }
46 early_param("nocoherentio", setnocoherentio);
47 #endif
48
49 static inline struct page *dma_addr_to_page(struct device *dev,
50         dma_addr_t dma_addr)
51 {
52         return pfn_to_page(
53                 plat_dma_addr_to_phys(dev, dma_addr) >> PAGE_SHIFT);
54 }
55
56 /*
57  * The affected CPUs below in 'cpu_needs_post_dma_flush()' can
58  * speculatively fill random cachelines with stale data at any time,
59  * requiring an extra flush post-DMA.
60  *
61  * Warning on the terminology - Linux calls an uncached area coherent;
62  * MIPS terminology calls memory areas with hardware maintained coherency
63  * coherent.
64  *
65  * Note that the R14000 and R16000 should also be checked for in this
66  * condition.  However this function is only called on non-I/O-coherent
67  * systems and only the R10000 and R12000 are used in such systems, the
68  * SGI IP28 Indigo¬≤ rsp. SGI IP32 aka O2.
69  */
70 static inline int cpu_needs_post_dma_flush(struct device *dev)
71 {
72         return !plat_device_is_coherent(dev) &&
73                (boot_cpu_type() == CPU_R10000 ||
74                 boot_cpu_type() == CPU_R12000 ||
75                 boot_cpu_type() == CPU_BMIPS5000);
76 }
77
78 static gfp_t massage_gfp_flags(const struct device *dev, gfp_t gfp)
79 {
80         gfp_t dma_flag;
81
82         /* ignore region specifiers */
83         gfp &= ~(__GFP_DMA | __GFP_DMA32 | __GFP_HIGHMEM);
84
85 #ifdef CONFIG_ISA
86         if (dev == NULL)
87                 dma_flag = __GFP_DMA;
88         else
89 #endif
90 #if defined(CONFIG_ZONE_DMA32) && defined(CONFIG_ZONE_DMA)
91              if (dev->coherent_dma_mask < DMA_BIT_MASK(32))
92                         dma_flag = __GFP_DMA;
93         else if (dev->coherent_dma_mask < DMA_BIT_MASK(64))
94                         dma_flag = __GFP_DMA32;
95         else
96 #endif
97 #if defined(CONFIG_ZONE_DMA32) && !defined(CONFIG_ZONE_DMA)
98              if (dev->coherent_dma_mask < DMA_BIT_MASK(64))
99                 dma_flag = __GFP_DMA32;
100         else
101 #endif
102 #if defined(CONFIG_ZONE_DMA) && !defined(CONFIG_ZONE_DMA32)
103              if (dev->coherent_dma_mask < DMA_BIT_MASK(64))
104                 dma_flag = __GFP_DMA;
105         else
106 #endif
107                 dma_flag = 0;
108
109         /* Don't invoke OOM killer */
110         gfp |= __GFP_NORETRY;
111
112         return gfp | dma_flag;
113 }
114
115 void *dma_alloc_noncoherent(struct device *dev, size_t size,
116         dma_addr_t * dma_handle, gfp_t gfp)
117 {
118         void *ret;
119
120         gfp = massage_gfp_flags(dev, gfp);
121
122         ret = (void *) __get_free_pages(gfp, get_order(size));
123
124         if (ret != NULL) {
125                 memset(ret, 0, size);
126                 *dma_handle = plat_map_dma_mem(dev, ret, size);
127         }
128
129         return ret;
130 }
131 EXPORT_SYMBOL(dma_alloc_noncoherent);
132
133 static void *mips_dma_alloc_coherent(struct device *dev, size_t size,
134         dma_addr_t * dma_handle, gfp_t gfp, struct dma_attrs *attrs)
135 {
136         void *ret;
137         struct page *page = NULL;
138         unsigned int count = PAGE_ALIGN(size) >> PAGE_SHIFT;
139
140         if (dma_alloc_from_coherent(dev, size, dma_handle, &ret))
141                 return ret;
142
143         gfp = massage_gfp_flags(dev, gfp);
144
145         if (IS_ENABLED(CONFIG_DMA_CMA) && !(gfp & GFP_ATOMIC))
146                 page = dma_alloc_from_contiguous(dev,
147                                         count, get_order(size));
148         if (!page)
149                 page = alloc_pages(gfp, get_order(size));
150
151         if (!page)
152                 return NULL;
153
154         ret = page_address(page);
155         memset(ret, 0, size);
156         *dma_handle = plat_map_dma_mem(dev, ret, size);
157         if (!plat_device_is_coherent(dev)) {
158                 dma_cache_wback_inv((unsigned long) ret, size);
159                 if (!hw_coherentio)
160                         ret = UNCAC_ADDR(ret);
161         }
162
163         return ret;
164 }
165
166
167 void dma_free_noncoherent(struct device *dev, size_t size, void *vaddr,
168         dma_addr_t dma_handle)
169 {
170         plat_unmap_dma_mem(dev, dma_handle, size, DMA_BIDIRECTIONAL);
171         free_pages((unsigned long) vaddr, get_order(size));
172 }
173 EXPORT_SYMBOL(dma_free_noncoherent);
174
175 static void mips_dma_free_coherent(struct device *dev, size_t size, void *vaddr,
176         dma_addr_t dma_handle, struct dma_attrs *attrs)
177 {
178         unsigned long addr = (unsigned long) vaddr;
179         int order = get_order(size);
180         unsigned int count = PAGE_ALIGN(size) >> PAGE_SHIFT;
181         struct page *page = NULL;
182
183         if (dma_release_from_coherent(dev, order, vaddr))
184                 return;
185
186         plat_unmap_dma_mem(dev, dma_handle, size, DMA_BIDIRECTIONAL);
187
188         if (!plat_device_is_coherent(dev) && !hw_coherentio)
189                 addr = CAC_ADDR(addr);
190
191         page = virt_to_page((void *) addr);
192
193         if (!dma_release_from_contiguous(dev, page, count))
194                 __free_pages(page, get_order(size));
195 }
196
197 static inline void __dma_sync_virtual(void *addr, size_t size,
198         enum dma_data_direction direction)
199 {
200         switch (direction) {
201         case DMA_TO_DEVICE:
202                 dma_cache_wback((unsigned long)addr, size);
203                 break;
204
205         case DMA_FROM_DEVICE:
206                 dma_cache_inv((unsigned long)addr, size);
207                 break;
208
209         case DMA_BIDIRECTIONAL:
210                 dma_cache_wback_inv((unsigned long)addr, size);
211                 break;
212
213         default:
214                 BUG();
215         }
216 }
217
218 /*
219  * A single sg entry may refer to multiple physically contiguous
220  * pages. But we still need to process highmem pages individually.
221  * If highmem is not configured then the bulk of this loop gets
222  * optimized out.
223  */
224 static inline void __dma_sync(struct page *page,
225         unsigned long offset, size_t size, enum dma_data_direction direction)
226 {
227         size_t left = size;
228
229         do {
230                 size_t len = left;
231
232                 if (PageHighMem(page)) {
233                         void *addr;
234
235                         if (offset + len > PAGE_SIZE) {
236                                 if (offset >= PAGE_SIZE) {
237                                         page += offset >> PAGE_SHIFT;
238                                         offset &= ~PAGE_MASK;
239                                 }
240                                 len = PAGE_SIZE - offset;
241                         }
242
243                         addr = kmap_atomic(page);
244                         __dma_sync_virtual(addr + offset, len, direction);
245                         kunmap_atomic(addr);
246                 } else
247                         __dma_sync_virtual(page_address(page) + offset,
248                                            size, direction);
249                 offset = 0;
250                 page++;
251                 left -= len;
252         } while (left);
253 }
254
255 static void mips_dma_unmap_page(struct device *dev, dma_addr_t dma_addr,
256         size_t size, enum dma_data_direction direction, struct dma_attrs *attrs)
257 {
258         if (cpu_needs_post_dma_flush(dev))
259                 __dma_sync(dma_addr_to_page(dev, dma_addr),
260                            dma_addr & ~PAGE_MASK, size, direction);
261         plat_post_dma_flush(dev);
262         plat_unmap_dma_mem(dev, dma_addr, size, direction);
263 }
264
265 static int mips_dma_map_sg(struct device *dev, struct scatterlist *sglist,
266         int nents, enum dma_data_direction direction, struct dma_attrs *attrs)
267 {
268         int i;
269         struct scatterlist *sg;
270
271         for_each_sg(sglist, sg, nents, i) {
272                 if (!plat_device_is_coherent(dev))
273                         __dma_sync(sg_page(sg), sg->offset, sg->length,
274                                    direction);
275 #ifdef CONFIG_NEED_SG_DMA_LENGTH
276                 sg->dma_length = sg->length;
277 #endif
278                 sg->dma_address = plat_map_dma_mem_page(dev, sg_page(sg)) +
279                                   sg->offset;
280         }
281
282         return nents;
283 }
284
285 static dma_addr_t mips_dma_map_page(struct device *dev, struct page *page,
286         unsigned long offset, size_t size, enum dma_data_direction direction,
287         struct dma_attrs *attrs)
288 {
289         if (!plat_device_is_coherent(dev))
290                 __dma_sync(page, offset, size, direction);
291
292         return plat_map_dma_mem_page(dev, page) + offset;
293 }
294
295 static void mips_dma_unmap_sg(struct device *dev, struct scatterlist *sglist,
296         int nhwentries, enum dma_data_direction direction,
297         struct dma_attrs *attrs)
298 {
299         int i;
300         struct scatterlist *sg;
301
302         for_each_sg(sglist, sg, nhwentries, i) {
303                 if (!plat_device_is_coherent(dev) &&
304                     direction != DMA_TO_DEVICE)
305                         __dma_sync(sg_page(sg), sg->offset, sg->length,
306                                    direction);
307                 plat_unmap_dma_mem(dev, sg->dma_address, sg->length, direction);
308         }
309 }
310
311 static void mips_dma_sync_single_for_cpu(struct device *dev,
312         dma_addr_t dma_handle, size_t size, enum dma_data_direction direction)
313 {
314         if (cpu_needs_post_dma_flush(dev))
315                 __dma_sync(dma_addr_to_page(dev, dma_handle),
316                            dma_handle & ~PAGE_MASK, size, direction);
317         plat_post_dma_flush(dev);
318 }
319
320 static void mips_dma_sync_single_for_device(struct device *dev,
321         dma_addr_t dma_handle, size_t size, enum dma_data_direction direction)
322 {
323         if (!plat_device_is_coherent(dev))
324                 __dma_sync(dma_addr_to_page(dev, dma_handle),
325                            dma_handle & ~PAGE_MASK, size, direction);
326 }
327
328 static void mips_dma_sync_sg_for_cpu(struct device *dev,
329         struct scatterlist *sglist, int nelems,
330         enum dma_data_direction direction)
331 {
332         int i;
333         struct scatterlist *sg;
334
335         if (cpu_needs_post_dma_flush(dev)) {
336                 for_each_sg(sglist, sg, nelems, i) {
337                         __dma_sync(sg_page(sg), sg->offset, sg->length,
338                                    direction);
339                 }
340         }
341         plat_post_dma_flush(dev);
342 }
343
344 static void mips_dma_sync_sg_for_device(struct device *dev,
345         struct scatterlist *sglist, int nelems,
346         enum dma_data_direction direction)
347 {
348         int i;
349         struct scatterlist *sg;
350
351         if (!plat_device_is_coherent(dev)) {
352                 for_each_sg(sglist, sg, nelems, i) {
353                         __dma_sync(sg_page(sg), sg->offset, sg->length,
354                                    direction);
355                 }
356         }
357 }
358
359 int mips_dma_mapping_error(struct device *dev, dma_addr_t dma_addr)
360 {
361         return 0;
362 }
363
364 int mips_dma_supported(struct device *dev, u64 mask)
365 {
366         return plat_dma_supported(dev, mask);
367 }
368
369 void dma_cache_sync(struct device *dev, void *vaddr, size_t size,
370                          enum dma_data_direction direction)
371 {
372         BUG_ON(direction == DMA_NONE);
373
374         if (!plat_device_is_coherent(dev))
375                 __dma_sync_virtual(vaddr, size, direction);
376 }
377
378 EXPORT_SYMBOL(dma_cache_sync);
379
380 static struct dma_map_ops mips_default_dma_map_ops = {
381         .alloc = mips_dma_alloc_coherent,
382         .free = mips_dma_free_coherent,
383         .map_page = mips_dma_map_page,
384         .unmap_page = mips_dma_unmap_page,
385         .map_sg = mips_dma_map_sg,
386         .unmap_sg = mips_dma_unmap_sg,
387         .sync_single_for_cpu = mips_dma_sync_single_for_cpu,
388         .sync_single_for_device = mips_dma_sync_single_for_device,
389         .sync_sg_for_cpu = mips_dma_sync_sg_for_cpu,
390         .sync_sg_for_device = mips_dma_sync_sg_for_device,
391         .mapping_error = mips_dma_mapping_error,
392         .dma_supported = mips_dma_supported
393 };
394
395 struct dma_map_ops *mips_dma_map_ops = &mips_default_dma_map_ops;
396 EXPORT_SYMBOL(mips_dma_map_ops);
397
398 #define PREALLOC_DMA_DEBUG_ENTRIES (1 << 16)
399
400 static int __init mips_dma_init(void)
401 {
402         dma_debug_init(PREALLOC_DMA_DEBUG_ENTRIES);
403
404         return 0;
405 }
406 fs_initcall(mips_dma_init);