arch/x86/mm/memblock.c

   1 #include <linux/kernel.h>
   2 #include <linux/types.h>
   3 #include <linux/init.h>
   4 #include <linux/bitops.h>
   5 #include <linux/memblock.h>
   6 #include <linux/bootmem.h>
   7 #include <linux/mm.h>
   8 #include <linux/range.h>
   9
  10 /* Check for already reserved areas */
  11 static inline bool __init bad_addr_size(u64 *addrp, u64 *sizep, u64 align)
  12 {
  13         struct memblock_region *r;
  14         u64 addr = *addrp, last;
  15         u64 size = *sizep;
  16         bool changed = false;
  17
  18 again:
  19         last = addr + size;
  20         for_each_memblock(reserved, r) {
  21                 if (last > r->base && addr < r->base) {
  22                         size = r->base - addr;
  23                         changed = true;
  24                         goto again;
  25                 }
  26                 if (last > (r->base + r->size) && addr < (r->base + r->size)) {
  27                         addr = round_up(r->base + r->size, align);
  28                         size = last - addr;
  29                         changed = true;
  30                         goto again;
  31                 }
  32                 if (last <= (r->base + r->size) && addr >= r->base) {
  33                         (*sizep)++;
  34                         return false;
  35                 }
  36         }
  37         if (changed) {
  38                 *addrp = addr;
  39                 *sizep = size;
  40         }
  41         return changed;
  42 }
  43
  44 static u64 __init __memblock_x86_find_in_range_size(u64 ei_start, u64 ei_last, u64 start,
  45                          u64 *sizep, u64 align)
  46 {
  47         u64 addr, last;
  48
  49         addr = round_up(ei_start, align);
  50         if (addr < start)
  51                 addr = round_up(start, align);
  52         if (addr >= ei_last)
  53                 goto out;
  54         *sizep = ei_last - addr;
  55         while (bad_addr_size(&addr, sizep, align) && addr + *sizep <= ei_last)
  56                 ;
  57         last = addr + *sizep;
  58         if (last > ei_last)
  59                 goto out;
  60
  61         return addr;
  62
  63 out:
  64         return MEMBLOCK_ERROR;
  65 }
  66
  67 /*
  68  * Find next free range after start, and size is returned in *sizep
  69  */
  70 u64 __init memblock_x86_find_in_range_size(u64 start, u64 *sizep, u64 align)
  71 {
  72         struct memblock_region *r;
  73
  74         for_each_memblock(memory, r) {
  75                 u64 ei_start = r->base;
  76                 u64 ei_last = ei_start + r->size;
  77                 u64 addr;
  78
  79                 addr = __memblock_x86_find_in_range_size(ei_start, ei_last, start,
  80                                          sizep, align);
  81
  82                 if (addr != MEMBLOCK_ERROR)
  83                         return addr;
  84         }
  85
  86         return MEMBLOCK_ERROR;
  87 }
  88
  89 static __init struct range *find_range_array(int count)
  90 {
  91         u64 end, size, mem;
  92         struct range *range;
  93
  94         size = sizeof(struct range) * count;
  95         end = memblock.current_limit;
  96
  97         mem = memblock_find_in_range(0, end, size, sizeof(struct range));
  98         if (mem == MEMBLOCK_ERROR)
  99                 panic("can not find more space for range array");
 100
 101         /*
 102          * This range is tempoaray, so don't reserve it, it will not be
 103          * overlapped because We will not alloccate new buffer before
 104          * We discard this one
 105          */
 106         range = __va(mem);
 107         memset(range, 0, size);
 108
 109         return range;
 110 }
 111
 112 static void __init memblock_x86_subtract_reserved(struct range *range, int az)
 113 {
 114         u64 final_start, final_end;
 115         struct memblock_region *r;
 116
 117         /* Take out region array itself at first*/
 118         memblock_free_reserved_regions();
 119
 120         memblock_dbg("Subtract (%ld early reservations)\n", memblock.reserved.cnt);
 121
 122         for_each_memblock(reserved, r) {
 123                 memblock_dbg("  [%010llx-%010llx]\n", (u64)r->base, (u64)r->base + r->size - 1);
 124                 final_start = PFN_DOWN(r->base);
 125                 final_end = PFN_UP(r->base + r->size);
 126                 if (final_start >= final_end)
 127                         continue;
 128                 subtract_range(range, az, final_start, final_end);
 129         }
 130
 131         /* Put region array back ? */
 132         memblock_reserve_reserved_regions();
 133 }
 134
 135 struct count_data {
 136         int nr;
 137 };
 138
 139 static int __init count_work_fn(unsigned long start_pfn,
 140                                 unsigned long end_pfn, void *datax)
 141 {
 142         struct count_data *data = datax;
 143
 144         data->nr++;
 145
 146         return 0;
 147 }
 148
 149 static int __init count_early_node_map(int nodeid)
 150 {
 151         struct count_data data;
 152
 153         data.nr = 0;
 154         work_with_active_regions(nodeid, count_work_fn, &data);
 155
 156         return data.nr;
 157 }
 158
 159 int __init get_free_all_memory_range(struct range **rangep, int nodeid)
 160 {
 161         int count;
 162         struct range *range;
 163         int nr_range;
 164
 165         count = (memblock.reserved.cnt + count_early_node_map(nodeid)) * 2;
 166
 167         range = find_range_array(count);
 168         nr_range = 0;
 169
 170         /*
 171          * Use early_node_map[] and memblock.reserved.region to get range array
 172          * at first
 173          */
 174         nr_range = add_from_early_node_map(range, count, nr_range, nodeid);
 175 #ifdef CONFIG_X86_32
 176         subtract_range(range, count, max_low_pfn, -1ULL);
 177 #endif
 178         memblock_x86_subtract_reserved(range, count);
 179         nr_range = clean_sort_range(range, count);
 180
 181         *rangep = range;
 182         return nr_range;
 183 }
 184
 185 static u64 __init __memblock_x86_memory_in_range(u64 addr, u64 limit, bool get_free)
 186 {
 187         int i, count;
 188         struct range *range;
 189         int nr_range;
 190         u64 final_start, final_end;
 191         u64 free_size;
 192         struct memblock_region *r;
 193
 194         count = (memblock.reserved.cnt + memblock.memory.cnt) * 2;
 195
 196         range = find_range_array(count);
 197         nr_range = 0;
 198
 199         addr = PFN_UP(addr);
 200         limit = PFN_DOWN(limit);
 201
 202         for_each_memblock(memory, r) {
 203                 final_start = PFN_UP(r->base);
 204                 final_end = PFN_DOWN(r->base + r->size);
 205                 if (final_start >= final_end)
 206                         continue;
 207                 if (final_start >= limit || final_end <= addr)
 208                         continue;
 209
 210                 nr_range = add_range(range, count, nr_range, final_start, final_end);
 211         }
 212         subtract_range(range, count, 0, addr);
 213         subtract_range(range, count, limit, -1ULL);
 214
 215         /* Subtract memblock.reserved.region in range ? */
 216         if (!get_free)
 217                 goto sort_and_count_them;
 218         for_each_memblock(reserved, r) {
 219                 final_start = PFN_DOWN(r->base);
 220                 final_end = PFN_UP(r->base + r->size);
 221                 if (final_start >= final_end)
 222                         continue;
 223                 if (final_start >= limit || final_end <= addr)
 224                         continue;
 225
 226                 subtract_range(range, count, final_start, final_end);
 227         }
 228
 229 sort_and_count_them:
 230         nr_range = clean_sort_range(range, count);
 231
 232         free_size = 0;
 233         for (i = 0; i < nr_range; i++)
 234                 free_size += range[i].end - range[i].start;
 235
 236         return free_size << PAGE_SHIFT;
 237 }
 238
 239 u64 __init memblock_x86_free_memory_in_range(u64 addr, u64 limit)
 240 {
 241         return __memblock_x86_memory_in_range(addr, limit, true);
 242 }
 243
 244 u64 __init memblock_x86_memory_in_range(u64 addr, u64 limit)
 245 {
 246         return __memblock_x86_memory_in_range(addr, limit, false);
 247 }
 248
 249 void __init memblock_x86_reserve_range(u64 start, u64 end, char *name)
 250 {
 251         if (start == end)
 252                 return;
 253
 254         if (WARN_ONCE(start > end, "memblock_x86_reserve_range: wrong range [%#llx, %#llx)\n", start, end))
 255                 return;
 256
 257         memblock_dbg("    memblock_x86_reserve_range: [%#010llx-%#010llx] %16s\n", start, end - 1, name);
 258
 259         memblock_reserve(start, end - start);
 260 }
 261
 262 void __init memblock_x86_free_range(u64 start, u64 end)
 263 {
 264         if (start == end)
 265                 return;
 266
 267         if (WARN_ONCE(start > end, "memblock_x86_free_range: wrong range [%#llx, %#llx)\n", start, end))
 268                 return;
 269
 270         memblock_dbg("       memblock_x86_free_range: [%#010llx-%#010llx]\n", start, end - 1);
 271
 272         memblock_free(start, end - start);
 273 }
 274
 275 /*
 276  * Need to call this function after memblock_x86_register_active_regions,
 277  * so early_node_map[] is filled already.
 278  */
 279 u64 __init memblock_x86_find_in_range_node(int nid, u64 start, u64 end, u64 size, u64 align)
 280 {
 281         u64 addr;
 282         addr = find_memory_core_early(nid, size, align, start, end);
 283         if (addr != MEMBLOCK_ERROR)
 284                 return addr;
 285
 286         /* Fallback, should already have start end within node range */
 287         return memblock_find_in_range(start, end, size, align);
 288 }
 289
 290 /*
 291  * Finds an active region in the address range from start_pfn to last_pfn and
 292  * returns its range in ei_startpfn and ei_endpfn for the memblock entry.
 293  */
 294 static int __init memblock_x86_find_active_region(const struct memblock_region *ei,
 295                                   unsigned long start_pfn,
 296                                   unsigned long last_pfn,
 297                                   unsigned long *ei_startpfn,
 298                                   unsigned long *ei_endpfn)
 299 {
 300         u64 align = PAGE_SIZE;
 301
 302         *ei_startpfn = round_up(ei->base, align) >> PAGE_SHIFT;
 303         *ei_endpfn = round_down(ei->base + ei->size, align) >> PAGE_SHIFT;
 304
 305         /* Skip map entries smaller than a page */
 306         if (*ei_startpfn >= *ei_endpfn)
 307                 return 0;
 308
 309         /* Skip if map is outside the node */
 310         if (*ei_endpfn <= start_pfn || *ei_startpfn >= last_pfn)
 311                 return 0;
 312
 313         /* Check for overlaps */
 314         if (*ei_startpfn < start_pfn)
 315                 *ei_startpfn = start_pfn;
 316         if (*ei_endpfn > last_pfn)
 317                 *ei_endpfn = last_pfn;
 318
 319         return 1;
 320 }
 321
 322 /* Walk the memblock.memory map and register active regions within a node */
 323 void __init memblock_x86_register_active_regions(int nid, unsigned long start_pfn,
 324                                          unsigned long last_pfn)
 325 {
 326         unsigned long ei_startpfn;
 327         unsigned long ei_endpfn;
 328         struct memblock_region *r;
 329
 330         for_each_memblock(memory, r)
 331                 if (memblock_x86_find_active_region(r, start_pfn, last_pfn,
 332                                            &ei_startpfn, &ei_endpfn))
 333                         add_active_range(nid, ei_startpfn, ei_endpfn);
 334 }
 335
 336 /*
 337  * Find the hole size (in bytes) in the memory range.
 338  * @start: starting address of the memory range to scan
 339  * @end: ending address of the memory range to scan
 340  */
 341 u64 __init memblock_x86_hole_size(u64 start, u64 end)
 342 {
 343         unsigned long start_pfn = start >> PAGE_SHIFT;
 344         unsigned long last_pfn = end >> PAGE_SHIFT;
 345         unsigned long ei_startpfn, ei_endpfn, ram = 0;
 346         struct memblock_region *r;
 347
 348         for_each_memblock(memory, r)
 349                 if (memblock_x86_find_active_region(r, start_pfn, last_pfn,
 350                                            &ei_startpfn, &ei_endpfn))
 351                         ram += ei_endpfn - ei_startpfn;
 352
 353         return end - start - ((u64)ram << PAGE_SHIFT);
 354 }