drivers/net/bfin_mac.c

   1 /*
   2  * Blackfin On-Chip MAC Driver
   3  *
   4  * Copyright 2004-2007 Analog Devices Inc.
   5  *
   6  * Enter bugs at http://blackfin.uclinux.org/
   7  *
   8  * Licensed under the GPL-2 or later.
   9  */
  10
  11 #include <linux/init.h>
  12 #include <linux/module.h>
  13 #include <linux/kernel.h>
  14 #include <linux/sched.h>
  15 #include <linux/slab.h>
  16 #include <linux/delay.h>
  17 #include <linux/timer.h>
  18 #include <linux/errno.h>
  19 #include <linux/irq.h>
  20 #include <linux/io.h>
  21 #include <linux/ioport.h>
  22 #include <linux/crc32.h>
  23 #include <linux/device.h>
  24 #include <linux/spinlock.h>
  25 #include <linux/mii.h>
  26 #include <linux/phy.h>
  27 #include <linux/netdevice.h>
  28 #include <linux/etherdevice.h>
  29 #include <linux/ethtool.h>
  30 #include <linux/skbuff.h>
  31 #include <linux/platform_device.h>
  32
  33 #include <asm/dma.h>
  34 #include <linux/dma-mapping.h>
  35
  36 #include <asm/div64.h>
  37 #include <asm/dpmc.h>
  38 #include <asm/blackfin.h>
  39 #include <asm/cacheflush.h>
  40 #include <asm/portmux.h>
  41
  42 #include "bfin_mac.h"
  43
  44 #define DRV_NAME        "bfin_mac"
  45 #define DRV_VERSION     "1.1"
  46 #define DRV_AUTHOR      "Bryan Wu, Luke Yang"
  47 #define DRV_DESC        "Blackfin on-chip Ethernet MAC driver"
  48
  49 MODULE_AUTHOR(DRV_AUTHOR);
  50 MODULE_LICENSE("GPL");
  51 MODULE_DESCRIPTION(DRV_DESC);
  52 MODULE_ALIAS("platform:bfin_mac");
  53
  54 #if defined(CONFIG_BFIN_MAC_USE_L1)
  55 # define bfin_mac_alloc(dma_handle, size)  l1_data_sram_zalloc(size)
  56 # define bfin_mac_free(dma_handle, ptr)    l1_data_sram_free(ptr)
  57 #else
  58 # define bfin_mac_alloc(dma_handle, size) \
  59         dma_alloc_coherent(NULL, size, dma_handle, GFP_KERNEL)
  60 # define bfin_mac_free(dma_handle, ptr) \
  61         dma_free_coherent(NULL, sizeof(*ptr), ptr, dma_handle)
  62 #endif
  63
  64 #define PKT_BUF_SZ 1580
  65
  66 #define MAX_TIMEOUT_CNT 500
  67
  68 /* pointers to maintain transmit list */
  69 static struct net_dma_desc_tx *tx_list_head;
  70 static struct net_dma_desc_tx *tx_list_tail;
  71 static struct net_dma_desc_rx *rx_list_head;
  72 static struct net_dma_desc_rx *rx_list_tail;
  73 static struct net_dma_desc_rx *current_rx_ptr;
  74 static struct net_dma_desc_tx *current_tx_ptr;
  75 static struct net_dma_desc_tx *tx_desc;
  76 static struct net_dma_desc_rx *rx_desc;
  77
  78 #if defined(CONFIG_BFIN_MAC_RMII)
  79 static u16 pin_req[] = P_RMII0;
  80 #else
  81 static u16 pin_req[] = P_MII0;
  82 #endif
  83
  84 static void desc_list_free(void)
  85 {
  86         struct net_dma_desc_rx *r;
  87         struct net_dma_desc_tx *t;
  88         int i;
  89 #if !defined(CONFIG_BFIN_MAC_USE_L1)
  90         dma_addr_t dma_handle = 0;
  91 #endif
  92
  93         if (tx_desc) {
  94                 t = tx_list_head;
  95                 for (i = 0; i < CONFIG_BFIN_TX_DESC_NUM; i++) {
  96                         if (t) {
  97                                 if (t->skb) {
  98                                         dev_kfree_skb(t->skb);
  99                                         t->skb = NULL;
 100                                 }
 101                                 t = t->next;
 102                         }
 103                 }
 104                 bfin_mac_free(dma_handle, tx_desc);
 105         }
 106
 107         if (rx_desc) {
 108                 r = rx_list_head;
 109                 for (i = 0; i < CONFIG_BFIN_RX_DESC_NUM; i++) {
 110                         if (r) {
 111                                 if (r->skb) {
 112                                         dev_kfree_skb(r->skb);
 113                                         r->skb = NULL;
 114                                 }
 115                                 r = r->next;
 116                         }
 117                 }
 118                 bfin_mac_free(dma_handle, rx_desc);
 119         }
 120 }
 121
 122 static int desc_list_init(void)
 123 {
 124         int i;
 125         struct sk_buff *new_skb;
 126 #if !defined(CONFIG_BFIN_MAC_USE_L1)
 127         /*
 128          * This dma_handle is useless in Blackfin dma_alloc_coherent().
 129          * The real dma handler is the return value of dma_alloc_coherent().
 130          */
 131         dma_addr_t dma_handle;
 132 #endif
 133
 134         tx_desc = bfin_mac_alloc(&dma_handle,
 135                                 sizeof(struct net_dma_desc_tx) *
 136                                 CONFIG_BFIN_TX_DESC_NUM);
 137         if (tx_desc == NULL)
 138                 goto init_error;
 139
 140         rx_desc = bfin_mac_alloc(&dma_handle,
 141                                 sizeof(struct net_dma_desc_rx) *
 142                                 CONFIG_BFIN_RX_DESC_NUM);
 143         if (rx_desc == NULL)
 144                 goto init_error;
 145
 146         /* init tx_list */
 147         tx_list_head = tx_list_tail = tx_desc;
 148
 149         for (i = 0; i < CONFIG_BFIN_TX_DESC_NUM; i++) {
 150                 struct net_dma_desc_tx *t = tx_desc + i;
 151                 struct dma_descriptor *a = &(t->desc_a);
 152                 struct dma_descriptor *b = &(t->desc_b);
 153
 154                 /*
 155                  * disable DMA
 156                  * read from memory WNR = 0
 157                  * wordsize is 32 bits
 158                  * 6 half words is desc size
 159                  * large desc flow
 160                  */
 161                 a->config = WDSIZE_32 | NDSIZE_6 | DMAFLOW_LARGE;
 162                 a->start_addr = (unsigned long)t->packet;
 163                 a->x_count = 0;
 164                 a->next_dma_desc = b;
 165
 166                 /*
 167                  * enabled DMA
 168                  * write to memory WNR = 1
 169                  * wordsize is 32 bits
 170                  * disable interrupt
 171                  * 6 half words is desc size
 172                  * large desc flow
 173                  */
 174                 b->config = DMAEN | WNR | WDSIZE_32 | NDSIZE_6 | DMAFLOW_LARGE;
 175                 b->start_addr = (unsigned long)(&(t->status));
 176                 b->x_count = 0;
 177
 178                 t->skb = NULL;
 179                 tx_list_tail->desc_b.next_dma_desc = a;
 180                 tx_list_tail->next = t;
 181                 tx_list_tail = t;
 182         }
 183         tx_list_tail->next = tx_list_head;      /* tx_list is a circle */
 184         tx_list_tail->desc_b.next_dma_desc = &(tx_list_head->desc_a);
 185         current_tx_ptr = tx_list_head;
 186
 187         /* init rx_list */
 188         rx_list_head = rx_list_tail = rx_desc;
 189
 190         for (i = 0; i < CONFIG_BFIN_RX_DESC_NUM; i++) {
 191                 struct net_dma_desc_rx *r = rx_desc + i;
 192                 struct dma_descriptor *a = &(r->desc_a);
 193                 struct dma_descriptor *b = &(r->desc_b);
 194
 195                 /* allocate a new skb for next time receive */
 196                 new_skb = dev_alloc_skb(PKT_BUF_SZ + NET_IP_ALIGN);
 197                 if (!new_skb) {
 198                         printk(KERN_NOTICE DRV_NAME
 199                                ": init: low on mem - packet dropped\n");
 200                         goto init_error;
 201                 }
 202                 skb_reserve(new_skb, NET_IP_ALIGN);
 203                 /* Invidate the data cache of skb->data range when it is write back
 204                  * cache. It will prevent overwritting the new data from DMA
 205                  */
 206                 blackfin_dcache_invalidate_range((unsigned long)new_skb->head,
 207                                          (unsigned long)new_skb->end);
 208                 r->skb = new_skb;
 209
 210                 /*
 211                  * enabled DMA
 212                  * write to memory WNR = 1
 213                  * wordsize is 32 bits
 214                  * disable interrupt
 215                  * 6 half words is desc size
 216                  * large desc flow
 217                  */
 218                 a->config = DMAEN | WNR | WDSIZE_32 | NDSIZE_6 | DMAFLOW_LARGE;
 219                 /* since RXDWA is enabled */
 220                 a->start_addr = (unsigned long)new_skb->data - 2;
 221                 a->x_count = 0;
 222                 a->next_dma_desc = b;
 223
 224                 /*
 225                  * enabled DMA
 226                  * write to memory WNR = 1
 227                  * wordsize is 32 bits
 228                  * enable interrupt
 229                  * 6 half words is desc size
 230                  * large desc flow
 231                  */
 232                 b->config = DMAEN | WNR | WDSIZE_32 | DI_EN |
 233                                 NDSIZE_6 | DMAFLOW_LARGE;
 234                 b->start_addr = (unsigned long)(&(r->status));
 235                 b->x_count = 0;
 236
 237                 rx_list_tail->desc_b.next_dma_desc = a;
 238                 rx_list_tail->next = r;
 239                 rx_list_tail = r;
 240         }
 241         rx_list_tail->next = rx_list_head;      /* rx_list is a circle */
 242         rx_list_tail->desc_b.next_dma_desc = &(rx_list_head->desc_a);
 243         current_rx_ptr = rx_list_head;
 244
 245         return 0;
 246
 247 init_error:
 248         desc_list_free();
 249         printk(KERN_ERR DRV_NAME ": kmalloc failed\n");
 250         return -ENOMEM;
 251 }
 252
 253
 254 /*---PHY CONTROL AND CONFIGURATION-----------------------------------------*/
 255
 256 /*
 257  * MII operations
 258  */
 259 /* Wait until the previous MDC/MDIO transaction has completed */
 260 static int bfin_mdio_poll(void)
 261 {
 262         int timeout_cnt = MAX_TIMEOUT_CNT;
 263
 264         /* poll the STABUSY bit */
 265         while ((bfin_read_EMAC_STAADD()) & STABUSY) {
 266                 udelay(1);
 267                 if (timeout_cnt-- < 0) {
 268                         printk(KERN_ERR DRV_NAME
 269                         ": wait MDC/MDIO transaction to complete timeout\n");
 270                         return -ETIMEDOUT;
 271                 }
 272         }
 273
 274         return 0;
 275 }
 276
 277 /* Read an off-chip register in a PHY through the MDC/MDIO port */
 278 static int bfin_mdiobus_read(struct mii_bus *bus, int phy_addr, int regnum)
 279 {
 280         int ret;
 281
 282         ret = bfin_mdio_poll();
 283         if (ret)
 284                 return ret;
 285
 286         /* read mode */
 287         bfin_write_EMAC_STAADD(SET_PHYAD((u16) phy_addr) |
 288                                 SET_REGAD((u16) regnum) |
 289                                 STABUSY);
 290
 291         ret = bfin_mdio_poll();
 292         if (ret)
 293                 return ret;
 294
 295         return (int) bfin_read_EMAC_STADAT();
 296 }
 297
 298 /* Write an off-chip register in a PHY through the MDC/MDIO port */
 299 static int bfin_mdiobus_write(struct mii_bus *bus, int phy_addr, int regnum,
 300                               u16 value)
 301 {
 302         int ret;
 303
 304         ret = bfin_mdio_poll();
 305         if (ret)
 306                 return ret;
 307
 308         bfin_write_EMAC_STADAT((u32) value);
 309
 310         /* write mode */
 311         bfin_write_EMAC_STAADD(SET_PHYAD((u16) phy_addr) |
 312                                 SET_REGAD((u16) regnum) |
 313                                 STAOP |
 314                                 STABUSY);
 315
 316         return bfin_mdio_poll();
 317 }
 318
 319 static int bfin_mdiobus_reset(struct mii_bus *bus)
 320 {
 321         return 0;
 322 }
 323
 324 static void bfin_mac_adjust_link(struct net_device *dev)
 325 {
 326         struct bfin_mac_local *lp = netdev_priv(dev);
 327         struct phy_device *phydev = lp->phydev;
 328         unsigned long flags;
 329         int new_state = 0;
 330
 331         spin_lock_irqsave(&lp->lock, flags);
 332         if (phydev->link) {
 333                 /* Now we make sure that we can be in full duplex mode.
 334                  * If not, we operate in half-duplex mode. */
 335                 if (phydev->duplex != lp->old_duplex) {
 336                         u32 opmode = bfin_read_EMAC_OPMODE();
 337                         new_state = 1;
 338
 339                         if (phydev->duplex)
 340                                 opmode |= FDMODE;
 341                         else
 342                                 opmode &= ~(FDMODE);
 343
 344                         bfin_write_EMAC_OPMODE(opmode);
 345                         lp->old_duplex = phydev->duplex;
 346                 }
 347
 348                 if (phydev->speed != lp->old_speed) {
 349 #if defined(CONFIG_BFIN_MAC_RMII)
 350                         u32 opmode = bfin_read_EMAC_OPMODE();
 351                         switch (phydev->speed) {
 352                         case 10:
 353                                 opmode |= RMII_10;
 354                                 break;
 355                         case 100:
 356                                 opmode &= ~(RMII_10);
 357                                 break;
 358                         default:
 359                                 printk(KERN_WARNING
 360                                         "%s: Ack!  Speed (%d) is not 10/100!\n",
 361                                         DRV_NAME, phydev->speed);
 362                                 break;
 363                         }
 364                         bfin_write_EMAC_OPMODE(opmode);
 365 #endif
 366
 367                         new_state = 1;
 368                         lp->old_speed = phydev->speed;
 369                 }
 370
 371                 if (!lp->old_link) {
 372                         new_state = 1;
 373                         lp->old_link = 1;
 374                 }
 375         } else if (lp->old_link) {
 376                 new_state = 1;
 377                 lp->old_link = 0;
 378                 lp->old_speed = 0;
 379                 lp->old_duplex = -1;
 380         }
 381
 382         if (new_state) {
 383                 u32 opmode = bfin_read_EMAC_OPMODE();
 384                 phy_print_status(phydev);
 385                 pr_debug("EMAC_OPMODE = 0x%08x\n", opmode);
 386         }
 387
 388         spin_unlock_irqrestore(&lp->lock, flags);
 389 }
 390
 391 /* MDC  = 2.5 MHz */
 392 #define MDC_CLK 2500000
 393
 394 static int mii_probe(struct net_device *dev)
 395 {
 396         struct bfin_mac_local *lp = netdev_priv(dev);
 397         struct phy_device *phydev = NULL;
 398         unsigned short sysctl;
 399         int i;
 400         u32 sclk, mdc_div;
 401
 402         /* Enable PHY output early */
 403         if (!(bfin_read_VR_CTL() & CLKBUFOE))
 404                 bfin_write_VR_CTL(bfin_read_VR_CTL() | CLKBUFOE);
 405
 406         sclk = get_sclk();
 407         mdc_div = ((sclk / MDC_CLK) / 2) - 1;
 408
 409         sysctl = bfin_read_EMAC_SYSCTL();
 410         sysctl = (sysctl & ~MDCDIV) | SET_MDCDIV(mdc_div);
 411         bfin_write_EMAC_SYSCTL(sysctl);
 412
 413         /* search for connect PHY device */
 414         for (i = 0; i < PHY_MAX_ADDR; i++) {
 415                 struct phy_device *const tmp_phydev = lp->mii_bus->phy_map[i];
 416
 417                 if (!tmp_phydev)
 418                         continue; /* no PHY here... */
 419
 420                 phydev = tmp_phydev;
 421                 break; /* found it */
 422         }
 423
 424         /* now we are supposed to have a proper phydev, to attach to... */
 425         if (!phydev) {
 426                 printk(KERN_INFO "%s: Don't found any phy device at all\n",
 427                         dev->name);
 428                 return -ENODEV;
 429         }
 430
 431 #if defined(CONFIG_BFIN_MAC_RMII)
 432         phydev = phy_connect(dev, dev_name(&phydev->dev), &bfin_mac_adjust_link,
 433                         0, PHY_INTERFACE_MODE_RMII);
 434 #else
 435         phydev = phy_connect(dev, dev_name(&phydev->dev), &bfin_mac_adjust_link,
 436                         0, PHY_INTERFACE_MODE_MII);
 437 #endif
 438
 439         if (IS_ERR(phydev)) {
 440                 printk(KERN_ERR "%s: Could not attach to PHY\n", dev->name);
 441                 return PTR_ERR(phydev);
 442         }
 443
 444         /* mask with MAC supported features */
 445         phydev->supported &= (SUPPORTED_10baseT_Half
 446                               | SUPPORTED_10baseT_Full
 447                               | SUPPORTED_100baseT_Half
 448                               | SUPPORTED_100baseT_Full
 449                               | SUPPORTED_Autoneg
 450                               | SUPPORTED_Pause | SUPPORTED_Asym_Pause
 451                               | SUPPORTED_MII
 452                               | SUPPORTED_TP);
 453
 454         phydev->advertising = phydev->supported;
 455
 456         lp->old_link = 0;
 457         lp->old_speed = 0;
 458         lp->old_duplex = -1;
 459         lp->phydev = phydev;
 460
 461         printk(KERN_INFO "%s: attached PHY driver [%s] "
 462                "(mii_bus:phy_addr=%s, irq=%d, mdc_clk=%dHz(mdc_div=%d)"
 463                "@sclk=%dMHz)\n",
 464                DRV_NAME, phydev->drv->name, dev_name(&phydev->dev), phydev->irq,
 465                MDC_CLK, mdc_div, sclk/1000000);
 466
 467         return 0;
 468 }
 469
 470 /*
 471  * Ethtool support
 472  */
 473
 474 /*
 475  * interrupt routine for magic packet wakeup
 476  */
 477 static irqreturn_t bfin_mac_wake_interrupt(int irq, void *dev_id)
 478 {
 479         return IRQ_HANDLED;
 480 }
 481
 482 static int
 483 bfin_mac_ethtool_getsettings(struct net_device *dev, struct ethtool_cmd *cmd)
 484 {
 485         struct bfin_mac_local *lp = netdev_priv(dev);
 486
 487         if (lp->phydev)
 488                 return phy_ethtool_gset(lp->phydev, cmd);
 489
 490         return -EINVAL;
 491 }
 492
 493 static int
 494 bfin_mac_ethtool_setsettings(struct net_device *dev, struct ethtool_cmd *cmd)
 495 {
 496         struct bfin_mac_local *lp = netdev_priv(dev);
 497
 498         if (!capable(CAP_NET_ADMIN))
 499                 return -EPERM;
 500
 501         if (lp->phydev)
 502                 return phy_ethtool_sset(lp->phydev, cmd);
 503
 504         return -EINVAL;
 505 }
 506
 507 static void bfin_mac_ethtool_getdrvinfo(struct net_device *dev,
 508                                         struct ethtool_drvinfo *info)
 509 {
 510         strcpy(info->driver, DRV_NAME);
 511         strcpy(info->version, DRV_VERSION);
 512         strcpy(info->fw_version, "N/A");
 513         strcpy(info->bus_info, dev_name(&dev->dev));
 514 }
 515
 516 static void bfin_mac_ethtool_getwol(struct net_device *dev,
 517         struct ethtool_wolinfo *wolinfo)
 518 {
 519         struct bfin_mac_local *lp = netdev_priv(dev);
 520
 521         wolinfo->supported = WAKE_MAGIC;
 522         wolinfo->wolopts = lp->wol;
 523 }
 524
 525 static int bfin_mac_ethtool_setwol(struct net_device *dev,
 526         struct ethtool_wolinfo *wolinfo)
 527 {
 528         struct bfin_mac_local *lp = netdev_priv(dev);
 529         int rc;
 530
 531         if (wolinfo->wolopts & (WAKE_MAGICSECURE |
 532                                 WAKE_UCAST |
 533                                 WAKE_MCAST |
 534                                 WAKE_BCAST |
 535                                 WAKE_ARP))
 536                 return -EOPNOTSUPP;
 537
 538         lp->wol = wolinfo->wolopts;
 539
 540         if (lp->wol && !lp->irq_wake_requested) {
 541                 /* register wake irq handler */
 542                 rc = request_irq(IRQ_MAC_WAKEDET, bfin_mac_wake_interrupt,
 543                                  IRQF_DISABLED, "EMAC_WAKE", dev);
 544                 if (rc)
 545                         return rc;
 546                 lp->irq_wake_requested = true;
 547         }
 548
 549         if (!lp->wol && lp->irq_wake_requested) {
 550                 free_irq(IRQ_MAC_WAKEDET, dev);
 551                 lp->irq_wake_requested = false;
 552         }
 553
 554         /* Make sure the PHY driver doesn't suspend */
 555         device_init_wakeup(&dev->dev, lp->wol);
 556
 557         return 0;
 558 }
 559
 560 static const struct ethtool_ops bfin_mac_ethtool_ops = {
 561         .get_settings = bfin_mac_ethtool_getsettings,
 562         .set_settings = bfin_mac_ethtool_setsettings,
 563         .get_link = ethtool_op_get_link,
 564         .get_drvinfo = bfin_mac_ethtool_getdrvinfo,
 565         .get_wol = bfin_mac_ethtool_getwol,
 566         .set_wol = bfin_mac_ethtool_setwol,
 567 };
 568
 569 /**************************************************************************/
 570 void setup_system_regs(struct net_device *dev)
 571 {
 572         unsigned short sysctl;
 573
 574         /*
 575          * Odd word alignment for Receive Frame DMA word
 576          * Configure checksum support and rcve frame word alignment
 577          */
 578         sysctl = bfin_read_EMAC_SYSCTL();
 579         sysctl |= RXDWA;
 580 #if defined(BFIN_MAC_CSUM_OFFLOAD)
 581         sysctl |= RXCKS;
 582 #else
 583         sysctl &= ~RXCKS;
 584 #endif
 585         bfin_write_EMAC_SYSCTL(sysctl);
 586
 587         bfin_write_EMAC_MMC_CTL(RSTC | CROLL);
 588
 589         /* Initialize the TX DMA channel registers */
 590         bfin_write_DMA2_X_COUNT(0);
 591         bfin_write_DMA2_X_MODIFY(4);
 592         bfin_write_DMA2_Y_COUNT(0);
 593         bfin_write_DMA2_Y_MODIFY(0);
 594
 595         /* Initialize the RX DMA channel registers */
 596         bfin_write_DMA1_X_COUNT(0);
 597         bfin_write_DMA1_X_MODIFY(4);
 598         bfin_write_DMA1_Y_COUNT(0);
 599         bfin_write_DMA1_Y_MODIFY(0);
 600 }
 601
 602 static void setup_mac_addr(u8 *mac_addr)
 603 {
 604         u32 addr_low = le32_to_cpu(*(__le32 *) & mac_addr[0]);
 605         u16 addr_hi = le16_to_cpu(*(__le16 *) & mac_addr[4]);
 606
 607         /* this depends on a little-endian machine */
 608         bfin_write_EMAC_ADDRLO(addr_low);
 609         bfin_write_EMAC_ADDRHI(addr_hi);
 610 }
 611
 612 static int bfin_mac_set_mac_address(struct net_device *dev, void *p)
 613 {
 614         struct sockaddr *addr = p;
 615         if (netif_running(dev))
 616                 return -EBUSY;
 617         memcpy(dev->dev_addr, addr->sa_data, dev->addr_len);
 618         setup_mac_addr(dev->dev_addr);
 619         return 0;
 620 }
 621
 622 #ifdef CONFIG_BFIN_MAC_USE_HWSTAMP
 623 #define bfin_mac_hwtstamp_is_none(cfg) ((cfg) == HWTSTAMP_FILTER_NONE)
 624
 625 static int bfin_mac_hwtstamp_ioctl(struct net_device *netdev,
 626                 struct ifreq *ifr, int cmd)
 627 {
 628         struct hwtstamp_config config;
 629         struct bfin_mac_local *lp = netdev_priv(netdev);
 630         u16 ptpctl;
 631         u32 ptpfv1, ptpfv2, ptpfv3, ptpfoff;
 632
 633         if (copy_from_user(&config, ifr->ifr_data, sizeof(config)))
 634                 return -EFAULT;
 635
 636         pr_debug("%s config flag:0x%x, tx_type:0x%x, rx_filter:0x%x\n",
 637                         __func__, config.flags, config.tx_type, config.rx_filter);
 638
 639         /* reserved for future extensions */
 640         if (config.flags)
 641                 return -EINVAL;
 642
 643         if ((config.tx_type != HWTSTAMP_TX_OFF) &&
 644                         (config.tx_type != HWTSTAMP_TX_ON))
 645                 return -ERANGE;
 646
 647         ptpctl = bfin_read_EMAC_PTP_CTL();
 648
 649         switch (config.rx_filter) {
 650         case HWTSTAMP_FILTER_NONE:
 651                 /*
 652                  * Dont allow any timestamping
 653                  */
 654                 ptpfv3 = 0xFFFFFFFF;
 655                 bfin_write_EMAC_PTP_FV3(ptpfv3);
 656                 break;
 657         case HWTSTAMP_FILTER_PTP_V1_L4_EVENT:
 658         case HWTSTAMP_FILTER_PTP_V1_L4_SYNC:
 659         case HWTSTAMP_FILTER_PTP_V1_L4_DELAY_REQ:
 660                 /*
 661                  * Clear the five comparison mask bits (bits[12:8]) in EMAC_PTP_CTL)
 662                  * to enable all the field matches.
 663                  */
 664                 ptpctl &= ~0x1F00;
 665                 bfin_write_EMAC_PTP_CTL(ptpctl);
 666                 /*
 667                  * Keep the default values of the EMAC_PTP_FOFF register.
 668                  */
 669                 ptpfoff = 0x4A24170C;
 670                 bfin_write_EMAC_PTP_FOFF(ptpfoff);
 671                 /*
 672                  * Keep the default values of the EMAC_PTP_FV1 and EMAC_PTP_FV2
 673                  * registers.
 674                  */
 675                 ptpfv1 = 0x11040800;
 676                 bfin_write_EMAC_PTP_FV1(ptpfv1);
 677                 ptpfv2 = 0x0140013F;
 678                 bfin_write_EMAC_PTP_FV2(ptpfv2);
 679                 /*
 680                  * The default value (0xFFFC) allows the timestamping of both
 681                  * received Sync messages and Delay_Req messages.
 682                  */
 683                 ptpfv3 = 0xFFFFFFFC;
 684                 bfin_write_EMAC_PTP_FV3(ptpfv3);
 685
 686                 config.rx_filter = HWTSTAMP_FILTER_PTP_V1_L4_EVENT;
 687                 break;
 688         case HWTSTAMP_FILTER_PTP_V2_L4_EVENT:
 689         case HWTSTAMP_FILTER_PTP_V2_L4_SYNC:
 690         case HWTSTAMP_FILTER_PTP_V2_DELAY_REQ:
 691                 /* Clear all five comparison mask bits (bits[12:8]) in the
 692                  * EMAC_PTP_CTL register to enable all the field matches.
 693                  */
 694                 ptpctl &= ~0x1F00;
 695                 bfin_write_EMAC_PTP_CTL(ptpctl);
 696                 /*
 697                  * Keep the default values of the EMAC_PTP_FOFF register, except set
 698                  * the PTPCOF field to 0x2A.
 699                  */
 700                 ptpfoff = 0x2A24170C;
 701                 bfin_write_EMAC_PTP_FOFF(ptpfoff);
 702                 /*
 703                  * Keep the default values of the EMAC_PTP_FV1 and EMAC_PTP_FV2
 704                  * registers.
 705                  */
 706                 ptpfv1 = 0x11040800;
 707                 bfin_write_EMAC_PTP_FV1(ptpfv1);
 708                 ptpfv2 = 0x0140013F;
 709                 bfin_write_EMAC_PTP_FV2(ptpfv2);
 710                 /*
 711                  * To allow the timestamping of Pdelay_Req and Pdelay_Resp, set
 712                  * the value to 0xFFF0.
 713                  */
 714                 ptpfv3 = 0xFFFFFFF0;
 715                 bfin_write_EMAC_PTP_FV3(ptpfv3);
 716
 717                 config.rx_filter = HWTSTAMP_FILTER_PTP_V2_L4_EVENT;
 718                 break;
 719         case HWTSTAMP_FILTER_PTP_V2_L2_EVENT:
 720         case HWTSTAMP_FILTER_PTP_V2_L2_SYNC:
 721         case HWTSTAMP_FILTER_PTP_V2_L2_DELAY_REQ:
 722                 /*
 723                  * Clear bits 8 and 12 of the EMAC_PTP_CTL register to enable only the
 724                  * EFTM and PTPCM field comparison.
 725                  */
 726                 ptpctl &= ~0x1100;
 727                 bfin_write_EMAC_PTP_CTL(ptpctl);
 728                 /*
 729                  * Keep the default values of all the fields of the EMAC_PTP_FOFF
 730                  * register, except set the PTPCOF field to 0x0E.
 731                  */
 732                 ptpfoff = 0x0E24170C;
 733                 bfin_write_EMAC_PTP_FOFF(ptpfoff);
 734                 /*
 735                  * Program bits [15:0] of the EMAC_PTP_FV1 register to 0x88F7, which
 736                  * corresponds to PTP messages on the MAC layer.
 737                  */
 738                 ptpfv1 = 0x110488F7;
 739                 bfin_write_EMAC_PTP_FV1(ptpfv1);
 740                 ptpfv2 = 0x0140013F;
 741                 bfin_write_EMAC_PTP_FV2(ptpfv2);
 742                 /*
 743                  * To allow the timestamping of Pdelay_Req and Pdelay_Resp
 744                  * messages, set the value to 0xFFF0.
 745                  */
 746                 ptpfv3 = 0xFFFFFFF0;
 747                 bfin_write_EMAC_PTP_FV3(ptpfv3);
 748
 749                 config.rx_filter = HWTSTAMP_FILTER_PTP_V2_L2_EVENT;
 750                 break;
 751         default:
 752                 return -ERANGE;
 753         }
 754
 755         if (config.tx_type == HWTSTAMP_TX_OFF &&
 756             bfin_mac_hwtstamp_is_none(config.rx_filter)) {
 757                 ptpctl &= ~PTP_EN;
 758                 bfin_write_EMAC_PTP_CTL(ptpctl);
 759
 760                 SSYNC();
 761         } else {
 762                 ptpctl |= PTP_EN;
 763                 bfin_write_EMAC_PTP_CTL(ptpctl);
 764
 765                 /*
 766                  * clear any existing timestamp
 767                  */
 768                 bfin_read_EMAC_PTP_RXSNAPLO();
 769                 bfin_read_EMAC_PTP_RXSNAPHI();
 770
 771                 bfin_read_EMAC_PTP_TXSNAPLO();
 772                 bfin_read_EMAC_PTP_TXSNAPHI();
 773
 774                 /*
 775                  * Set registers so that rollover occurs soon to test this.
 776                  */
 777                 bfin_write_EMAC_PTP_TIMELO(0x00000000);
 778                 bfin_write_EMAC_PTP_TIMEHI(0xFF800000);
 779
 780                 SSYNC();
 781
 782                 lp->compare.last_update = 0;
 783                 timecounter_init(&lp->clock,
 784                                 &lp->cycles,
 785                                 ktime_to_ns(ktime_get_real()));
 786                 timecompare_update(&lp->compare, 0);
 787         }
 788
 789         lp->stamp_cfg = config;
 790         return copy_to_user(ifr->ifr_data, &config, sizeof(config)) ?
 791                 -EFAULT : 0;
 792 }
 793
 794 static void bfin_dump_hwtamp(char *s, ktime_t *hw, ktime_t *ts, struct timecompare *cmp)
 795 {
 796         ktime_t sys = ktime_get_real();
 797
 798         pr_debug("%s %s hardware:%d,%d transform system:%d,%d system:%d,%d, cmp:%lld, %lld\n",
 799                         __func__, s, hw->tv.sec, hw->tv.nsec, ts->tv.sec, ts->tv.nsec, sys.tv.sec,
 800                         sys.tv.nsec, cmp->offset, cmp->skew);
 801 }
 802
 803 static void bfin_tx_hwtstamp(struct net_device *netdev, struct sk_buff *skb)
 804 {
 805         struct bfin_mac_local *lp = netdev_priv(netdev);
 806
 807         if (skb_shinfo(skb)->tx_flags & SKBTX_HW_TSTAMP) {
 808                 int timeout_cnt = MAX_TIMEOUT_CNT;
 809
 810                 /* When doing time stamping, keep the connection to the socket
 811                  * a while longer
 812                  */
 813                 skb_shinfo(skb)->tx_flags |= SKBTX_IN_PROGRESS;
 814
 815                 /*
 816                  * The timestamping is done at the EMAC module's MII/RMII interface
 817                  * when the module sees the Start of Frame of an event message packet. This
 818                  * interface is the closest possible place to the physical Ethernet transmission
 819                  * medium, providing the best timing accuracy.
 820                  */
 821                 while ((!(bfin_read_EMAC_PTP_ISTAT() & TXTL)) && (--timeout_cnt))
 822                         udelay(1);
 823                 if (timeout_cnt == 0)
 824                         printk(KERN_ERR DRV_NAME
 825                                         ": fails to timestamp the TX packet\n");
 826                 else {
 827                         struct skb_shared_hwtstamps shhwtstamps;
 828                         u64 ns;
 829                         u64 regval;
 830
 831                         regval = bfin_read_EMAC_PTP_TXSNAPLO();
 832                         regval |= (u64)bfin_read_EMAC_PTP_TXSNAPHI() << 32;
 833                         memset(&shhwtstamps, 0, sizeof(shhwtstamps));
 834                         ns = timecounter_cyc2time(&lp->clock,
 835                                         regval);
 836                         timecompare_update(&lp->compare, ns);
 837                         shhwtstamps.hwtstamp = ns_to_ktime(ns);
 838                         shhwtstamps.syststamp =
 839                                 timecompare_transform(&lp->compare, ns);
 840                         skb_tstamp_tx(skb, &shhwtstamps);
 841
 842                         bfin_dump_hwtamp("TX", &shhwtstamps.hwtstamp, &shhwtstamps.syststamp, &lp->compare);
 843                 }
 844         }
 845 }
 846
 847 static void bfin_rx_hwtstamp(struct net_device *netdev, struct sk_buff *skb)
 848 {
 849         struct bfin_mac_local *lp = netdev_priv(netdev);
 850         u32 valid;
 851         u64 regval, ns;
 852         struct skb_shared_hwtstamps *shhwtstamps;
 853
 854         if (bfin_mac_hwtstamp_is_none(lp->stamp_cfg.rx_filter))
 855                 return;
 856
 857         valid = bfin_read_EMAC_PTP_ISTAT() & RXEL;
 858         if (!valid)
 859                 return;
 860
 861         shhwtstamps = skb_hwtstamps(skb);
 862
 863         regval = bfin_read_EMAC_PTP_RXSNAPLO();
 864         regval |= (u64)bfin_read_EMAC_PTP_RXSNAPHI() << 32;
 865         ns = timecounter_cyc2time(&lp->clock, regval);
 866         timecompare_update(&lp->compare, ns);
 867         memset(shhwtstamps, 0, sizeof(*shhwtstamps));
 868         shhwtstamps->hwtstamp = ns_to_ktime(ns);
 869         shhwtstamps->syststamp = timecompare_transform(&lp->compare, ns);
 870
 871         bfin_dump_hwtamp("RX", &shhwtstamps->hwtstamp, &shhwtstamps->syststamp, &lp->compare);
 872 }
 873
 874 /*
 875  * bfin_read_clock - read raw cycle counter (to be used by time counter)
 876  */
 877 static cycle_t bfin_read_clock(const struct cyclecounter *tc)
 878 {
 879         u64 stamp;
 880
 881         stamp =  bfin_read_EMAC_PTP_TIMELO();
 882         stamp |= (u64)bfin_read_EMAC_PTP_TIMEHI() << 32ULL;
 883
 884         return stamp;
 885 }
 886
 887 #define PTP_CLK 25000000
 888
 889 static void bfin_mac_hwtstamp_init(struct net_device *netdev)
 890 {
 891         struct bfin_mac_local *lp = netdev_priv(netdev);
 892         u64 append;
 893
 894         /* Initialize hardware timer */
 895         append = PTP_CLK * (1ULL << 32);
 896         do_div(append, get_sclk());
 897         bfin_write_EMAC_PTP_ADDEND((u32)append);
 898
 899         memset(&lp->cycles, 0, sizeof(lp->cycles));
 900         lp->cycles.read = bfin_read_clock;
 901         lp->cycles.mask = CLOCKSOURCE_MASK(64);
 902         lp->cycles.mult = 1000000000 / PTP_CLK;
 903         lp->cycles.shift = 0;
 904
 905         /* Synchronize our NIC clock against system wall clock */
 906         memset(&lp->compare, 0, sizeof(lp->compare));
 907         lp->compare.source = &lp->clock;
 908         lp->compare.target = ktime_get_real;
 909         lp->compare.num_samples = 10;
 910
 911         /* Initialize hwstamp config */
 912         lp->stamp_cfg.rx_filter = HWTSTAMP_FILTER_NONE;
 913         lp->stamp_cfg.tx_type = HWTSTAMP_TX_OFF;
 914 }
 915
 916 #else
 917 # define bfin_mac_hwtstamp_is_none(cfg) 0
 918 # define bfin_mac_hwtstamp_init(dev)
 919 # define bfin_mac_hwtstamp_ioctl(dev, ifr, cmd) (-EOPNOTSUPP)
 920 # define bfin_rx_hwtstamp(dev, skb)
 921 # define bfin_tx_hwtstamp(dev, skb)
 922 #endif
 923
 924 static inline void _tx_reclaim_skb(void)
 925 {
 926         do {
 927                 tx_list_head->desc_a.config &= ~DMAEN;
 928                 tx_list_head->status.status_word = 0;
 929                 if (tx_list_head->skb) {
 930                         dev_kfree_skb(tx_list_head->skb);
 931                         tx_list_head->skb = NULL;
 932                 }
 933                 tx_list_head = tx_list_head->next;
 934
 935         } while (tx_list_head->status.status_word != 0);
 936 }
 937
 938 static void tx_reclaim_skb(struct bfin_mac_local *lp)
 939 {
 940         int timeout_cnt = MAX_TIMEOUT_CNT;
 941
 942         if (tx_list_head->status.status_word != 0)
 943                 _tx_reclaim_skb();
 944
 945         if (current_tx_ptr->next == tx_list_head) {
 946                 while (tx_list_head->status.status_word == 0) {
 947                         /* slow down polling to avoid too many queue stop. */
 948                         udelay(10);
 949                         /* reclaim skb if DMA is not running. */
 950                         if (!(bfin_read_DMA2_IRQ_STATUS() & DMA_RUN))
 951                                 break;
 952                         if (timeout_cnt-- < 0)
 953                                 break;
 954                 }
 955
 956                 if (timeout_cnt >= 0)
 957                         _tx_reclaim_skb();
 958                 else
 959                         netif_stop_queue(lp->ndev);
 960         }
 961
 962         if (current_tx_ptr->next != tx_list_head &&
 963                 netif_queue_stopped(lp->ndev))
 964                 netif_wake_queue(lp->ndev);
 965
 966         if (tx_list_head != current_tx_ptr) {
 967                 /* shorten the timer interval if tx queue is stopped */
 968                 if (netif_queue_stopped(lp->ndev))
 969                         lp->tx_reclaim_timer.expires =
 970                                 jiffies + (TX_RECLAIM_JIFFIES >> 4);
 971                 else
 972                         lp->tx_reclaim_timer.expires =
 973                                 jiffies + TX_RECLAIM_JIFFIES;
 974
 975                 mod_timer(&lp->tx_reclaim_timer,
 976                         lp->tx_reclaim_timer.expires);
 977         }
 978
 979         return;
 980 }
 981
 982 static void tx_reclaim_skb_timeout(unsigned long lp)
 983 {
 984         tx_reclaim_skb((struct bfin_mac_local *)lp);
 985 }
 986
 987 static int bfin_mac_hard_start_xmit(struct sk_buff *skb,
 988                                 struct net_device *dev)
 989 {
 990         struct bfin_mac_local *lp = netdev_priv(dev);
 991         u16 *data;
 992         u32 data_align = (unsigned long)(skb->data) & 0x3;
 993
 994         current_tx_ptr->skb = skb;
 995
 996         if (data_align == 0x2) {
 997                 /* move skb->data to current_tx_ptr payload */
 998                 data = (u16 *)(skb->data) - 1;
 999                 *data = (u16)(skb->len);
1000                 /*
1001                  * When transmitting an Ethernet packet, the PTP_TSYNC module requires
1002                  * a DMA_Length_Word field associated with the packet. The lower 12 bits
1003                  * of this field are the length of the packet payload in bytes and the higher
1004                  * 4 bits are the timestamping enable field.
1005                  */
1006                 if (skb_shinfo(skb)->tx_flags & SKBTX_HW_TSTAMP)
1007                         *data |= 0x1000;
1008
1009                 current_tx_ptr->desc_a.start_addr = (u32)data;
1010                 /* this is important! */
1011                 blackfin_dcache_flush_range((u32)data,
1012                                 (u32)((u8 *)data + skb->len + 4));
1013         } else {
1014                 *((u16 *)(current_tx_ptr->packet)) = (u16)(skb->len);
1015                 /* enable timestamping for the sent packet */
1016                 if (skb_shinfo(skb)->tx_flags & SKBTX_HW_TSTAMP)
1017                         *((u16 *)(current_tx_ptr->packet)) |= 0x1000;
1018                 memcpy((u8 *)(current_tx_ptr->packet + 2), skb->data,
1019                         skb->len);
1020                 current_tx_ptr->desc_a.start_addr =
1021                         (u32)current_tx_ptr->packet;
1022                 blackfin_dcache_flush_range(
1023                         (u32)current_tx_ptr->packet,
1024                         (u32)(current_tx_ptr->packet + skb->len + 2));
1025         }
1026
1027         /* make sure the internal data buffers in the core are drained
1028          * so that the DMA descriptors are completely written when the
1029          * DMA engine goes to fetch them below
1030          */
1031         SSYNC();
1032
1033         /* always clear status buffer before start tx dma */
1034         current_tx_ptr->status.status_word = 0;
1035
1036         /* enable this packet's dma */
1037         current_tx_ptr->desc_a.config |= DMAEN;
1038
1039         /* tx dma is running, just return */
1040         if (bfin_read_DMA2_IRQ_STATUS() & DMA_RUN)
1041                 goto out;
1042
1043         /* tx dma is not running */
1044         bfin_write_DMA2_NEXT_DESC_PTR(&(current_tx_ptr->desc_a));
1045         /* dma enabled, read from memory, size is 6 */
1046         bfin_write_DMA2_CONFIG(current_tx_ptr->desc_a.config);
1047         /* Turn on the EMAC tx */
1048         bfin_write_EMAC_OPMODE(bfin_read_EMAC_OPMODE() | TE);
1049
1050 out:
1051         bfin_tx_hwtstamp(dev, skb);
1052
1053         current_tx_ptr = current_tx_ptr->next;
1054         dev->stats.tx_packets++;
1055         dev->stats.tx_bytes += (skb->len);
1056
1057         tx_reclaim_skb(lp);
1058
1059         return NETDEV_TX_OK;
1060 }
1061
1062 #define IP_HEADER_OFF  0
1063 #define RX_ERROR_MASK (RX_LONG | RX_ALIGN | RX_CRC | RX_LEN | \
1064         RX_FRAG | RX_ADDR | RX_DMAO | RX_PHY | RX_LATE | RX_RANGE)
1065
1066 static void bfin_mac_rx(struct net_device *dev)
1067 {
1068         struct sk_buff *skb, *new_skb;
1069         unsigned short len;
1070         struct bfin_mac_local *lp __maybe_unused = netdev_priv(dev);
1071 #if defined(BFIN_MAC_CSUM_OFFLOAD)
1072         unsigned int i;
1073         unsigned char fcs[ETH_FCS_LEN + 1];
1074 #endif
1075
1076         /* check if frame status word reports an error condition
1077          * we which case we simply drop the packet
1078          */
1079         if (current_rx_ptr->status.status_word & RX_ERROR_MASK) {
1080                 printk(KERN_NOTICE DRV_NAME
1081                        ": rx: receive error - packet dropped\n");
1082                 dev->stats.rx_dropped++;
1083                 goto out;
1084         }
1085
1086         /* allocate a new skb for next time receive */
1087         skb = current_rx_ptr->skb;
1088
1089         new_skb = dev_alloc_skb(PKT_BUF_SZ + NET_IP_ALIGN);
1090         if (!new_skb) {
1091                 printk(KERN_NOTICE DRV_NAME
1092                        ": rx: low on mem - packet dropped\n");
1093                 dev->stats.rx_dropped++;
1094                 goto out;
1095         }
1096         /* reserve 2 bytes for RXDWA padding */
1097         skb_reserve(new_skb, NET_IP_ALIGN);
1098         /* Invidate the data cache of skb->data range when it is write back
1099          * cache. It will prevent overwritting the new data from DMA
1100          */
1101         blackfin_dcache_invalidate_range((unsigned long)new_skb->head,
1102                                          (unsigned long)new_skb->end);
1103
1104         current_rx_ptr->skb = new_skb;
1105         current_rx_ptr->desc_a.start_addr = (unsigned long)new_skb->data - 2;
1106
1107         len = (unsigned short)((current_rx_ptr->status.status_word) & RX_FRLEN);
1108         /* Deduce Ethernet FCS length from Ethernet payload length */
1109         len -= ETH_FCS_LEN;
1110         skb_put(skb, len);
1111
1112         skb->protocol = eth_type_trans(skb, dev);
1113
1114         bfin_rx_hwtstamp(dev, skb);
1115
1116 #if defined(BFIN_MAC_CSUM_OFFLOAD)
1117         /* Checksum offloading only works for IPv4 packets with the standard IP header
1118          * length of 20 bytes, because the blackfin MAC checksum calculation is
1119          * based on that assumption. We must NOT use the calculated checksum if our
1120          * IP version or header break that assumption.
1121          */
1122         if (skb->data[IP_HEADER_OFF] == 0x45) {
1123                 skb->csum = current_rx_ptr->status.ip_payload_csum;
1124                 /*
1125                  * Deduce Ethernet FCS from hardware generated IP payload checksum.
1126                  * IP checksum is based on 16-bit one's complement algorithm.
1127                  * To deduce a value from checksum is equal to add its inversion.
1128                  * If the IP payload len is odd, the inversed FCS should also
1129                  * begin from odd address and leave first byte zero.
1130                  */
1131                 if (skb->len % 2) {
1132                         fcs[0] = 0;
1133                         for (i = 0; i < ETH_FCS_LEN; i++)
1134                                 fcs[i + 1] = ~skb->data[skb->len + i];
1135                         skb->csum = csum_partial(fcs, ETH_FCS_LEN + 1, skb->csum);
1136                 } else {
1137                         for (i = 0; i < ETH_FCS_LEN; i++)
1138                                 fcs[i] = ~skb->data[skb->len + i];
1139                         skb->csum = csum_partial(fcs, ETH_FCS_LEN, skb->csum);
1140                 }
1141                 skb->ip_summed = CHECKSUM_COMPLETE;
1142         }
1143 #endif
1144
1145         netif_rx(skb);
1146         dev->stats.rx_packets++;
1147         dev->stats.rx_bytes += len;
1148 out:
1149         current_rx_ptr->status.status_word = 0x00000000;
1150         current_rx_ptr = current_rx_ptr->next;
1151 }
1152
1153 /* interrupt routine to handle rx and error signal */
1154 static irqreturn_t bfin_mac_interrupt(int irq, void *dev_id)
1155 {
1156         struct net_device *dev = dev_id;
1157         int number = 0;
1158
1159 get_one_packet:
1160         if (current_rx_ptr->status.status_word == 0) {
1161                 /* no more new packet received */
1162                 if (number == 0) {
1163                         if (current_rx_ptr->next->status.status_word != 0) {
1164                                 current_rx_ptr = current_rx_ptr->next;
1165                                 goto real_rx;
1166                         }
1167                 }
1168                 bfin_write_DMA1_IRQ_STATUS(bfin_read_DMA1_IRQ_STATUS() |
1169                                            DMA_DONE | DMA_ERR);
1170                 return IRQ_HANDLED;
1171         }
1172
1173 real_rx:
1174         bfin_mac_rx(dev);
1175         number++;
1176         goto get_one_packet;
1177 }
1178
1179 #ifdef CONFIG_NET_POLL_CONTROLLER
1180 static void bfin_mac_poll(struct net_device *dev)
1181 {
1182         struct bfin_mac_local *lp = netdev_priv(dev);
1183
1184         disable_irq(IRQ_MAC_RX);
1185         bfin_mac_interrupt(IRQ_MAC_RX, dev);
1186         tx_reclaim_skb(lp);
1187         enable_irq(IRQ_MAC_RX);
1188 }
1189 #endif                          /* CONFIG_NET_POLL_CONTROLLER */
1190
1191 static void bfin_mac_disable(void)
1192 {
1193         unsigned int opmode;
1194
1195         opmode = bfin_read_EMAC_OPMODE();
1196         opmode &= (~RE);
1197         opmode &= (~TE);
1198         /* Turn off the EMAC */
1199         bfin_write_EMAC_OPMODE(opmode);
1200 }
1201
1202 /*
1203  * Enable Interrupts, Receive, and Transmit
1204  */
1205 static int bfin_mac_enable(void)
1206 {
1207         int ret;
1208         u32 opmode;
1209
1210         pr_debug("%s: %s\n", DRV_NAME, __func__);
1211
1212         /* Set RX DMA */
1213         bfin_write_DMA1_NEXT_DESC_PTR(&(rx_list_head->desc_a));
1214         bfin_write_DMA1_CONFIG(rx_list_head->desc_a.config);
1215
1216         /* Wait MII done */
1217         ret = bfin_mdio_poll();
1218         if (ret)
1219                 return ret;
1220
1221         /* We enable only RX here */
1222         /* ASTP   : Enable Automatic Pad Stripping
1223            PR     : Promiscuous Mode for test
1224            PSF    : Receive frames with total length less than 64 bytes.
1225            FDMODE : Full Duplex Mode
1226            LB     : Internal Loopback for test
1227            RE     : Receiver Enable */
1228         opmode = bfin_read_EMAC_OPMODE();
1229         if (opmode & FDMODE)
1230                 opmode |= PSF;
1231         else
1232                 opmode |= DRO | DC | PSF;
1233         opmode |= RE;
1234
1235 #if defined(CONFIG_BFIN_MAC_RMII)
1236         opmode |= RMII; /* For Now only 100MBit are supported */
1237 #if (defined(CONFIG_BF537) || defined(CONFIG_BF536)) && CONFIG_BF_REV_0_2
1238         opmode |= TE;
1239 #endif
1240 #endif
1241         /* Turn on the EMAC rx */
1242         bfin_write_EMAC_OPMODE(opmode);
1243
1244         return 0;
1245 }
1246
1247 /* Our watchdog timed out. Called by the networking layer */
1248 static void bfin_mac_timeout(struct net_device *dev)
1249 {
1250         struct bfin_mac_local *lp = netdev_priv(dev);
1251
1252         pr_debug("%s: %s\n", dev->name, __func__);
1253
1254         bfin_mac_disable();
1255
1256         del_timer(&lp->tx_reclaim_timer);
1257
1258         /* reset tx queue and free skb */
1259         while (tx_list_head != current_tx_ptr) {
1260                 tx_list_head->desc_a.config &= ~DMAEN;
1261                 tx_list_head->status.status_word = 0;
1262                 if (tx_list_head->skb) {
1263                         dev_kfree_skb(tx_list_head->skb);
1264                         tx_list_head->skb = NULL;
1265                 }
1266                 tx_list_head = tx_list_head->next;
1267         }
1268
1269         if (netif_queue_stopped(lp->ndev))
1270                 netif_wake_queue(lp->ndev);
1271
1272         bfin_mac_enable();
1273
1274         /* We can accept TX packets again */
1275         dev->trans_start = jiffies; /* prevent tx timeout */
1276         netif_wake_queue(dev);
1277 }
1278
1279 static void bfin_mac_multicast_hash(struct net_device *dev)
1280 {
1281         u32 emac_hashhi, emac_hashlo;
1282         struct netdev_hw_addr *ha;
1283         char *addrs;
1284         u32 crc;
1285
1286         emac_hashhi = emac_hashlo = 0;
1287
1288         netdev_for_each_mc_addr(ha, dev) {
1289                 addrs = ha->addr;
1290
1291                 /* skip non-multicast addresses */
1292                 if (!(*addrs & 1))
1293                         continue;
1294
1295                 crc = ether_crc(ETH_ALEN, addrs);
1296                 crc >>= 26;
1297
1298                 if (crc & 0x20)
1299                         emac_hashhi |= 1 << (crc & 0x1f);
1300                 else
1301                         emac_hashlo |= 1 << (crc & 0x1f);
1302         }
1303
1304         bfin_write_EMAC_HASHHI(emac_hashhi);
1305         bfin_write_EMAC_HASHLO(emac_hashlo);
1306 }
1307
1308 /*
1309  * This routine will, depending on the values passed to it,
1310  * either make it accept multicast packets, go into
1311  * promiscuous mode (for TCPDUMP and cousins) or accept
1312  * a select set of multicast packets
1313  */
1314 static void bfin_mac_set_multicast_list(struct net_device *dev)
1315 {
1316         u32 sysctl;
1317
1318         if (dev->flags & IFF_PROMISC) {
1319                 printk(KERN_INFO "%s: set to promisc mode\n", dev->name);
1320                 sysctl = bfin_read_EMAC_OPMODE();
1321                 sysctl |= PR;
1322                 bfin_write_EMAC_OPMODE(sysctl);
1323         } else if (dev->flags & IFF_ALLMULTI) {
1324                 /* accept all multicast */
1325                 sysctl = bfin_read_EMAC_OPMODE();
1326                 sysctl |= PAM;
1327                 bfin_write_EMAC_OPMODE(sysctl);
1328         } else if (!netdev_mc_empty(dev)) {
1329                 /* set up multicast hash table */
1330                 sysctl = bfin_read_EMAC_OPMODE();
1331                 sysctl |= HM;
1332                 bfin_write_EMAC_OPMODE(sysctl);
1333                 bfin_mac_multicast_hash(dev);
1334         } else {
1335                 /* clear promisc or multicast mode */
1336                 sysctl = bfin_read_EMAC_OPMODE();
1337                 sysctl &= ~(RAF | PAM);
1338                 bfin_write_EMAC_OPMODE(sysctl);
1339         }
1340 }
1341
1342 static int bfin_mac_ioctl(struct net_device *netdev, struct ifreq *ifr, int cmd)
1343 {
1344         switch (cmd) {
1345         case SIOCSHWTSTAMP:
1346                 return bfin_mac_hwtstamp_ioctl(netdev, ifr, cmd);
1347         default:
1348                 return -EOPNOTSUPP;
1349         }
1350 }
1351
1352 /*
1353  * this puts the device in an inactive state
1354  */
1355 static void bfin_mac_shutdown(struct net_device *dev)
1356 {
1357         /* Turn off the EMAC */
1358         bfin_write_EMAC_OPMODE(0x00000000);
1359         /* Turn off the EMAC RX DMA */
1360         bfin_write_DMA1_CONFIG(0x0000);
1361         bfin_write_DMA2_CONFIG(0x0000);
1362 }
1363
1364 /*
1365  * Open and Initialize the interface
1366  *
1367  * Set up everything, reset the card, etc..
1368  */
1369 static int bfin_mac_open(struct net_device *dev)
1370 {
1371         struct bfin_mac_local *lp = netdev_priv(dev);
1372         int ret;
1373         pr_debug("%s: %s\n", dev->name, __func__);
1374
1375         /*
1376          * Check that the address is valid.  If its not, refuse
1377          * to bring the device up.  The user must specify an
1378          * address using ifconfig eth0 hw ether xx:xx:xx:xx:xx:xx
1379          */
1380         if (!is_valid_ether_addr(dev->dev_addr)) {
1381                 printk(KERN_WARNING DRV_NAME ": no valid ethernet hw addr\n");
1382                 return -EINVAL;
1383         }
1384
1385         /* initial rx and tx list */
1386         ret = desc_list_init();
1387         if (ret)
1388                 return ret;
1389
1390         phy_start(lp->phydev);
1391         phy_write(lp->phydev, MII_BMCR, BMCR_RESET);
1392         setup_system_regs(dev);
1393         setup_mac_addr(dev->dev_addr);
1394
1395         bfin_mac_disable();
1396         ret = bfin_mac_enable();
1397         if (ret)
1398                 return ret;
1399         pr_debug("hardware init finished\n");
1400
1401         netif_start_queue(dev);
1402         netif_carrier_on(dev);
1403
1404         return 0;
1405 }
1406
1407 /*
1408  * this makes the board clean up everything that it can
1409  * and not talk to the outside world.   Caused by
1410  * an 'ifconfig ethX down'
1411  */
1412 static int bfin_mac_close(struct net_device *dev)
1413 {
1414         struct bfin_mac_local *lp = netdev_priv(dev);
1415         pr_debug("%s: %s\n", dev->name, __func__);
1416
1417         netif_stop_queue(dev);
1418         netif_carrier_off(dev);
1419
1420         phy_stop(lp->phydev);
1421         phy_write(lp->phydev, MII_BMCR, BMCR_PDOWN);
1422
1423         /* clear everything */
1424         bfin_mac_shutdown(dev);
1425
1426         /* free the rx/tx buffers */
1427         desc_list_free();
1428
1429         return 0;
1430 }
1431
1432 static const struct net_device_ops bfin_mac_netdev_ops = {
1433         .ndo_open               = bfin_mac_open,
1434         .ndo_stop               = bfin_mac_close,
1435         .ndo_start_xmit         = bfin_mac_hard_start_xmit,
1436         .ndo_set_mac_address    = bfin_mac_set_mac_address,
1437         .ndo_tx_timeout         = bfin_mac_timeout,
1438         .ndo_set_multicast_list = bfin_mac_set_multicast_list,
1439         .ndo_do_ioctl           = bfin_mac_ioctl,
1440         .ndo_validate_addr      = eth_validate_addr,
1441         .ndo_change_mtu         = eth_change_mtu,
1442 #ifdef CONFIG_NET_POLL_CONTROLLER
1443         .ndo_poll_controller    = bfin_mac_poll,
1444 #endif
1445 };
1446
1447 static int __devinit bfin_mac_probe(struct platform_device *pdev)
1448 {
1449         struct net_device *ndev;
1450         struct bfin_mac_local *lp;
1451         struct platform_device *pd;
1452         int rc;
1453
1454         ndev = alloc_etherdev(sizeof(struct bfin_mac_local));
1455         if (!ndev) {
1456                 dev_err(&pdev->dev, "Cannot allocate net device!\n");
1457                 return -ENOMEM;
1458         }
1459
1460         SET_NETDEV_DEV(ndev, &pdev->dev);
1461         platform_set_drvdata(pdev, ndev);
1462         lp = netdev_priv(ndev);
1463         lp->ndev = ndev;
1464
1465         /* Grab the MAC address in the MAC */
1466         *(__le32 *) (&(ndev->dev_addr[0])) = cpu_to_le32(bfin_read_EMAC_ADDRLO());
1467         *(__le16 *) (&(ndev->dev_addr[4])) = cpu_to_le16((u16) bfin_read_EMAC_ADDRHI());
1468
1469         /* probe mac */
1470         /*todo: how to proble? which is revision_register */
1471         bfin_write_EMAC_ADDRLO(0x12345678);
1472         if (bfin_read_EMAC_ADDRLO() != 0x12345678) {
1473                 dev_err(&pdev->dev, "Cannot detect Blackfin on-chip ethernet MAC controller!\n");
1474                 rc = -ENODEV;
1475                 goto out_err_probe_mac;
1476         }
1477
1478
1479         /*
1480          * Is it valid? (Did bootloader initialize it?)
1481          * Grab the MAC from the board somehow
1482          * this is done in the arch/blackfin/mach-bfxxx/boards/eth_mac.c
1483          */
1484         if (!is_valid_ether_addr(ndev->dev_addr))
1485                 bfin_get_ether_addr(ndev->dev_addr);
1486
1487         /* If still not valid, get a random one */
1488         if (!is_valid_ether_addr(ndev->dev_addr))
1489                 random_ether_addr(ndev->dev_addr);
1490
1491         setup_mac_addr(ndev->dev_addr);
1492
1493         if (!pdev->dev.platform_data) {
1494                 dev_err(&pdev->dev, "Cannot get platform device bfin_mii_bus!\n");
1495                 rc = -ENODEV;
1496                 goto out_err_probe_mac;
1497         }
1498         pd = pdev->dev.platform_data;
1499         lp->mii_bus = platform_get_drvdata(pd);
1500         if (!lp->mii_bus) {
1501                 dev_err(&pdev->dev, "Cannot get mii_bus!\n");
1502                 rc = -ENODEV;
1503                 goto out_err_mii_bus_probe;
1504         }
1505         lp->mii_bus->priv = ndev;
1506
1507         rc = mii_probe(ndev);
1508         if (rc) {
1509                 dev_err(&pdev->dev, "MII Probe failed!\n");
1510                 goto out_err_mii_probe;
1511         }
1512
1513         /* Fill in the fields of the device structure with ethernet values. */
1514         ether_setup(ndev);
1515
1516         ndev->netdev_ops = &bfin_mac_netdev_ops;
1517         ndev->ethtool_ops = &bfin_mac_ethtool_ops;
1518
1519         init_timer(&lp->tx_reclaim_timer);
1520         lp->tx_reclaim_timer.data = (unsigned long)lp;
1521         lp->tx_reclaim_timer.function = tx_reclaim_skb_timeout;
1522
1523         spin_lock_init(&lp->lock);
1524
1525         /* now, enable interrupts */
1526         /* register irq handler */
1527         rc = request_irq(IRQ_MAC_RX, bfin_mac_interrupt,
1528                         IRQF_DISABLED, "EMAC_RX", ndev);
1529         if (rc) {
1530                 dev_err(&pdev->dev, "Cannot request Blackfin MAC RX IRQ!\n");
1531                 rc = -EBUSY;
1532                 goto out_err_request_irq;
1533         }
1534
1535         rc = register_netdev(ndev);
1536         if (rc) {
1537                 dev_err(&pdev->dev, "Cannot register net device!\n");
1538                 goto out_err_reg_ndev;
1539         }
1540
1541         bfin_mac_hwtstamp_init(ndev);
1542
1543         /* now, print out the card info, in a short format.. */
1544         dev_info(&pdev->dev, "%s, Version %s\n", DRV_DESC, DRV_VERSION);
1545
1546         return 0;
1547
1548 out_err_reg_ndev:
1549         free_irq(IRQ_MAC_RX, ndev);
1550 out_err_request_irq:
1551 out_err_mii_probe:
1552         mdiobus_unregister(lp->mii_bus);
1553         mdiobus_free(lp->mii_bus);
1554 out_err_mii_bus_probe:
1555         peripheral_free_list(pin_req);
1556 out_err_probe_mac:
1557         platform_set_drvdata(pdev, NULL);
1558         free_netdev(ndev);
1559
1560         return rc;
1561 }
1562
1563 static int __devexit bfin_mac_remove(struct platform_device *pdev)
1564 {
1565         struct net_device *ndev = platform_get_drvdata(pdev);
1566         struct bfin_mac_local *lp = netdev_priv(ndev);
1567
1568         platform_set_drvdata(pdev, NULL);
1569
1570         lp->mii_bus->priv = NULL;
1571
1572         unregister_netdev(ndev);
1573
1574         free_irq(IRQ_MAC_RX, ndev);
1575
1576         free_netdev(ndev);
1577
1578         peripheral_free_list(pin_req);
1579
1580         return 0;
1581 }
1582
1583 #ifdef CONFIG_PM
1584 static int bfin_mac_suspend(struct platform_device *pdev, pm_message_t mesg)
1585 {
1586         struct net_device *net_dev = platform_get_drvdata(pdev);
1587         struct bfin_mac_local *lp = netdev_priv(net_dev);
1588
1589         if (lp->wol) {
1590                 bfin_write_EMAC_OPMODE((bfin_read_EMAC_OPMODE() & ~TE) | RE);
1591                 bfin_write_EMAC_WKUP_CTL(MPKE);
1592                 enable_irq_wake(IRQ_MAC_WAKEDET);
1593         } else {
1594                 if (netif_running(net_dev))
1595                         bfin_mac_close(net_dev);
1596         }
1597
1598         return 0;
1599 }
1600
1601 static int bfin_mac_resume(struct platform_device *pdev)
1602 {
1603         struct net_device *net_dev = platform_get_drvdata(pdev);
1604         struct bfin_mac_local *lp = netdev_priv(net_dev);
1605
1606         if (lp->wol) {
1607                 bfin_write_EMAC_OPMODE(bfin_read_EMAC_OPMODE() | TE);
1608                 bfin_write_EMAC_WKUP_CTL(0);
1609                 disable_irq_wake(IRQ_MAC_WAKEDET);
1610         } else {
1611                 if (netif_running(net_dev))
1612                         bfin_mac_open(net_dev);
1613         }
1614
1615         return 0;
1616 }
1617 #else
1618 #define bfin_mac_suspend NULL
1619 #define bfin_mac_resume NULL
1620 #endif  /* CONFIG_PM */
1621
1622 static int __devinit bfin_mii_bus_probe(struct platform_device *pdev)
1623 {
1624         struct mii_bus *miibus;
1625         int rc, i;
1626
1627         /*
1628          * We are setting up a network card,
1629          * so set the GPIO pins to Ethernet mode
1630          */
1631         rc = peripheral_request_list(pin_req, DRV_NAME);
1632         if (rc) {
1633                 dev_err(&pdev->dev, "Requesting peripherals failed!\n");
1634                 return rc;
1635         }
1636
1637         rc = -ENOMEM;
1638         miibus = mdiobus_alloc();
1639         if (miibus == NULL)
1640                 goto out_err_alloc;
1641         miibus->read = bfin_mdiobus_read;
1642         miibus->write = bfin_mdiobus_write;
1643         miibus->reset = bfin_mdiobus_reset;
1644
1645         miibus->parent = &pdev->dev;
1646         miibus->name = "bfin_mii_bus";
1647         snprintf(miibus->id, MII_BUS_ID_SIZE, "0");
1648         miibus->irq = kmalloc(sizeof(int)*PHY_MAX_ADDR, GFP_KERNEL);
1649         if (miibus->irq == NULL)
1650                 goto out_err_alloc;
1651         for (i = 0; i < PHY_MAX_ADDR; ++i)
1652                 miibus->irq[i] = PHY_POLL;
1653
1654         rc = mdiobus_register(miibus);
1655         if (rc) {
1656                 dev_err(&pdev->dev, "Cannot register MDIO bus!\n");
1657                 goto out_err_mdiobus_register;
1658         }
1659
1660         platform_set_drvdata(pdev, miibus);
1661         return 0;
1662
1663 out_err_mdiobus_register:
1664         kfree(miibus->irq);
1665         mdiobus_free(miibus);
1666 out_err_alloc:
1667         peripheral_free_list(pin_req);
1668
1669         return rc;
1670 }
1671
1672 static int __devexit bfin_mii_bus_remove(struct platform_device *pdev)
1673 {
1674         struct mii_bus *miibus = platform_get_drvdata(pdev);
1675         platform_set_drvdata(pdev, NULL);
1676         mdiobus_unregister(miibus);
1677         kfree(miibus->irq);
1678         mdiobus_free(miibus);
1679         peripheral_free_list(pin_req);
1680         return 0;
1681 }
1682
1683 static struct platform_driver bfin_mii_bus_driver = {
1684         .probe = bfin_mii_bus_probe,
1685         .remove = __devexit_p(bfin_mii_bus_remove),
1686         .driver = {
1687                 .name = "bfin_mii_bus",
1688                 .owner  = THIS_MODULE,
1689         },
1690 };
1691
1692 static struct platform_driver bfin_mac_driver = {
1693         .probe = bfin_mac_probe,
1694         .remove = __devexit_p(bfin_mac_remove),
1695         .resume = bfin_mac_resume,
1696         .suspend = bfin_mac_suspend,
1697         .driver = {
1698                 .name = DRV_NAME,
1699                 .owner  = THIS_MODULE,
1700         },
1701 };
1702
1703 static int __init bfin_mac_init(void)
1704 {
1705         int ret;
1706         ret = platform_driver_register(&bfin_mii_bus_driver);
1707         if (!ret)
1708                 return platform_driver_register(&bfin_mac_driver);
1709         return -ENODEV;
1710 }
1711
1712 module_init(bfin_mac_init);
1713
1714 static void __exit bfin_mac_cleanup(void)
1715 {
1716         platform_driver_unregister(&bfin_mac_driver);
1717         platform_driver_unregister(&bfin_mii_bus_driver);
1718 }
1719
1720 module_exit(bfin_mac_cleanup);
1721