ViewVC Help
View File | Revision Log | Show Annotations | Download File | Root Listing
root/radiance/ray/src/hd/holofile.c
(Generate patch)

Comparing ray/src/hd/holofile.c (file contents):
Revision 3.16 by gregl, Wed Dec 31 11:35:39 1997 UTC vs.
Revision 3.25 by gwlarson, Fri Sep 18 13:51:01 1998 UTC

# Line 1 | Line 1
1 < /* Copyright (c) 1997 Silicon Graphics, Inc. */
1 > /* Copyright (c) 1998 Silicon Graphics, Inc. */
2  
3   #ifndef lint
4   static char SCCSid[] = "$SunId$ SGI";
# Line 16 | Line 16 | static char SCCSid[] = "$SunId$ SGI";
16   #define CACHESIZE       16      /* default cache size (Mbytes, 0==inf) */
17   #endif
18   #ifndef FREEBEAMS
19 < #define FREEBEAMS       512     /* maximum beams to free at a time */
19 > #define FREEBEAMS       1500    /* maximum beams to free at a time */
20   #endif
21   #ifndef PCTFREE
22 < #define PCTFREE         20      /* maximum fraction to free (%) */
22 > #define PCTFREE         15      /* maximum fraction to free (%) */
23   #endif
24   #ifndef MAXFRAG
25   #define MAXFRAG         32767   /* maximum fragments/file to track (0==inf) */
# Line 105 | Line 105 | hdinit(fd, hproto)     /* initialize a holodeck section in
105   int     fd;                     /* corresponding file descriptor */
106   HDGRID  *hproto;                /* holodeck section grid */
107   {
108 +        long    rtrunc;
109          long    fpos;
110          register HOLO   *hp;
111          register int    n;
# Line 126 | Line 127 | HDGRID *hproto;                /* holodeck section grid */
127                          error(SYSTEM, "failure loading holodeck directory");
128                                                  /* check that it's clean */
129                  if (hp->bi[nbeams(hp)].fo < 0)
130 <                        error(USER, "dirty holodeck section");
130 >                        error(WARNING, "dirty holodeck section");
131          } else {                        /* assume we're creating it */
132                  if ((hp = hdalloc(hproto)) == NULL)
133                          goto memerr;
# Line 144 | Line 145 | HDGRID *hproto;                /* holodeck section grid */
145          hdattach(fd);
146                                          /* check rays on disk */
147          fpos = hdfilen(fd);
148 <        biglob(hp)->nrd = 0;
148 >        biglob(hp)->nrd = rtrunc = 0;
149          for (n = hproto == NULL ? nbeams(hp) : 0; n > 0; n--)
150                  if (hp->bi[n].nrd)
151 <                        if (hp->bi[n].fo + hp->bi[n].nrd > fpos)
152 <                                hp->bi[n].nrd = 0;      /* off end */
153 <                        else
151 >                        if (hp->bi[n].fo + hp->bi[n].nrd > fpos) {
152 >                                rtrunc += hp->bi[n].nrd;
153 >                                hp->bi[n].nrd = 0;
154 >                        } else
155                                  biglob(hp)->nrd += hp->bi[n].nrd;
156 +        if (rtrunc) {
157 +                sprintf(errmsg, "truncated section, %ld rays lost (%.1f%%)",
158 +                                rtrunc, 100.*rtrunc/(rtrunc+biglob(hp)->nrd));
159 +                error(WARNING, errmsg);
160 +        }
161                                          /* add to holodeck list */
162          for (n = 0; n < HDMAX; n++)
163                  if (hdlist[n] == NULL) {
# Line 309 | Line 316 | int    nr;                     /* number of new rays desired */
316          p = hdbray(hp->bl[i]) + hp->bl[i]->nrm;
317          hp->bl[i]->nrm += nr;                   /* update in-core structure */
318          bzero((char *)p, nr*sizeof(RAYVAL));
319 <        hp->bl[i]->tick = hdclock;              /* update LRU clock */
313 <        blglob(hp)->tick = hdclock++;
319 >        blglob(hp)->tick = hp->bl[i]->tick = hdclock++; /* update LRU clock */
320          return(p);                              /* point to new rays */
321   memerr:
322          error(SYSTEM, "out of memory in hdnewrays");
# Line 341 | Line 347 | register int   i;
347                  if (read(hp->fd, (char *)hdbray(hp->bl[i]), n) != n)
348                          error(SYSTEM, "error reading beam from holodeck file");
349          }
350 <        hp->bl[i]->tick = hdclock;      /* update LRU clock */
345 <        blglob(hp)->tick = hdclock++;
350 >        blglob(hp)->tick = hp->bl[i]->tick = hdclock++; /* update LRU clock */
351          return(hp->bl[i]);
352   }
353  
354  
355   int
356 < hdfilord(hb1, hb2)      /* order beams for optimal loading */
356 > hdfilord(hb1, hb2)      /* order beams for quick loading */
357   register HDBEAMI        *hb1, *hb2;
358   {
359 <        register int    c;
360 <                                /* sort by file descriptor first */
359 >        register long   c;
360 >                                /* residents go first */
361 >        if (hb2->h->bl[hb2->b] != NULL)
362 >                return(hb1->h->bl[hb1->b] == NULL);
363 >        if (hb1->h->bl[hb1->b] != NULL)
364 >                return(-1);
365 >                                /* otherwise sort by file descriptor */
366          if ((c = hb1->h->fd - hb2->h->fd))
367                  return(c);
368                                  /* then by position in file */
369 <        return(hb1->h->bi[hb1->b].fo - hb2->h->bi[hb2->b].fo);
369 >        c = hb1->h->bi[hb1->b].fo - hb2->h->bi[hb2->b].fo;
370 >        return(c > 0 ? 1 : c < 0 ? -1 : 0);
371   }
372  
373  
# Line 366 | Line 377 | int    n;                      /* list length */
377   int     (*bf)();                /* callback function (optional) */
378   {
379          unsigned        origcachesize, memuse;
369 –        register BEAM   *bp;
380          int     bytesloaded, needbytes, bytes2free;
381 +        register BEAM   *bp;
382          register int    i;
383                                          /* precheck consistency */
384 +        if (n <= 0) return;
385          for (i = n; i--; )
386                  if (hb[i].h == NULL || hb[i].b < 1 | hb[i].b > nbeams(hb[i].h))
387                          error(CONSISTENCY, "bad beam in hdloadbeams");
388                                          /* sort list for optimal access */
389          qsort((char *)hb, n, sizeof(HDBEAMI), hdfilord);
390 <        bytesloaded = needbytes = 0;    /* figure out memory needs */
390 >        bytesloaded = 0;                /* run through loaded beams */
391 >        for ( ; n && (bp = hb->h->bl[hb->b]) != NULL; n--, hb++) {
392 >                bp->tick = hdclock;     /* preempt swap */
393 >                bytesloaded += bp->nrm;
394 >                if (bf != NULL)
395 >                        (*bf)(bp, hb);
396 >        }
397 >        bytesloaded *= sizeof(RAYVAL);
398          if ((origcachesize = hdcachesize) > 0) {
399 +                needbytes = 0;          /* figure out memory needs */
400                  for (i = n; i--; )
401 <                        if ((bp = hb[i].h->bl[hb[i].b]) != NULL) {
382 <                                bp->tick = hdclock;     /* preempt swap */
383 <                                bytesloaded += bp->nrm;
384 <                        } else                          /* prepare to load */
385 <                                needbytes += hb[i].h->bi[hb[i].b].nrd;
386 <                bytesloaded *= sizeof(RAYVAL);
401 >                        needbytes += hb[i].h->bi[hb[i].b].nrd;
402                  needbytes *= sizeof(RAYVAL);
403                  do {                            /* free enough memory */
404                          memuse = hdmemuse(0);
405 <                        bytes2free = needbytes - (signed)(hdcachesize-memuse);
406 <                        if (bytes2free > (signed)(memuse - bytesloaded))
405 >                        bytes2free = needbytes - (int)(hdcachesize-memuse);
406 >                        if (bytes2free > (int)(memuse - bytesloaded))
407                                  bytes2free = memuse - bytesloaded;
408                  } while (bytes2free > 0 &&
409                                  hdfreecache(100*bytes2free/memuse, NULL) < 0);
410 +                hdcachesize = 0;                /* load beams w/o swap */
411          }
396 –        hdcachesize = 0;                /* load the ordered beams w/o swap */
412          for (i = 0; i < n; i++)
413                  if ((bp = hdgetbeam(hb[i].h, hb[i].b)) != NULL && bf != NULL)
414 <                        (*bf)(bp, hb[i].h, hb[i].b);
414 >                        (*bf)(bp, hb+i);
415          hdcachesize = origcachesize;    /* resume dynamic swapping */
416   }
417  
418  
419 + hdfreefrag(fd, bi)                      /* free a file fragment */
420 + int     fd;
421 + register BEAMI  *bi;
422 + {
423 +        register struct fraglist        *f;
424 +        register int    j, k;
425 +
426 +        if (bi->nrd == 0)
427 +                return;
428 + #ifdef DEBUG
429 +        if (fd < 0 | fd >= nhdfragls || !hdfragl[fd].nlinks)
430 +                error(CONSISTENCY, "bad file descriptor in hdfreefrag");
431 + #endif
432 +        f = &hdfragl[fd];
433 +        if (f->nfrags % FRAGBLK == 0) { /* delete empty remnants */
434 +                for (j = k = 0; k < f->nfrags; j++, k++) {
435 +                        while (f->fi[k].nrd == 0)
436 +                                if (++k >= f->nfrags)
437 +                                        goto endloop;
438 +                        if (k > j)
439 +                                copystruct(f->fi+j, f->fi+k);
440 +                }
441 +        endloop:
442 +                f->nfrags = j;
443 +        }
444 +        j = f->nfrags++;                /* allocate a slot in free list */
445 + #if MAXFRAG
446 +        if (j >= MAXFRAG-1)
447 +                f->nfrags--;
448 + #endif
449 +        if (j % FRAGBLK == 0) {         /* more free list space */
450 +                if (f->fi == NULL)
451 +                        f->fi = (BEAMI *)malloc(FRAGBLK*sizeof(BEAMI));
452 +                else
453 +                        f->fi = (BEAMI *)realloc((char *)f->fi,
454 +                                        (j+FRAGBLK)*sizeof(BEAMI));
455 +                if (f->fi == NULL)
456 +                        error(SYSTEM, "out of memory in hdfreefrag");
457 +        }
458 +        for ( ; ; j--) {                /* insert in descending list */
459 +                if (!j || bi->fo < f->fi[j-1].fo) {
460 +                        f->fi[j].fo = bi->fo;
461 +                        f->fi[j].nrd = bi->nrd;
462 +                        break;
463 +                }
464 +                copystruct(f->fi+j, f->fi+(j-1));
465 +        }
466 +                                        /* coalesce adjacent fragments */
467 +                                                /* successors never empty */
468 +        if (j && f->fi[j-1].fo == f->fi[j].fo + f->fi[j].nrd*sizeof(RAYVAL)) {
469 +                f->fi[j].nrd += f->fi[j-1].nrd;
470 +                f->fi[j-1].nrd = 0;
471 +        }
472 +        for (k = j+1; k < f->nfrags; k++)       /* get non-empty predecessor */
473 +                if (f->fi[k].nrd) {
474 +                        if (f->fi[j].fo == f->fi[k].fo +
475 +                                        f->fi[k].nrd*sizeof(RAYVAL)) {
476 +                                f->fi[k].nrd += f->fi[j].nrd;
477 +                                f->fi[j].nrd = 0;
478 +                        }
479 +                        break;
480 +                }
481 + }
482 +
483 +
484 + long
485 + hdallocfrag(fd, nrays)          /* allocate a file fragment */
486 + int     fd;
487 + unsigned int4   nrays;
488 + {
489 +        register struct fraglist        *f;
490 +        register int    j, k;
491 +        long    nfo;
492 +
493 +        if (nrays == 0)
494 +                return(-1L);
495 + #ifdef DEBUG
496 +        if (fd < 0 | fd >= nhdfragls || !hdfragl[fd].nlinks)
497 +                error(CONSISTENCY, "bad file descriptor in hdallocfrag");
498 + #endif
499 +        f = &hdfragl[fd];
500 +        k = -1;                         /* find closest-sized fragment */
501 +        for (j = f->nfrags; j-- > 0; )
502 +                if (f->fi[j].nrd >= nrays &&
503 +                                (k < 0 || f->fi[j].nrd < f->fi[k].nrd))
504 +                        if (f->fi[k=j].nrd == nrays)
505 +                                break;
506 +        if (k < 0) {                    /* no fragment -- extend file */
507 +                nfo = f->flen;
508 +                f->flen += nrays*sizeof(RAYVAL);
509 +        } else {                        /* else use fragment */
510 +                nfo = f->fi[k].fo;
511 +                f->fi[k].fo += nrays*sizeof(RAYVAL);
512 +                f->fi[k].nrd -= nrays;
513 +        }
514 +        return(nfo);
515 + }
516 +
517 +
518   int
519   hdsyncbeam(hp, i)               /* sync beam in memory with beam on disk */
520   register HOLO   *hp;
521   register int    i;
522   {
523 <        unsigned int    nrays;
410 <        long    nfo;
523 >        unsigned int4   nrays;
524          unsigned int    n;
525 +        long    nfo;
526                                          /* check file status */
527          if (hdfragl[hp->fd].writerr)
528                  return(-1);
# Line 419 | Line 533 | register int   i;
533                                          /* is current fragment OK? */
534          if (hp->bl[i] == NULL || (nrays = hp->bl[i]->nrm) == hp->bi[i].nrd)
535                  return(0);
536 <                                        /* locate fragment */
537 <        if (hp->fd >= nhdfragls || !hdfragl[hp->fd].nlinks) /* untracked */
538 <                hp->bi[i].fo = lseek(hp->fd, 0L, 2);
539 <
426 <        else if (hp->bi[i].fo + hp->bi[i].nrd*sizeof(RAYVAL) ==
427 <                        hdfragl[hp->fd].flen)           /* EOF special case */
428 <                hdfragl[hp->fd].flen = (nfo=hp->bi[i].fo) + nrays*sizeof(RAYVAL);
429 <
430 <        else {                                          /* general case */
431 <                register struct fraglist        *f = &hdfragl[hp->fd];
432 <                register int    j, k;
433 <                n = f->nfrags;          /* relinquish old fragment */
434 <                if (hp->bi[i].nrd) {
435 <                        j = f->nfrags++;
436 < #if MAXFRAG
437 <                        if (j >= MAXFRAG-1)
438 <                                f->nfrags--;
439 < #endif
440 <                        if (j % FRAGBLK == 0) {         /* more frag. space */
441 <                                if (f->fi == NULL)
442 <                                        f->fi = (BEAMI *)malloc(
443 <                                                        FRAGBLK*sizeof(BEAMI));
444 <                                else
445 <                                        f->fi = (BEAMI *)realloc((char *)f->fi,
446 <                                                (j+FRAGBLK)*sizeof(BEAMI));
447 <                                if (f->fi == NULL)
448 <                                        error(SYSTEM,
449 <                                                "out of memory in hdsyncbeam");
450 <                        }
451 <                        for ( ; ; j--) {        /* insert in descending list */
452 <                                if (!j || hp->bi[i].fo < f->fi[j-1].fo) {
453 <                                        f->fi[j].fo = hp->bi[i].fo;
454 <                                        f->fi[j].nrd = hp->bi[i].nrd;
455 <                                        break;
456 <                                }
457 <                                copystruct(f->fi+j, f->fi+(j-1));
458 <                        }
459 <                                        /* coalesce adjacent fragments */
460 <                        if (j && f->fi[j-1].fo == f->fi[j].fo +
461 <                                        f->fi[j].nrd*sizeof(RAYVAL)) {
462 <                                f->fi[j].nrd += f->fi[j-1].nrd;
463 <                                f->fi[j-1].nrd = 0;
464 <                                n = j-1;
465 <                        }
466 <                        if (j+1 < f->nfrags && f->fi[j].fo == f->fi[j+1].fo +
467 <                                        f->fi[j+1].nrd*sizeof(RAYVAL)) {
468 <                                f->fi[j+1].nrd += f->fi[j].nrd;
469 <                                f->fi[j].nrd = 0;
470 <                                if (j < n) n = j;
471 <                        }
472 <                }
473 <                k = -1;                 /* find closest-sized fragment */
474 <                for (j = (nrays ? f->nfrags : 0); j-- > 0; )
475 <                        if (f->fi[j].nrd >= nrays &&
476 <                                        (k < 0 || f->fi[j].nrd < f->fi[k].nrd))
477 <                                if (f->fi[k=j].nrd == nrays)
478 <                                        break;
479 <                if (k < 0) {            /* no fragment -- extend file */
480 <                        nfo = f->flen;
481 <                        f->flen += nrays*sizeof(RAYVAL);
482 <                } else {                /* else use fragment */
483 <                        nfo = f->fi[k].fo;
484 <                        f->fi[k].fo += nrays*sizeof(RAYVAL);
485 <                        if (!(f->fi[k].nrd -= nrays) && k < n)
486 <                                n = k;
487 <                }
488 <                                        /* delete empty remnants */
489 <                for (j = k = n; k < f->nfrags; j++, k++) {
490 <                        while (f->fi[k].nrd == 0)
491 <                                if (++k >= f->nfrags)
492 <                                        goto endloop;
493 <                        if (k > j)
494 <                                copystruct(f->fi+j, f->fi+k);
495 <                }
496 <        endloop:
497 <                f->nfrags = j;
498 <        }
499 <        if (nrays) {            /* write the new fragment */
536 >        if (hp->bi[i].nrd)              /* relinquish old fragment */
537 >                hdfreefrag(hp->fd, &hp->bi[i]);
538 >        if (nrays) {                    /* get and write new fragment */
539 >                nfo = hdallocfrag(hp->fd, nrays);
540                  errno = 0;
541                  if (lseek(hp->fd, nfo, 0) < 0)
542                          error(SYSTEM, "cannot seek on holodeck file");
543                  n = hp->bl[i]->nrm * sizeof(RAYVAL);
544                  if (write(hp->fd, (char *)hdbray(hp->bl[i]), n) != n) {
545                          hdfragl[hp->fd].writerr++;
546 <                        hdsync(hp, 0);          /* sync directory */
546 >                        hdsync(NULL, 0);        /* sync directories */
547                          error(SYSTEM, "write error in hdsyncbeam");
548                  }
549 <        }
549 >                hp->bi[i].fo = nfo;
550 >        } else
551 >                hp->bi[i].fo = 0L;
552          biglob(hp)->nrd += nrays - hp->bi[i].nrd;
553          hp->bi[i].nrd = nrays;
554 <        hp->bi[i].fo = nfo;
513 <        markdirty(hp);          /* section directory now out of date */
554 >        markdirty(hp);                  /* section directory now out of date */
555          return(1);
556   }
557  
# Line 606 | Line 647 | register HOLO  *hp;                    /* section we're adding from */
647   {
648          register int    i, j;
649                                          /* insert each beam from hp */
650 <        for (i = nbeams(hp); i > 0; i--) {
650 >        for (i = 1; i <= nbeams(hp); i++) {
651                  if (hp->bl[i] == NULL)          /* check if loaded */
652                          continue;
653   #if 0
# Line 638 | Line 679 | register HOLO  *honly;                 /* NULL means check all */
679          int     freetarget;
680          int     n;
681          register int    i;
682 + #ifdef DEBUG
683 +        unsigned        membefore;
684 +
685 +        membefore = hdmemuse(0);
686 + #endif
687                                                  /* compute free target */
688          freetarget = (honly != NULL) ? blglob(honly)->nrm :
689                          hdmemuse(0)/sizeof(RAYVAL) ;
# Line 658 | Line 704 | register HOLO  *honly;                 /* NULL means check all */
704                          break;
705          }
706          hdsync(honly, 0);       /* synchronize directories as necessary */
707 + #ifdef DEBUG
708 +        sprintf(errmsg,
709 +        "%dK before, %dK after hdfreecache (%dK total), %d rays short\n",
710 +                membefore>>10, hdmemuse(0)>>10, hdmemuse(1)>>10, freetarget);
711 +        wputs(errmsg);
712 + #endif
713          return(-freetarget);    /* return how far past goal we went */
714   }
715  
# Line 670 | Line 722 | register HOLO  *hp;            /* NULL means clean up all */
722          if (hp == NULL) {               /* NULL means clean up everything */
723                  while (hdlist[0] != NULL)
724                          hddone(hdlist[0]);
725 +                free((char *)hdfragl);
726 +                hdfragl = NULL; nhdfragls = 0;
727                  return;
728          }
729                                          /* flush all data and free memory */

Diff Legend

– Removed lines
+ Added lines
< Changed lines
> Changed lines