ViewVC Help
View File | Revision Log | Show Annotations | Download File | Root Listing
root/radiance/ray/src/hd/holofile.c
(Generate patch)

Comparing ray/src/hd/holofile.c (file contents):
Revision 3.13 by gregl, Fri Dec 12 21:29:34 1997 UTC vs.
Revision 3.40 by gwlarson, Fri Mar 12 09:37:48 1999 UTC

# Line 1 | Line 1
1 < /* Copyright (c) 1997 Silicon Graphics, Inc. */
1 > /* Copyright (c) 1999 Silicon Graphics, Inc. */
2  
3   #ifndef lint
4   static char SCCSid[] = "$SunId$ SGI";
# Line 13 | Line 13 | static char SCCSid[] = "$SunId$ SGI";
13   #include "holo.h"
14  
15   #ifndef CACHESIZE
16 < #define CACHESIZE       16      /* default cache size (Mbytes, 0==inf) */
16 > #ifdef BIGMEM
17 > #define CACHESIZE       17      /* default cache size (Mbytes, 0==inf) */
18 > #else
19 > #define CACHESIZE       5
20   #endif
21 + #endif
22   #ifndef FREEBEAMS
23 < #define FREEBEAMS       512     /* maximum beams to free at a time */
23 > #define FREEBEAMS       1500    /* maximum beams to free at a time */
24   #endif
25   #ifndef PCTFREE
26 < #define PCTFREE         20      /* maximum fraction to free (%) */
26 > #define PCTFREE         15      /* maximum fraction to free (%) */
27   #endif
28 + #ifndef MAXFRAGB
29 + #define MAXFRAGB        16      /* fragment blocks/file to track (0==inf) */
30 + #endif
31 + #ifndef FF_DEFAULT
32 +                                /* when to free a beam fragment */
33 + #define FF_DEFAULT      (FF_WRITE|FF_KILL)
34 + #endif
35 + #ifndef MINDIRSEL
36 +                                /* minimum directory seek length */
37 + #define MINDIRSEL       (4*BUFSIZ/sizeof(BEAMI))
38 + #endif
39  
25 – /* define MAXFRAG if you want to limit fragment tracking memory */
26 –
40   #ifndef BSD
41   #define write   writebuf        /* safe i/o routines */
42   #define read    readbuf
43   #endif
44  
45 < #define FRAGBLK         64      /* number of fragments to allocate at a time */
45 > #define FRAGBLK         512     /* number of fragments to allocate at a time */
46  
47 < int     hdcachesize = CACHESIZE*1024*1024;      /* target cache size (bytes) */
48 < unsigned long   hdclock;        /* clock value */
47 > int     hdfragflags = FF_DEFAULT;       /* tells when to free fragments */
48 > unsigned        hdcachesize = CACHESIZE*1024*1024;      /* target cache size */
49 > unsigned long   hdclock;                /* clock value */
50  
51   HOLO    *hdlist[HDMAX+1];       /* holodeck pointers (NULL term.) */
52  
53 < static struct fragment {
53 > static struct fraglist {
54          short   nlinks;         /* number of holodeck sections using us */
55          short   writerr;        /* write error encountered */
56          int     nfrags;         /* number of known fragments */
57          BEAMI   *fi;            /* fragments, descending file position */
58          long    flen;           /* last known file length */
59 < } *hdfrag;              /* fragment lists, indexed by file descriptor */
59 > } *hdfragl;             /* fragment lists, indexed by file descriptor */
60  
61 < static int      nhdfrags;       /* size of hdfrag array */
61 > static int      nhdfragls;      /* size of hdfragl array */
62  
63  
64 + HOLO *
65 + hdalloc(hproto)         /* allocate and set holodeck section based on grid */
66 + HDGRID  *hproto;
67 + {
68 +        HOLO    hdhead;
69 +        register HOLO   *hp;
70 +        int     n;
71 +                                /* copy grid to temporary header */
72 +        bcopy((char *)hproto, (char *)&hdhead, sizeof(HDGRID));
73 +                                /* compute grid vectors and sizes */
74 +        hdcompgrid(&hdhead);
75 +                                /* allocate header with directory */
76 +        n = sizeof(HOLO)+nbeams(&hdhead)*sizeof(BEAMI);
77 +        if ((hp = (HOLO *)malloc(n)) == NULL)
78 +                return(NULL);
79 +                                /* copy header information */
80 +        copystruct(hp, &hdhead);
81 +                                /* allocate and clear beam list */
82 +        hp->bl = (BEAM **)malloc((nbeams(hp)+1)*sizeof(BEAM *)+sizeof(BEAM));
83 +        if (hp->bl == NULL) {
84 +                free((char *)hp);
85 +                return(NULL);
86 +        }
87 +        bzero((char *)hp->bl, (nbeams(hp)+1)*sizeof(BEAM *)+sizeof(BEAM));
88 +        hp->bl[0] = (BEAM *)(hp->bl+nbeams(hp)+1);      /* set blglob(hp) */
89 +        hp->fd = -1;
90 +        hp->dirty = 0;
91 +        hp->priv = NULL;
92 +                                /* clear beam directory */
93 +        bzero((char *)hp->bi, (nbeams(hp)+1)*sizeof(BEAMI));
94 +        return(hp);             /* all is well */
95 + }
96 +
97 +
98 + char *
99 + hdrealloc(ptr, siz, rout)       /* (re)allocate memory, retry then error */
100 + char    *ptr;
101 + unsigned        siz;
102 + char    *rout;
103 + {
104 +        register char   *newp;
105 +                                        /* call malloc/realloc */
106 +        if (ptr == NULL) newp = (char *)malloc(siz);
107 +        else newp = (char *)realloc(ptr, siz);
108 +                                        /* check success */
109 +        if (newp == NULL && rout != NULL) {
110 +                hdfreecache(25, NULL);  /* free some memory */
111 +                errno = 0;              /* retry */
112 +                newp = hdrealloc(ptr, siz, NULL);
113 +                if (newp == NULL) {     /* give up and report error */
114 +                        sprintf(errmsg, "out of memory in %s", rout);
115 +                        error(SYSTEM, errmsg);
116 +                }
117 +        }
118 +        return(newp);
119 + }
120 +
121 +
122   hdattach(fd)            /* start tracking file fragments for some section */
123   register int    fd;
124   {
125 <        if (fd >= nhdfrags) {
126 <                if (nhdfrags)
127 <                        hdfrag = (struct fragment *)realloc((char *)hdfrag,
128 <                                        (fd+1)*sizeof(struct fragment));
129 <                else
130 <                        hdfrag = (struct fragment *)malloc(
59 <                                        (fd+1)*sizeof(struct fragment));
60 <                if (hdfrag == NULL)
61 <                        error(SYSTEM, "out of memory in hdattach");
62 <                bzero((char *)(hdfrag+nhdfrags),
63 <                                (fd+1-nhdfrags)*sizeof(struct fragment));
64 <                nhdfrags = fd+1;
125 >        if (fd >= nhdfragls) {
126 >                hdfragl = (struct fraglist *)hdrealloc((char *)hdfragl,
127 >                                (fd+1)*sizeof(struct fraglist), "hdattach");
128 >                bzero((char *)(hdfragl+nhdfragls),
129 >                                (fd+1-nhdfragls)*sizeof(struct fraglist));
130 >                nhdfragls = fd+1;
131          }
132 <        hdfrag[fd].nlinks++;
133 <        hdfrag[fd].flen = lseek(fd, 0L, 2);     /* get file length */
132 >        hdfragl[fd].nlinks++;
133 >        hdfragl[fd].flen = lseek(fd, 0L, 2);    /* get file length */
134   }
135  
136  
# Line 74 | Line 140 | register int   fd;
140   hdrelease(fd)           /* stop tracking file fragments for some section */
141   register int    fd;
142   {
143 <        if (fd < 0 | fd >= nhdfrags || !hdfrag[fd].nlinks)
143 >        if (fd < 0 | fd >= nhdfragls || !hdfragl[fd].nlinks)
144                  return;
145 <        if (!--hdfrag[fd].nlinks && hdfrag[fd].nfrags) {
146 <                free((char *)hdfrag[fd].fi);
147 <                hdfrag[fd].fi = NULL;
148 <                hdfrag[fd].nfrags = 0;
145 >        if (!--hdfragl[fd].nlinks && hdfragl[fd].nfrags) {
146 >                free((char *)hdfragl[fd].fi);
147 >                hdfragl[fd].fi = NULL;
148 >                hdfragl[fd].nfrags = 0;
149          }
150   }
151  
152  
87 – markdirty(hp)                   /* mark holodeck section directory dirty */
88 – register HOLO   *hp;
89 – {
90 –        static BEAMI    smudge = {0, -1};
91 –
92 –        if (hp->dirty)          /* already marked? */
93 –                return;
94 –        hp->dirty = 1;
95 –        if (lseek(hp->fd, biglob(hp)->fo+(nbeams(hp)-1)*sizeof(BEAMI), 0) < 0
96 –                        || write(hp->fd, (char *)&smudge,
97 –                                        sizeof(BEAMI)) != sizeof(BEAMI))
98 –                error(SYSTEM, "seek/write error in markdirty");
99 – }
100 –
101 –
153   HOLO *
154   hdinit(fd, hproto)      /* initialize a holodeck section in a file */
155   int     fd;                     /* corresponding file descriptor */
156   HDGRID  *hproto;                /* holodeck section grid */
157   {
158 +        long    rtrunc;
159          long    fpos;
160          register HOLO   *hp;
161          register int    n;
# Line 124 | Line 176 | HDGRID *hproto;                /* holodeck section grid */
176                  if (read(fd, (char *)(hp->bi+1), n) != n)
177                          error(SYSTEM, "failure loading holodeck directory");
178                                                  /* check that it's clean */
179 <                if (hp->bi[nbeams(hp)].fo < 0)
180 <                        error(USER, "dirty holodeck section");
179 >                for (n = nbeams(hp); n > 0; n--)
180 >                        if (hp->bi[n].fo < 0) {
181 >                                hp->bi[n].fo = 0;
182 >                                error(WARNING, "dirty holodeck section");
183 >                                break;
184 >                        }
185          } else {                        /* assume we're creating it */
186                  if ((hp = hdalloc(hproto)) == NULL)
187                          goto memerr;
# Line 143 | Line 199 | HDGRID *hproto;                /* holodeck section grid */
199          hdattach(fd);
200                                          /* check rays on disk */
201          fpos = hdfilen(fd);
202 <        biglob(hp)->nrd = 0;
202 >        biglob(hp)->nrd = rtrunc = 0;
203          for (n = hproto == NULL ? nbeams(hp) : 0; n > 0; n--)
204                  if (hp->bi[n].nrd)
205 <                        if (hp->bi[n].fo + hp->bi[n].nrd > fpos)
206 <                                hp->bi[n].nrd = 0;      /* off end */
207 <                        else
205 >                        if (hp->bi[n].fo+hp->bi[n].nrd*sizeof(RAYVAL) > fpos) {
206 >                                rtrunc += hp->bi[n].nrd;
207 >                                hp->bi[n].nrd = 0;
208 >                        } else
209                                  biglob(hp)->nrd += hp->bi[n].nrd;
210 +        if (rtrunc) {
211 +                sprintf(errmsg, "truncated section, %ld rays lost (%.1f%%)",
212 +                                rtrunc, 100.*rtrunc/(rtrunc+biglob(hp)->nrd));
213 +                error(WARNING, errmsg);
214 +        }
215                                          /* add to holodeck list */
216          for (n = 0; n < HDMAX; n++)
217                  if (hdlist[n] == NULL) {
# Line 163 | Line 225 | memerr:
225   }
226  
227  
228 + hdmarkdirty(hp, i)              /* mark holodeck directory position dirty */
229 + register HOLO   *hp;
230 + int     i;
231 + {
232 +        static BEAMI    smudge = {0, -1};
233 +        int     mindist, minpos;
234 +        register int    j;
235 +
236 +        if (!hp->dirty++) {                     /* write smudge first time */
237 +                if (lseek(hp->fd, biglob(hp)->fo+(i-1)*sizeof(BEAMI), 0) < 0
238 +                                || write(hp->fd, (char *)&smudge,
239 +                                        sizeof(BEAMI)) != sizeof(BEAMI))
240 +                        error(SYSTEM, "seek/write error in hdmarkdirty");
241 +                hp->dirseg[0].s = i;
242 +                hp->dirseg[0].n = 1;
243 +                return;
244 +        }
245 +                                                /* insert into segment list */
246 +        for (j = hp->dirty; j--; ) {
247 +                if (!j || hp->dirseg[j-1].s < i) {
248 +                        hp->dirseg[j].s = i;
249 +                        hp->dirseg[j].n = 1;
250 +                        break;
251 +                }
252 +                copystruct(hp->dirseg+j, hp->dirseg+(j-1));
253 +        }
254 +        do {                            /* check neighbors */
255 +                mindist = nbeams(hp);           /* find closest */
256 +                for (j = hp->dirty; --j; )
257 +                        if (hp->dirseg[j].s -
258 +                                        (hp->dirseg[j-1].s + hp->dirseg[j-1].n)
259 +                                        < mindist) {
260 +                                minpos = j;
261 +                                mindist = hp->dirseg[j].s -
262 +                                        (hp->dirseg[j-1].s + hp->dirseg[j-1].n);
263 +                        }
264 +                                                /* good enough? */
265 +                if (hp->dirty <= MAXDIRSE && mindist > MINDIRSEL)
266 +                        break;
267 +                j = minpos - 1;                 /* coalesce neighbors */
268 +                if (hp->dirseg[j].s + hp->dirseg[j].n <
269 +                                hp->dirseg[minpos].s + hp->dirseg[minpos].n)
270 +                        hp->dirseg[j].n = hp->dirseg[minpos].s +
271 +                                        hp->dirseg[minpos].n - hp->dirseg[j].s;
272 +                hp->dirty--;
273 +                while (++j < hp->dirty)         /* close the gap */
274 +                        copystruct(hp->dirseg+j, hp->dirseg+(j+1));
275 +        } while (mindist <= MINDIRSEL);
276 + }
277 +
278 +
279   int
280   hdsync(hp, all)                 /* update beams and directory on disk */
281   register HOLO   *hp;
# Line 177 | Line 290 | int    all;
290                  return(n);
291          }
292                                          /* sync the beams */
293 <        for (j = all ? nbeams(hp) : 0; j > 0; j--)
293 >        for (j = (all ? nbeams(hp) : 0); j > 0; j--)
294                  if (hp->bl[j] != NULL)
295                          hdsyncbeam(hp, j);
296          if (!hp->dirty)                 /* directory clean? */
297                  return(0);
298 <        errno = 0;
299 <        if (lseek(hp->fd, biglob(hp)->fo, 0) < 0)
300 <                error(SYSTEM, "cannot seek on holodeck file");
301 <        n = nbeams(hp)*sizeof(BEAMI);
302 <        if (write(hp->fd, (char *)(hp->bi+1), n) != n)
303 <                error(SYSTEM, "cannot update holodeck section directory");
304 <        hp->dirty = 0;
298 >        errno = 0;                      /* write dirty segments */
299 >        for (j = 0; j < hp->dirty; j++) {
300 >                if (lseek(hp->fd, biglob(hp)->fo +
301 >                                (hp->dirseg[j].s-1)*sizeof(BEAMI), 0) < 0)
302 >                        error(SYSTEM, "cannot seek on holodeck file");
303 >                n = hp->dirseg[j].n * sizeof(BEAMI);
304 >                if (write(hp->fd, (char *)(hp->bi+hp->dirseg[j].s), n) != n)
305 >                        error(SYSTEM, "cannot update section directory");
306 >        }
307 >        hp->dirty = 0;                  /* all clean */
308          return(1);
309   }
310  
311  
312 < long
312 > unsigned
313   hdmemuse(all)           /* return memory usage (in bytes) */
314   int     all;                    /* include overhead (painful) */
315   {
# Line 212 | Line 328 | int    all;                    /* include overhead (painful) */
328                  }
329          }
330          if (all)
331 <                for (j = 0; j < nhdfrags; j++) {
332 <                        total += sizeof(struct fragment);
333 <                        if (hdfrag[j].nfrags)
331 >                for (j = 0; j < nhdfragls; j++) {
332 >                        total += sizeof(struct fraglist);
333 >                        if (hdfragl[j].nfrags)
334                                  total += FRAGBLK*sizeof(BEAMI) *
335 <                                        ((hdfrag[j].nfrags-1)/FRAGBLK + 1) ;
335 >                                        ((hdfragl[j].nfrags-1)/FRAGBLK + 1) ;
336                  }
337          return(total);
338   }
# Line 230 | Line 346 | int    fd;
346  
347          if (fd < 0)
348                  return(-1);
349 <        if (fd >= nhdfrags || !hdfrag[fd].nlinks) {
349 >        if (fd >= nhdfragls || !hdfragl[fd].nlinks) {
350                  if ((fpos = lseek(fd, 0L, 1)) < 0)
351                          return(-1);
352                  flen = lseek(fd, 0L, 2);
353                  lseek(fd, fpos, 0);
354                  return(flen);
355          }
356 <        return(hdfrag[fd].flen);
356 >        return(hdfragl[fd].flen);
357   }
358  
359  
# Line 276 | Line 392 | int    nr;                     /* number of new rays desired */
392          RAYVAL  *p;
393          int     n;
394  
395 <        if (nr <= 0)
396 <                return(NULL);
397 <        if (i < 1 | i > nbeams(hp))
282 <                error(CONSISTENCY, "bad beam index given to hdnewrays");
395 >        if (nr <= 0) return(NULL);
396 >        CHECK(i < 1 | i > nbeams(hp),
397 >                        CONSISTENCY, "bad beam index given to hdnewrays");
398          if (hp->bl[i] != NULL)
399                  hp->bl[i]->tick = hdclock;      /* preempt swap */
400          if (hdcachesize > 0 && hdmemuse(0) >= hdcachesize)
401                  hdfreecache(PCTFREE, NULL);     /* free some space */
287 –        errno = 0;
402          if (hp->bl[i] == NULL) {                /* allocate (and load) */
403                  n = hp->bi[i].nrd + nr;
404 <                if ((hp->bl[i] = (BEAM *)malloc(hdbsiz(n))) == NULL)
291 <                        goto memerr;
404 >                hp->bl[i] = (BEAM *)hdrealloc(NULL, hdbsiz(n), "hdnewrays");
405                  blglob(hp)->nrm += n;
406 <                if (n = hp->bl[i]->nrm = hp->bi[i].nrd) {
406 >                if ((n = hp->bl[i]->nrm = hp->bi[i].nrd)) {
407 >                        errno = 0;
408                          if (lseek(hp->fd, hp->bi[i].fo, 0) < 0)
409                                  error(SYSTEM, "seek error on holodeck file");
410                          n *= sizeof(RAYVAL);
# Line 299 | Line 413 | int    nr;                     /* number of new rays desired */
413                                  "error reading beam from holodeck file");
414                  }
415          } else {                                /* just grow in memory */
416 <                hp->bl[i] = (BEAM *)realloc( (char *)hp->bl[i],
417 <                                hdbsiz(hp->bl[i]->nrm + nr) );
304 <                if (hp->bl[i] == NULL)
305 <                        goto memerr;
416 >                hp->bl[i] = (BEAM *)hdrealloc((char *)hp->bl[i],
417 >                                hdbsiz(hp->bl[i]->nrm + nr), "hdnewrays");
418                  blglob(hp)->nrm += nr;
419          }
420 +        if (hdfragflags&FF_ALLOC && hp->bi[i].nrd)
421 +                hdfreefrag(hp, i);              /* relinquish old fragment */
422          p = hdbray(hp->bl[i]) + hp->bl[i]->nrm;
423          hp->bl[i]->nrm += nr;                   /* update in-core structure */
424          bzero((char *)p, nr*sizeof(RAYVAL));
425 <        hp->bl[i]->tick = ++hdclock;            /* update LRU clock */
312 <        blglob(hp)->tick = hdclock;
425 >        blglob(hp)->tick = hp->bl[i]->tick = hdclock++; /* update LRU clock */
426          return(p);                              /* point to new rays */
314 – memerr:
315 –        error(SYSTEM, "out of memory in hdnewrays");
427   }
428  
429  
# Line 323 | Line 434 | register int   i;
434   {
435          register int    n;
436  
437 <        if (i < 1 | i > nbeams(hp))
438 <                error(CONSISTENCY, "bad beam index given to hdgetbeam");
437 >        CHECK(i < 1 | i > nbeams(hp),
438 >                        CONSISTENCY, "bad beam index given to hdgetbeam");
439          if (hp->bl[i] == NULL) {                /* load from disk */
440                  if (!(n = hp->bi[i].nrd))
441                          return(NULL);
442                  if (hdcachesize > 0 && hdmemuse(0) >= hdcachesize)
443                          hdfreecache(PCTFREE, NULL);     /* get free space */
444 <                errno = 0;
334 <                if ((hp->bl[i] = (BEAM *)malloc(hdbsiz(n))) == NULL)
335 <                        error(SYSTEM, "cannot allocate memory for beam");
444 >                hp->bl[i] = (BEAM *)hdrealloc(NULL, hdbsiz(n), "hdgetbeam");
445                  blglob(hp)->nrm += hp->bl[i]->nrm = n;
446 +                errno = 0;
447                  if (lseek(hp->fd, hp->bi[i].fo, 0) < 0)
448                          error(SYSTEM, "seek error on holodeck file");
449                  n *= sizeof(RAYVAL);
450                  if (read(hp->fd, (char *)hdbray(hp->bl[i]), n) != n)
451                          error(SYSTEM, "error reading beam from holodeck file");
452 +                if (hdfragflags&FF_READ)
453 +                        hdfreefrag(hp, i);      /* relinquish old frag. */
454          }
455 <        hp->bl[i]->tick = ++hdclock;    /* update LRU clock */
344 <        blglob(hp)->tick = hdclock;
455 >        blglob(hp)->tick = hp->bl[i]->tick = hdclock++; /* update LRU clock */
456          return(hp->bl[i]);
457   }
458  
459  
460   int
461 + hdfilord(hb1, hb2)      /* order beams for quick loading */
462 + register HDBEAMI        *hb1, *hb2;
463 + {
464 +        register long   c;
465 +                                /* residents go first */
466 +        if (hb2->h->bl[hb2->b] != NULL)
467 +                return(hb1->h->bl[hb1->b] == NULL);
468 +        if (hb1->h->bl[hb1->b] != NULL)
469 +                return(-1);
470 +                                /* otherwise sort by file descriptor */
471 +        if ((c = hb1->h->fd - hb2->h->fd))
472 +                return(c);
473 +                                /* then by position in file */
474 +        c = hb1->h->bi[hb1->b].fo - hb2->h->bi[hb2->b].fo;
475 +        return(c > 0 ? 1 : c < 0 ? -1 : 0);
476 + }
477 +
478 +
479 + hdloadbeams(hb, n, bf)  /* load a list of beams in optimal order */
480 + register HDBEAMI        *hb;    /* list gets sorted by hdfilord() */
481 + int     n;                      /* list length */
482 + int     (*bf)();                /* callback function (optional) */
483 + {
484 +        unsigned        origcachesize, memuse;
485 +        int     bytesloaded, needbytes, bytes2free;
486 +        register BEAM   *bp;
487 +        register int    i;
488 +                                        /* precheck consistency */
489 +        if (n <= 0) return;
490 +        for (i = n; i--; )
491 +                if (hb[i].h==NULL || hb[i].b<1 | hb[i].b>nbeams(hb[i].h))
492 +                        error(CONSISTENCY, "bad beam in hdloadbeams");
493 +                                        /* sort list for optimal access */
494 +        qsort((char *)hb, n, sizeof(HDBEAMI), hdfilord);
495 +        bytesloaded = 0;                /* run through loaded beams */
496 +        for ( ; n && (bp = hb->h->bl[hb->b]) != NULL; n--, hb++) {
497 +                bp->tick = hdclock;     /* preempt swap */
498 +                bytesloaded += bp->nrm;
499 +                if (bf != NULL)
500 +                        (*bf)(bp, hb);
501 +        }
502 +        bytesloaded *= sizeof(RAYVAL);
503 +        if ((origcachesize = hdcachesize) > 0) {
504 +                needbytes = 0;          /* figure out memory needs */
505 +                for (i = n; i--; )
506 +                        needbytes += hb[i].h->bi[hb[i].b].nrd;
507 +                needbytes *= sizeof(RAYVAL);
508 +                do {                            /* free enough memory */
509 +                        memuse = hdmemuse(0);
510 +                        bytes2free = needbytes - (int)(hdcachesize-memuse);
511 +                        if (bytes2free > (int)(memuse - bytesloaded))
512 +                                bytes2free = memuse - bytesloaded;
513 +                } while (bytes2free > 0 &&
514 +                                hdfreecache(100*bytes2free/memuse, NULL) < 0);
515 +                hdcachesize = 0;                /* load beams w/o swap */
516 +        }
517 +        for (i = 0; i < n; i++)
518 +                if ((bp = hdgetbeam(hb[i].h, hb[i].b)) != NULL && bf != NULL)
519 +                        (*bf)(bp, hb+i);
520 +        hdcachesize = origcachesize;    /* resume dynamic swapping */
521 + }
522 +
523 +
524 + int
525 + hdfreefrag(hp, i)                       /* free a file fragment */
526 + HOLO    *hp;
527 + int     i;
528 + {
529 +        register BEAMI  *bi = &hp->bi[i];
530 +        register struct fraglist        *f;
531 +        register int    j, k;
532 +
533 +        if (bi->nrd <= 0)
534 +                return(0);
535 +        DCHECK(hp->fd < 0 | hp->fd >= nhdfragls || !hdfragl[hp->fd].nlinks,
536 +                        CONSISTENCY, "bad file descriptor in hdfreefrag");
537 +        f = &hdfragl[hp->fd];
538 +        if (f->nfrags % FRAGBLK == 0) { /* delete empty remnants */
539 +                for (j = k = 0; k < f->nfrags; j++, k++) {
540 +                        while (f->fi[k].nrd == 0)
541 +                                if (++k >= f->nfrags)
542 +                                        goto endloop;
543 +                        if (k > j)
544 +                                copystruct(f->fi+j, f->fi+k);
545 +                }
546 +        endloop:
547 +                f->nfrags = j;
548 +        }
549 +        j = f->nfrags++;                /* allocate a slot in free list */
550 + #if MAXFRAGB
551 +        if (j >= MAXFRAGB*FRAGBLK) {
552 +                f->nfrags = j--;        /* stop list growth */
553 +                if (bi->nrd <= f->fi[j].nrd)
554 +                        return(0);      /* new one no better than discard */
555 +        }
556 + #endif
557 +        if (j % FRAGBLK == 0) {         /* more (or less) free list space */
558 +                register BEAMI  *newp;
559 +                if (f->fi == NULL)
560 +                        newp = (BEAMI *)malloc((j+FRAGBLK)*sizeof(BEAMI));
561 +                else
562 +                        newp = (BEAMI *)realloc((char *)f->fi,
563 +                                        (j+FRAGBLK)*sizeof(BEAMI));
564 +                if (newp == NULL) {
565 +                        f->nfrags--;    /* graceful failure */
566 +                        return(0);
567 +                }
568 +                f->fi = newp;
569 +        }
570 +        for ( ; ; j--) {                /* insert in descending list */
571 +                if (!j || bi->fo < f->fi[j-1].fo) {
572 +                        f->fi[j].fo = bi->fo;
573 +                        f->fi[j].nrd = bi->nrd;
574 +                        break;
575 +                }
576 +                copystruct(f->fi+j, f->fi+(j-1));
577 +        }
578 +                                        /* coalesce adjacent fragments */
579 +                                                /* successors never empty */
580 +        if (j && f->fi[j-1].fo == f->fi[j].fo + f->fi[j].nrd*sizeof(RAYVAL)) {
581 +                f->fi[j].nrd += f->fi[j-1].nrd;
582 +                f->fi[j-1].nrd = 0;
583 +        }
584 +        for (k = j+1; k < f->nfrags; k++)       /* get non-empty predecessor */
585 +                if (f->fi[k].nrd) {
586 +                        if (f->fi[j].fo == f->fi[k].fo +
587 +                                        f->fi[k].nrd*sizeof(RAYVAL)) {
588 +                                f->fi[k].nrd += f->fi[j].nrd;
589 +                                f->fi[j].nrd = 0;
590 +                        }
591 +                        break;
592 +                }
593 +        biglob(hp)->nrd -= bi->nrd;             /* tell fragment it's free */
594 +        bi->nrd = 0;
595 +        bi->fo = 0L;
596 +        hdmarkdirty(hp, i);                     /* assume we'll reallocate */
597 +        return(1);
598 + }
599 +
600 +
601 + int
602 + hdfragOK(fd, listlen, listsiz)  /* get fragment list status for file */
603 + int     fd;
604 + int     *listlen;
605 + register int4   *listsiz;
606 + {
607 +        register struct fraglist        *f;
608 +        register int    i;
609 +
610 +        if (fd < 0 | fd >= nhdfragls || !(f = &hdfragl[fd])->nlinks)
611 +                return(0);              /* listless */
612 +        if (listlen != NULL)
613 +                *listlen = f->nfrags;
614 +        if (listsiz != NULL)
615 +                for (i = f->nfrags, *listsiz = 0; i--; )
616 +                        *listsiz += f->fi[i].nrd;
617 + #if MAXFRAGB
618 +        return(f->nfrags < MAXFRAGB*FRAGBLK);
619 + #else
620 +        return(1);                      /* list never fills up */
621 + #endif
622 + }
623 +
624 +
625 + long
626 + hdallocfrag(fd, nrays)          /* allocate a file fragment */
627 + int     fd;
628 + unsigned int4   nrays;
629 + {
630 +        register struct fraglist        *f;
631 +        register int    j;
632 +        long    nfo;
633 +
634 +        if (nrays == 0)
635 +                return(-1L);
636 +        DCHECK(fd < 0 | fd >= nhdfragls || !hdfragl[fd].nlinks,
637 +                        CONSISTENCY, "bad file descriptor in hdallocfrag");
638 +        f = &hdfragl[fd];
639 +        for (j = f->nfrags; j-- > 0; )  /* first fit algorithm */
640 +                if (f->fi[j].nrd >= nrays)
641 +                        break;
642 +        if (j < 0) {                    /* no fragment -- extend file */
643 +                nfo = f->flen;
644 +                f->flen += nrays*sizeof(RAYVAL);
645 +        } else {                        /* else use fragment */
646 +                nfo = f->fi[j].fo;
647 +                f->fi[j].fo += nrays*sizeof(RAYVAL);
648 +                f->fi[j].nrd -= nrays;
649 +        }
650 +        return(nfo);
651 + }
652 +
653 +
654 + int
655   hdsyncbeam(hp, i)               /* sync beam in memory with beam on disk */
656   register HOLO   *hp;
657   register int    i;
658   {
659 <        unsigned int    nrays;
660 <        long    nfo;
659 >        int     fragfreed;
660 >        unsigned int4   nrays;
661          unsigned int    n;
662 +        long    nfo;
663                                          /* check file status */
664 <        if (hdfrag[hp->fd].writerr)
664 >        if (hdfragl[hp->fd].writerr)
665                  return(-1);
666 < #ifdef DEBUG
667 <        if (i < 1 | i > nbeams(hp))
362 <                error(CONSISTENCY, "bad beam index in hdsyncbeam");
363 < #endif
666 >        DCHECK(i < 1 | i > nbeams(hp),
667 >                        CONSISTENCY, "bad beam index in hdsyncbeam");
668                                          /* is current fragment OK? */
669          if (hp->bl[i] == NULL || (nrays = hp->bl[i]->nrm) == hp->bi[i].nrd)
670                  return(0);
671 <                                        /* locate fragment */
672 <        if (hp->fd >= nhdfrags || !hdfrag[hp->fd].nlinks) /* untracked */
673 <                hp->bi[i].fo = lseek(hp->fd, 0L, 2);
674 <
371 <        else if (hp->bi[i].fo + hp->bi[i].nrd*sizeof(RAYVAL) ==
372 <                        hdfrag[hp->fd].flen)            /* EOF special case */
373 <                hdfrag[hp->fd].flen = (nfo=hp->bi[i].fo) + nrays*sizeof(RAYVAL);
374 <
375 <        else {                                          /* general case */
376 <                register struct fragment        *f = &hdfrag[hp->fd];
377 <                register int    j, k;
378 <                                        /* relinquish old fragment */
379 <                if (hp->bi[i].nrd) {
380 <                        j = f->nfrags++;
381 < #ifdef MAXFRAG
382 <                        if (j >= MAXFRAG-1)
383 <                                f->nfrags--;
384 < #endif
385 <                        if (j % FRAGBLK == 0) {         /* more frag. space */
386 <                                if (f->fi == NULL)
387 <                                        f->fi = (BEAMI *)malloc(
388 <                                                        FRAGBLK*sizeof(BEAMI));
389 <                                else
390 <                                        f->fi = (BEAMI *)realloc((char *)f->fi,
391 <                                                (j+FRAGBLK)*sizeof(BEAMI));
392 <                                if (f->fi == NULL)
393 <                                        error(SYSTEM,
394 <                                                "out of memory in hdsyncbeam");
395 <                        }
396 <                        for ( ; ; j--) {        /* insert in descending list */
397 <                                if (!j || hp->bi[i].fo < f->fi[j-1].fo) {
398 <                                        f->fi[j].fo = hp->bi[i].fo;
399 <                                        f->fi[j].nrd = hp->bi[i].nrd;
400 <                                        break;
401 <                                }
402 <                                copystruct(f->fi+j, f->fi+j-1);
403 <                        }
404 <                                        /* coalesce adjacent fragments */
405 <                        for (j = k = 0; k < f->nfrags; j++, k++) {
406 <                                if (k > j)
407 <                                        copystruct(f->fi+j, f->fi+k);
408 <                                while (k+1 < f->nfrags && f->fi[k+1].fo +
409 <                                                f->fi[k+1].nrd*sizeof(RAYVAL)
410 <                                                        == f->fi[j].fo) {
411 <                                        f->fi[j].fo -=
412 <                                                f->fi[++k].nrd*sizeof(RAYVAL);
413 <                                        f->fi[j].nrd += f->fi[k].nrd;
414 <                                }
415 <                        }
416 <                        f->nfrags = j;
417 <                }
418 <                k = -1;                 /* find closest-sized fragment */
419 <                for (j = nrays ? f->nfrags : 0; j-- > 0; )
420 <                        if (f->fi[j].nrd >= nrays &&
421 <                                        (k < 0 || f->fi[j].nrd < f->fi[k].nrd))
422 <                                if (f->fi[k=j].nrd == nrays)
423 <                                        break;
424 <                if (k < 0) {            /* no fragment -- extend file */
425 <                        nfo = f->flen;
426 <                        f->flen += nrays*sizeof(RAYVAL);
427 <                } else {                /* else use fragment */
428 <                        nfo = f->fi[k].fo;
429 <                        if (f->fi[k].nrd == nrays) {    /* delete fragment */
430 <                                f->nfrags--;
431 <                                for (j = k; j < f->nfrags; j++)
432 <                                        copystruct(f->fi+j, f->fi+j+1);
433 <                        } else {                        /* else shrink it */
434 <                                f->fi[k].fo += nrays*sizeof(RAYVAL);
435 <                                f->fi[k].nrd -= nrays;
436 <                        }
437 <                }
438 <        }
439 <        if (nrays) {            /* write the new fragment */
671 >                                        /* relinquish old fragment? */
672 >        fragfreed = hdfragflags&FF_WRITE && hp->bi[i].nrd && hdfreefrag(hp,i);
673 >        if (nrays) {                    /* get and write new fragment */
674 >                nfo = hdallocfrag(hp->fd, nrays);
675                  errno = 0;
676                  if (lseek(hp->fd, nfo, 0) < 0)
677                          error(SYSTEM, "cannot seek on holodeck file");
678                  n = hp->bl[i]->nrm * sizeof(RAYVAL);
679                  if (write(hp->fd, (char *)hdbray(hp->bl[i]), n) != n) {
680 <                        hdfrag[hp->fd].writerr++;
681 <                        hdsync(hp, 0);          /* sync directory */
680 >                        hdfragl[hp->fd].writerr++;
681 >                        hdsync(NULL, 0);        /* sync directories */
682                          error(SYSTEM, "write error in hdsyncbeam");
683                  }
684 <        }
684 >                hp->bi[i].fo = nfo;
685 >        } else
686 >                hp->bi[i].fo = 0L;
687          biglob(hp)->nrd += nrays - hp->bi[i].nrd;
688          hp->bi[i].nrd = nrays;
689 <        hp->bi[i].fo = nfo;
690 <        markdirty(hp);          /* section directory now out of date */
689 >        if (!fragfreed)
690 >                hdmarkdirty(hp, i);             /* need to flag dir. ent. */
691          return(1);
692   }
693  
# Line 468 | Line 705 | register int   i;
705                          nchanged += hdfreebeam(hdlist[i], 0);
706                  return(nchanged);
707          }
708 <        if (hdfrag[hp->fd].writerr)     /* check for file error */
708 >        if (hdfragl[hp->fd].writerr)    /* check for file error */
709                  return(0);
710          if (i == 0) {                   /* clear entire holodeck */
711 +                if (blglob(hp)->nrm == 0)
712 +                        return(0);              /* already clear */
713                  nchanged = 0;
714                  for (i = nbeams(hp); i > 0; i--)
715                          if (hp->bl[i] != NULL)
716                                  nchanged += hdfreebeam(hp, i);
717 +                DCHECK(blglob(hp)->nrm != 0,
718 +                                CONSISTENCY, "bad beam count in hdfreebeam");
719                  return(nchanged);
720          }
721 < #ifdef DEBUG
722 <        if (i < 1 | i > nbeams(hp))
482 <                error(CONSISTENCY, "bad beam index to hdfreebeam");
483 < #endif
721 >        DCHECK(i < 1 | i > nbeams(hp),
722 >                        CONSISTENCY, "bad beam index to hdfreebeam");
723          if (hp->bl[i] == NULL)
724                  return(0);
725                                          /* check for additions */
# Line 499 | Line 738 | hdkillbeam(hp, i)              /* delete beam from holodeck */
738   register HOLO   *hp;
739   register int    i;
740   {
502 –        static BEAM     emptybeam;
741          int     nchanged;
742  
743          if (hp == NULL) {               /* clobber all holodecks */
# Line 509 | Line 747 | register int   i;
747                  return(nchanged);
748          }
749          if (i == 0) {                   /* clobber entire holodeck */
750 +                if (biglob(hp)->nrd == 0 & blglob(hp)->nrm == 0)
751 +                        return(0);              /* already empty */
752                  nchanged = 0;
753 +                nchanged = 0;
754                  for (i = nbeams(hp); i > 0; i--)
755                          if (hp->bi[i].nrd > 0 || hp->bl[i] != NULL)
756                                  nchanged += hdkillbeam(hp, i);
757 < #ifdef DEBUG
758 <                if (biglob(hp)->nrd != 0 | blglob(hp)->nrm != 0)
518 <                        error(CONSISTENCY, "bad beam count in hdkillbeam");
519 < #endif
757 >                DCHECK(biglob(hp)->nrd != 0 | blglob(hp)->nrm != 0,
758 >                                CONSISTENCY, "bad beam count in hdkillbeam");
759                  return(nchanged);
760          }
761 < #ifdef DEBUG
762 <        if (i < 1 | i > nbeams(hp))
524 <                error(CONSISTENCY, "bad beam index to hdkillbeam");
525 < #endif
761 >        DCHECK(i < 1 | i > nbeams(hp),
762 >                        CONSISTENCY, "bad beam index to hdkillbeam");
763          if (hp->bl[i] != NULL) {        /* free memory */
764                  blglob(hp)->nrm -= nchanged = hp->bl[i]->nrm;
765                  free((char *)hp->bl[i]);
766 +                hp->bl[i] = NULL;
767          } else
768                  nchanged = hp->bi[i].nrd;
769 <        if (hp->bi[i].nrd) {            /* free file fragment */
770 <                hp->bl[i] = &emptybeam;
771 <                hdsyncbeam(hp, i);
769 >        if (hp->bi[i].nrd && !(hdfragflags&FF_KILL && hdfreefrag(hp,i))) {
770 >                biglob(hp)->nrd -= hp->bi[i].nrd;       /* free failed */
771 >                hp->bi[i].nrd = 0;
772 >                hp->bi[i].fo = 0L;
773 >                hdmarkdirty(hp, i);
774          }
535 –        hp->bl[i] = NULL;
775          return(nchanged);
776   }
777  
778  
779 < hdlrulist(ha, ba, n, hp)        /* add beams from holodeck to LRU list */
780 < register HOLO   *ha[];                  /* section list (NULL terminated) */
781 < register int    ba[];                   /* beam index to go with section */
782 < int     n;                              /* length of arrays minus 1 */
779 > int
780 > hdlrulist(hb, nents, n, hp)     /* add beams from holodeck to LRU list */
781 > register HDBEAMI        *hb;            /* beam list */
782 > int     nents;                          /* current list length */
783 > int     n;                              /* maximum list length */
784   register HOLO   *hp;                    /* section we're adding from */
785   {
786          register int    i, j;
547 –        int     nents;
548 –                                        /* find last entry in LRU list */
549 –        for (j = 0; ha[j] != NULL; j++)
550 –                ;
551 –        nents = j;
787                                          /* insert each beam from hp */
788 <        for (i = nbeams(hp); i > 0; i--) {
788 >        for (i = 1; i <= nbeams(hp); i++) {
789                  if (hp->bl[i] == NULL)          /* check if loaded */
790                          continue;
791 <                if ((j = ++nents) > n)          /* grow list if we can */
791 > #if 0
792 >                if (hp->bl[i]->tick == hdclock) /* preempt swap? */
793 >                        continue;
794 > #endif
795 >                if ((j = ++nents) >= n)         /* grow list if we can */
796                          nents--;
797                  for ( ; ; ) {                   /* bubble into place */
798                          if (!--j || hp->bl[i]->tick >=
799 <                                        ha[j-1]->bl[ba[j-1]]->tick) {
800 <                                ha[j] = hp;
801 <                                ba[j] = i;
799 >                                        hb[j-1].h->bl[hb[j-1].b]->tick) {
800 >                                hb[j].h = hp;
801 >                                hb[j].b = i;
802                                  break;
803                          }
804 <                        ha[j] = ha[j-1];
566 <                        ba[j] = ba[j-1];
804 >                        copystruct(hb+j, hb+(j-1));
805                  }
806          }
807 <        ha[nents] = NULL;               /* all done */
570 <        ba[nents] = 0;
807 >        return(nents);                  /* return new list length */
808   }
809  
810  
811 + int
812   hdfreecache(pct, honly)         /* free up cache space, writing changes */
813   int     pct;                            /* maximum percentage to free */
814   register HOLO   *honly;                 /* NULL means check all */
815   {
816 <        HOLO    *hp[FREEBEAMS+1];
579 <        int     bn[FREEBEAMS+1];
816 >        HDBEAMI hb[FREEBEAMS];
817          int     freetarget;
818 +        int     n;
819          register int    i;
820 + #ifdef DEBUG
821 +        unsigned        membefore;
822 +
823 +        membefore = hdmemuse(0);
824 + #endif
825                                                  /* compute free target */
826          freetarget = (honly != NULL) ? blglob(honly)->nrm :
827                          hdmemuse(0)/sizeof(RAYVAL) ;
828          freetarget = freetarget*pct/100;
829 +        if (freetarget <= 0)
830 +                return(0);
831                                                  /* find least recently used */
832 <        hp[0] = NULL;
588 <        bn[0] = 0;
832 >        n = 0;
833          if (honly != NULL)
834 <                hdlrulist(hp, bn, FREEBEAMS, honly);
834 >                n = hdlrulist(hb, n, FREEBEAMS, honly);
835          else
836                  for (i = 0; hdlist[i] != NULL; i++)
837 <                        hdlrulist(hp, bn, FREEBEAMS, hdlist[i]);
837 >                        n = hdlrulist(hb, n, FREEBEAMS, hdlist[i]);
838                                                  /* free LRU beams */
839 <        for (i = 0; hp[i] != NULL; i++) {
840 <                hdfreebeam(hp[i], bn[i]);
841 <                if ((freetarget -= hp[i]->bi[bn[i]].nrd) <= 0)
839 >        for (i = 0; i < n; i++) {
840 >                hdfreebeam(hb[i].h, hb[i].b);
841 >                if ((freetarget -= hb[i].h->bi[hb[i].b].nrd) <= 0)
842                          break;
843          }
844          hdsync(honly, 0);       /* synchronize directories as necessary */
845 + #ifdef DEBUG
846 +        sprintf(errmsg,
847 +        "%dK before, %dK after hdfreecache (%dK total), %d rays short\n",
848 +                membefore>>10, hdmemuse(0)>>10, hdmemuse(1)>>10, freetarget);
849 +        wputs(errmsg);
850 + #endif
851 +        return(-freetarget);    /* return how far past goal we went */
852   }
853  
854  
# Line 609 | Line 860 | register HOLO  *hp;            /* NULL means clean up all */
860          if (hp == NULL) {               /* NULL means clean up everything */
861                  while (hdlist[0] != NULL)
862                          hddone(hdlist[0]);
863 +                free((char *)hdfragl);
864 +                hdfragl = NULL; nhdfragls = 0;
865                  return;
866          }
867                                          /* flush all data and free memory */

Diff Legend

– Removed lines
+ Added lines
< Changed lines
> Changed lines