ViewVC Help
View File | Revision Log | Show Annotations | Download File | Root Listing
root/radiance/ray/src/hd/holofile.c
(Generate patch)

Comparing ray/src/hd/holofile.c (file contents):
Revision 3.14 by gregl, Thu Dec 18 15:12:23 1997 UTC vs.
Revision 3.39 by gwlarson, Tue Mar 9 08:40:11 1999 UTC

# Line 1 | Line 1
1 < /* Copyright (c) 1997 Silicon Graphics, Inc. */
1 > /* Copyright (c) 1999 Silicon Graphics, Inc. */
2  
3   #ifndef lint
4   static char SCCSid[] = "$SunId$ SGI";
# Line 13 | Line 13 | static char SCCSid[] = "$SunId$ SGI";
13   #include "holo.h"
14  
15   #ifndef CACHESIZE
16 < #define CACHESIZE       16      /* default cache size (Mbytes, 0==inf) */
16 > #ifdef BIGMEM
17 > #define CACHESIZE       17      /* default cache size (Mbytes, 0==inf) */
18 > #else
19 > #define CACHESIZE       5
20   #endif
21 + #endif
22   #ifndef FREEBEAMS
23 < #define FREEBEAMS       512     /* maximum beams to free at a time */
23 > #define FREEBEAMS       1500    /* maximum beams to free at a time */
24   #endif
25   #ifndef PCTFREE
26 < #define PCTFREE         20      /* maximum fraction to free (%) */
26 > #define PCTFREE         15      /* maximum fraction to free (%) */
27   #endif
28 + #ifndef MAXFRAGB
29 + #define MAXFRAGB        16      /* fragment blocks/file to track (0==inf) */
30 + #endif
31 + #ifndef FF_DEFAULT
32 +                                /* when to free a beam fragment */
33 + #define FF_DEFAULT      (FF_WRITE|FF_KILL)
34 + #endif
35 + #ifndef MINDIRSEL
36 +                                /* minimum directory seek length */
37 + #define MINDIRSEL       (4*BUFSIZ/sizeof(BEAMI))
38 + #endif
39  
25 – /* define MAXFRAG if you want to limit fragment tracking memory */
26 –
40   #ifndef BSD
41   #define write   writebuf        /* safe i/o routines */
42   #define read    readbuf
43   #endif
44  
45 < #define FRAGBLK         64      /* number of fragments to allocate at a time */
45 > #define FRAGBLK         512     /* number of fragments to allocate at a time */
46  
47 + int     hdfragflags = FF_DEFAULT;       /* tells when to free fragments */
48   unsigned        hdcachesize = CACHESIZE*1024*1024;      /* target cache size */
49 < unsigned long   hdclock;        /* clock value */
49 > unsigned long   hdclock;                /* clock value */
50  
51   HOLO    *hdlist[HDMAX+1];       /* holodeck pointers (NULL term.) */
52  
53 < static struct fragment {
53 > static struct fraglist {
54          short   nlinks;         /* number of holodeck sections using us */
55          short   writerr;        /* write error encountered */
56          int     nfrags;         /* number of known fragments */
57          BEAMI   *fi;            /* fragments, descending file position */
58          long    flen;           /* last known file length */
59 < } *hdfrag;              /* fragment lists, indexed by file descriptor */
59 > } *hdfragl;             /* fragment lists, indexed by file descriptor */
60  
61 < static int      nhdfrags;       /* size of hdfrag array */
61 > static int      nhdfragls;      /* size of hdfragl array */
62  
63  
64 + char *
65 + hdrealloc(ptr, siz, rout)       /* (re)allocate memory, retry then error */
66 + char    *ptr;
67 + unsigned        siz;
68 + char    *rout;
69 + {
70 +        register char   *newp;
71 +                                        /* call malloc/realloc */
72 +        if (ptr == NULL) newp = (char *)malloc(siz);
73 +        else newp = (char *)realloc(ptr, siz);
74 +                                        /* check success */
75 +        if (newp == NULL && rout != NULL) {
76 +                hdfreecache(25, NULL);  /* free some memory */
77 +                errno = 0;              /* retry */
78 +                newp = hdrealloc(ptr, siz, NULL);
79 +                if (newp == NULL) {     /* give up and report error */
80 +                        sprintf(errmsg, "out of memory in %s", rout);
81 +                        error(SYSTEM, errmsg);
82 +                }
83 +        }
84 +        return(newp);
85 + }
86 +
87 +
88   hdattach(fd)            /* start tracking file fragments for some section */
89   register int    fd;
90   {
91 <        if (fd >= nhdfrags) {
92 <                if (nhdfrags)
93 <                        hdfrag = (struct fragment *)realloc((char *)hdfrag,
94 <                                        (fd+1)*sizeof(struct fragment));
95 <                else
96 <                        hdfrag = (struct fragment *)malloc(
59 <                                        (fd+1)*sizeof(struct fragment));
60 <                if (hdfrag == NULL)
61 <                        error(SYSTEM, "out of memory in hdattach");
62 <                bzero((char *)(hdfrag+nhdfrags),
63 <                                (fd+1-nhdfrags)*sizeof(struct fragment));
64 <                nhdfrags = fd+1;
91 >        if (fd >= nhdfragls) {
92 >                hdfragl = (struct fraglist *)hdrealloc((char *)hdfragl,
93 >                                (fd+1)*sizeof(struct fraglist), "hdattach");
94 >                bzero((char *)(hdfragl+nhdfragls),
95 >                                (fd+1-nhdfragls)*sizeof(struct fraglist));
96 >                nhdfragls = fd+1;
97          }
98 <        hdfrag[fd].nlinks++;
99 <        hdfrag[fd].flen = lseek(fd, 0L, 2);     /* get file length */
98 >        hdfragl[fd].nlinks++;
99 >        hdfragl[fd].flen = lseek(fd, 0L, 2);    /* get file length */
100   }
101  
102  
# Line 74 | Line 106 | register int   fd;
106   hdrelease(fd)           /* stop tracking file fragments for some section */
107   register int    fd;
108   {
109 <        if (fd < 0 | fd >= nhdfrags || !hdfrag[fd].nlinks)
109 >        if (fd < 0 | fd >= nhdfragls || !hdfragl[fd].nlinks)
110                  return;
111 <        if (!--hdfrag[fd].nlinks && hdfrag[fd].nfrags) {
112 <                free((char *)hdfrag[fd].fi);
113 <                hdfrag[fd].fi = NULL;
114 <                hdfrag[fd].nfrags = 0;
111 >        if (!--hdfragl[fd].nlinks && hdfragl[fd].nfrags) {
112 >                free((char *)hdfragl[fd].fi);
113 >                hdfragl[fd].fi = NULL;
114 >                hdfragl[fd].nfrags = 0;
115          }
116   }
117  
118  
87 – markdirty(hp)                   /* mark holodeck section directory dirty */
88 – register HOLO   *hp;
89 – {
90 –        static BEAMI    smudge = {0, -1};
91 –
92 –        if (hp->dirty)          /* already marked? */
93 –                return;
94 –        hp->dirty = 1;
95 –        if (lseek(hp->fd, biglob(hp)->fo+(nbeams(hp)-1)*sizeof(BEAMI), 0) < 0
96 –                        || write(hp->fd, (char *)&smudge,
97 –                                        sizeof(BEAMI)) != sizeof(BEAMI))
98 –                error(SYSTEM, "seek/write error in markdirty");
99 – }
100 –
101 –
119   HOLO *
120   hdinit(fd, hproto)      /* initialize a holodeck section in a file */
121   int     fd;                     /* corresponding file descriptor */
122   HDGRID  *hproto;                /* holodeck section grid */
123   {
124 +        long    rtrunc;
125          long    fpos;
126          register HOLO   *hp;
127          register int    n;
# Line 124 | Line 142 | HDGRID *hproto;                /* holodeck section grid */
142                  if (read(fd, (char *)(hp->bi+1), n) != n)
143                          error(SYSTEM, "failure loading holodeck directory");
144                                                  /* check that it's clean */
145 <                if (hp->bi[nbeams(hp)].fo < 0)
146 <                        error(USER, "dirty holodeck section");
145 >                for (n = nbeams(hp); n > 0; n--)
146 >                        if (hp->bi[n].fo < 0) {
147 >                                hp->bi[n].fo = 0;
148 >                                error(WARNING, "dirty holodeck section");
149 >                                break;
150 >                        }
151          } else {                        /* assume we're creating it */
152                  if ((hp = hdalloc(hproto)) == NULL)
153                          goto memerr;
# Line 143 | Line 165 | HDGRID *hproto;                /* holodeck section grid */
165          hdattach(fd);
166                                          /* check rays on disk */
167          fpos = hdfilen(fd);
168 <        biglob(hp)->nrd = 0;
168 >        biglob(hp)->nrd = rtrunc = 0;
169          for (n = hproto == NULL ? nbeams(hp) : 0; n > 0; n--)
170                  if (hp->bi[n].nrd)
171 <                        if (hp->bi[n].fo + hp->bi[n].nrd > fpos)
172 <                                hp->bi[n].nrd = 0;      /* off end */
173 <                        else
171 >                        if (hp->bi[n].fo+hp->bi[n].nrd*sizeof(RAYVAL) > fpos) {
172 >                                rtrunc += hp->bi[n].nrd;
173 >                                hp->bi[n].nrd = 0;
174 >                        } else
175                                  biglob(hp)->nrd += hp->bi[n].nrd;
176 +        if (rtrunc) {
177 +                sprintf(errmsg, "truncated section, %ld rays lost (%.1f%%)",
178 +                                rtrunc, 100.*rtrunc/(rtrunc+biglob(hp)->nrd));
179 +                error(WARNING, errmsg);
180 +        }
181                                          /* add to holodeck list */
182          for (n = 0; n < HDMAX; n++)
183                  if (hdlist[n] == NULL) {
# Line 163 | Line 191 | memerr:
191   }
192  
193  
194 + hdmarkdirty(hp, i)              /* mark holodeck directory position dirty */
195 + register HOLO   *hp;
196 + int     i;
197 + {
198 +        static BEAMI    smudge = {0, -1};
199 +        int     mindist, minpos;
200 +        register int    j;
201 +
202 +        if (!hp->dirty++) {                     /* write smudge first time */
203 +                if (lseek(hp->fd, biglob(hp)->fo+(i-1)*sizeof(BEAMI), 0) < 0
204 +                                || write(hp->fd, (char *)&smudge,
205 +                                        sizeof(BEAMI)) != sizeof(BEAMI))
206 +                        error(SYSTEM, "seek/write error in hdmarkdirty");
207 +                hp->dirseg[0].s = i;
208 +                hp->dirseg[0].n = 1;
209 +                return;
210 +        }
211 +                                                /* insert into segment list */
212 +        for (j = hp->dirty; j--; ) {
213 +                if (!j || hp->dirseg[j-1].s < i) {
214 +                        hp->dirseg[j].s = i;
215 +                        hp->dirseg[j].n = 1;
216 +                        break;
217 +                }
218 +                copystruct(hp->dirseg+j, hp->dirseg+(j-1));
219 +        }
220 +        do {                            /* check neighbors */
221 +                mindist = nbeams(hp);           /* find closest */
222 +                for (j = hp->dirty; --j; )
223 +                        if (hp->dirseg[j].s -
224 +                                        (hp->dirseg[j-1].s + hp->dirseg[j-1].n)
225 +                                        < mindist) {
226 +                                minpos = j;
227 +                                mindist = hp->dirseg[j].s -
228 +                                        (hp->dirseg[j-1].s + hp->dirseg[j-1].n);
229 +                        }
230 +                                                /* good enough? */
231 +                if (hp->dirty <= MAXDIRSE && mindist > MINDIRSEL)
232 +                        break;
233 +                j = minpos - 1;                 /* coalesce neighbors */
234 +                if (hp->dirseg[j].s + hp->dirseg[j].n <
235 +                                hp->dirseg[minpos].s + hp->dirseg[minpos].n)
236 +                        hp->dirseg[j].n = hp->dirseg[minpos].s +
237 +                                        hp->dirseg[minpos].n - hp->dirseg[j].s;
238 +                hp->dirty--;
239 +                while (++j < hp->dirty)         /* close the gap */
240 +                        copystruct(hp->dirseg+j, hp->dirseg+(j+1));
241 +        } while (mindist <= MINDIRSEL);
242 + }
243 +
244 +
245   int
246   hdsync(hp, all)                 /* update beams and directory on disk */
247   register HOLO   *hp;
# Line 177 | Line 256 | int    all;
256                  return(n);
257          }
258                                          /* sync the beams */
259 <        for (j = all ? nbeams(hp) : 0; j > 0; j--)
259 >        for (j = (all ? nbeams(hp) : 0); j > 0; j--)
260                  if (hp->bl[j] != NULL)
261                          hdsyncbeam(hp, j);
262          if (!hp->dirty)                 /* directory clean? */
263                  return(0);
264 <        errno = 0;
265 <        if (lseek(hp->fd, biglob(hp)->fo, 0) < 0)
266 <                error(SYSTEM, "cannot seek on holodeck file");
267 <        n = nbeams(hp)*sizeof(BEAMI);
268 <        if (write(hp->fd, (char *)(hp->bi+1), n) != n)
269 <                error(SYSTEM, "cannot update holodeck section directory");
270 <        hp->dirty = 0;
264 >        errno = 0;                      /* write dirty segments */
265 >        for (j = 0; j < hp->dirty; j++) {
266 >                if (lseek(hp->fd, biglob(hp)->fo +
267 >                                (hp->dirseg[j].s-1)*sizeof(BEAMI), 0) < 0)
268 >                        error(SYSTEM, "cannot seek on holodeck file");
269 >                n = hp->dirseg[j].n * sizeof(BEAMI);
270 >                if (write(hp->fd, (char *)(hp->bi+hp->dirseg[j].s), n) != n)
271 >                        error(SYSTEM, "cannot update section directory");
272 >        }
273 >        hp->dirty = 0;                  /* all clean */
274          return(1);
275   }
276  
# Line 212 | Line 294 | int    all;                    /* include overhead (painful) */
294                  }
295          }
296          if (all)
297 <                for (j = 0; j < nhdfrags; j++) {
298 <                        total += sizeof(struct fragment);
299 <                        if (hdfrag[j].nfrags)
297 >                for (j = 0; j < nhdfragls; j++) {
298 >                        total += sizeof(struct fraglist);
299 >                        if (hdfragl[j].nfrags)
300                                  total += FRAGBLK*sizeof(BEAMI) *
301 <                                        ((hdfrag[j].nfrags-1)/FRAGBLK + 1) ;
301 >                                        ((hdfragl[j].nfrags-1)/FRAGBLK + 1) ;
302                  }
303          return(total);
304   }
# Line 230 | Line 312 | int    fd;
312  
313          if (fd < 0)
314                  return(-1);
315 <        if (fd >= nhdfrags || !hdfrag[fd].nlinks) {
315 >        if (fd >= nhdfragls || !hdfragl[fd].nlinks) {
316                  if ((fpos = lseek(fd, 0L, 1)) < 0)
317                          return(-1);
318                  flen = lseek(fd, 0L, 2);
319                  lseek(fd, fpos, 0);
320                  return(flen);
321          }
322 <        return(hdfrag[fd].flen);
322 >        return(hdfragl[fd].flen);
323   }
324  
325  
# Line 276 | Line 358 | int    nr;                     /* number of new rays desired */
358          RAYVAL  *p;
359          int     n;
360  
361 <        if (nr <= 0)
362 <                return(NULL);
363 <        if (i < 1 | i > nbeams(hp))
282 <                error(CONSISTENCY, "bad beam index given to hdnewrays");
361 >        if (nr <= 0) return(NULL);
362 >        CHECK(i < 1 | i > nbeams(hp),
363 >                        CONSISTENCY, "bad beam index given to hdnewrays");
364          if (hp->bl[i] != NULL)
365                  hp->bl[i]->tick = hdclock;      /* preempt swap */
366          if (hdcachesize > 0 && hdmemuse(0) >= hdcachesize)
367                  hdfreecache(PCTFREE, NULL);     /* free some space */
287 –        errno = 0;
368          if (hp->bl[i] == NULL) {                /* allocate (and load) */
369                  n = hp->bi[i].nrd + nr;
370 <                if ((hp->bl[i] = (BEAM *)malloc(hdbsiz(n))) == NULL)
291 <                        goto memerr;
370 >                hp->bl[i] = (BEAM *)hdrealloc(NULL, hdbsiz(n), "hdnewrays");
371                  blglob(hp)->nrm += n;
372 <                if (n = hp->bl[i]->nrm = hp->bi[i].nrd) {
372 >                if ((n = hp->bl[i]->nrm = hp->bi[i].nrd)) {
373 >                        errno = 0;
374                          if (lseek(hp->fd, hp->bi[i].fo, 0) < 0)
375                                  error(SYSTEM, "seek error on holodeck file");
376                          n *= sizeof(RAYVAL);
# Line 299 | Line 379 | int    nr;                     /* number of new rays desired */
379                                  "error reading beam from holodeck file");
380                  }
381          } else {                                /* just grow in memory */
382 <                hp->bl[i] = (BEAM *)realloc( (char *)hp->bl[i],
383 <                                hdbsiz(hp->bl[i]->nrm + nr) );
304 <                if (hp->bl[i] == NULL)
305 <                        goto memerr;
382 >                hp->bl[i] = (BEAM *)hdrealloc((char *)hp->bl[i],
383 >                                hdbsiz(hp->bl[i]->nrm + nr), "hdnewrays");
384                  blglob(hp)->nrm += nr;
385          }
386 +        if (hdfragflags&FF_ALLOC && hp->bi[i].nrd)
387 +                hdfreefrag(hp, i);              /* relinquish old fragment */
388          p = hdbray(hp->bl[i]) + hp->bl[i]->nrm;
389          hp->bl[i]->nrm += nr;                   /* update in-core structure */
390          bzero((char *)p, nr*sizeof(RAYVAL));
391 <        hp->bl[i]->tick = hdclock;              /* update LRU clock */
312 <        blglob(hp)->tick = hdclock++;
391 >        blglob(hp)->tick = hp->bl[i]->tick = hdclock++; /* update LRU clock */
392          return(p);                              /* point to new rays */
314 – memerr:
315 –        error(SYSTEM, "out of memory in hdnewrays");
393   }
394  
395  
# Line 323 | Line 400 | register int   i;
400   {
401          register int    n;
402  
403 <        if (i < 1 | i > nbeams(hp))
404 <                error(CONSISTENCY, "bad beam index given to hdgetbeam");
403 >        CHECK(i < 1 | i > nbeams(hp),
404 >                        CONSISTENCY, "bad beam index given to hdgetbeam");
405          if (hp->bl[i] == NULL) {                /* load from disk */
406                  if (!(n = hp->bi[i].nrd))
407                          return(NULL);
408                  if (hdcachesize > 0 && hdmemuse(0) >= hdcachesize)
409                          hdfreecache(PCTFREE, NULL);     /* get free space */
410 <                errno = 0;
334 <                if ((hp->bl[i] = (BEAM *)malloc(hdbsiz(n))) == NULL)
335 <                        error(SYSTEM, "cannot allocate memory for beam");
410 >                hp->bl[i] = (BEAM *)hdrealloc(NULL, hdbsiz(n), "hdgetbeam");
411                  blglob(hp)->nrm += hp->bl[i]->nrm = n;
412 +                errno = 0;
413                  if (lseek(hp->fd, hp->bi[i].fo, 0) < 0)
414                          error(SYSTEM, "seek error on holodeck file");
415                  n *= sizeof(RAYVAL);
416                  if (read(hp->fd, (char *)hdbray(hp->bl[i]), n) != n)
417                          error(SYSTEM, "error reading beam from holodeck file");
418 +                if (hdfragflags&FF_READ)
419 +                        hdfreefrag(hp, i);      /* relinquish old frag. */
420          }
421 <        hp->bl[i]->tick = hdclock;      /* update LRU clock */
344 <        blglob(hp)->tick = hdclock++;
421 >        blglob(hp)->tick = hp->bl[i]->tick = hdclock++; /* update LRU clock */
422          return(hp->bl[i]);
423   }
424  
425  
426   int
427 < hdfilord(hb1, hb2)      /* order beams for optimal loading */
427 > hdfilord(hb1, hb2)      /* order beams for quick loading */
428   register HDBEAMI        *hb1, *hb2;
429   {
430 <        register int    c;
431 <                                /* sort by file descriptor first */
430 >        register long   c;
431 >                                /* residents go first */
432 >        if (hb2->h->bl[hb2->b] != NULL)
433 >                return(hb1->h->bl[hb1->b] == NULL);
434 >        if (hb1->h->bl[hb1->b] != NULL)
435 >                return(-1);
436 >                                /* otherwise sort by file descriptor */
437          if ((c = hb1->h->fd - hb2->h->fd))
438                  return(c);
439                                  /* then by position in file */
440 <        return(hb1->h->bi[hb1->b].fo - hb2->h->bi[hb2->b].fo);
440 >        c = hb1->h->bi[hb1->b].fo - hb2->h->bi[hb2->b].fo;
441 >        return(c > 0 ? 1 : c < 0 ? -1 : 0);
442   }
443  
444  
# Line 365 | Line 448 | int    n;                      /* list length */
448   int     (*bf)();                /* callback function (optional) */
449   {
450          unsigned        origcachesize, memuse;
368 –        register BEAM   *bp;
451          int     bytesloaded, needbytes, bytes2free;
452 +        register BEAM   *bp;
453          register int    i;
454                                          /* precheck consistency */
455 +        if (n <= 0) return;
456          for (i = n; i--; )
457 <                if (hb[i].h == NULL || hb[i].b < 1 | hb[i].b > nbeams(hb[i].h))
457 >                if (hb[i].h==NULL || hb[i].b<1 | hb[i].b>nbeams(hb[i].h))
458                          error(CONSISTENCY, "bad beam in hdloadbeams");
459                                          /* sort list for optimal access */
460          qsort((char *)hb, n, sizeof(HDBEAMI), hdfilord);
461 <        if ((origcachesize = hdcachesize) == 0)
462 <                goto loadbeams;
463 <        bytesloaded = needbytes = 0;    /* figure out memory needs */
464 <        for (i = 0; i < n; i++)
465 <                if ((bp = hb[i].h->bl[hb[i].b]) != NULL) {
466 <                        bp->tick = hdclock;             /* preempt swap */
467 <                        bytesloaded += bp->nrm;
384 <                } else                                  /* prepare to load */
385 <                        needbytes += hb[i].h->bi[hb[i].b].nrd;
461 >        bytesloaded = 0;                /* run through loaded beams */
462 >        for ( ; n && (bp = hb->h->bl[hb->b]) != NULL; n--, hb++) {
463 >                bp->tick = hdclock;     /* preempt swap */
464 >                bytesloaded += bp->nrm;
465 >                if (bf != NULL)
466 >                        (*bf)(bp, hb);
467 >        }
468          bytesloaded *= sizeof(RAYVAL);
469 <        needbytes *= sizeof(RAYVAL);
470 <        do {                            /* free enough memory */
471 <                memuse = hdmemuse(0);
472 <                bytes2free = needbytes - (signed)(hdcachesize-memuse);
473 <                if (bytes2free > (signed)(memuse - bytesloaded))
474 <                        bytes2free = memuse - bytesloaded;
475 <        } while (bytes2free > 0 &&
476 <                        hdfreecache(100*bytes2free/memuse, NULL) < 0);
477 < loadbeams:
478 <        hdcachesize = 0;                /* load the ordered beams w/o swap */
469 >        if ((origcachesize = hdcachesize) > 0) {
470 >                needbytes = 0;          /* figure out memory needs */
471 >                for (i = n; i--; )
472 >                        needbytes += hb[i].h->bi[hb[i].b].nrd;
473 >                needbytes *= sizeof(RAYVAL);
474 >                do {                            /* free enough memory */
475 >                        memuse = hdmemuse(0);
476 >                        bytes2free = needbytes - (int)(hdcachesize-memuse);
477 >                        if (bytes2free > (int)(memuse - bytesloaded))
478 >                                bytes2free = memuse - bytesloaded;
479 >                } while (bytes2free > 0 &&
480 >                                hdfreecache(100*bytes2free/memuse, NULL) < 0);
481 >                hdcachesize = 0;                /* load beams w/o swap */
482 >        }
483          for (i = 0; i < n; i++)
484                  if ((bp = hdgetbeam(hb[i].h, hb[i].b)) != NULL && bf != NULL)
485 <                        (*bf)(bp, hb[i].h, hb[i].b);
485 >                        (*bf)(bp, hb+i);
486          hdcachesize = origcachesize;    /* resume dynamic swapping */
487   }
488  
489  
490   int
491 + hdfreefrag(hp, i)                       /* free a file fragment */
492 + HOLO    *hp;
493 + int     i;
494 + {
495 +        register BEAMI  *bi = &hp->bi[i];
496 +        register struct fraglist        *f;
497 +        register int    j, k;
498 +
499 +        if (bi->nrd <= 0)
500 +                return(0);
501 +        DCHECK(hp->fd < 0 | hp->fd >= nhdfragls || !hdfragl[hp->fd].nlinks,
502 +                        CONSISTENCY, "bad file descriptor in hdfreefrag");
503 +        f = &hdfragl[hp->fd];
504 +        if (f->nfrags % FRAGBLK == 0) { /* delete empty remnants */
505 +                for (j = k = 0; k < f->nfrags; j++, k++) {
506 +                        while (f->fi[k].nrd == 0)
507 +                                if (++k >= f->nfrags)
508 +                                        goto endloop;
509 +                        if (k > j)
510 +                                copystruct(f->fi+j, f->fi+k);
511 +                }
512 +        endloop:
513 +                f->nfrags = j;
514 +        }
515 +        j = f->nfrags++;                /* allocate a slot in free list */
516 + #if MAXFRAGB
517 +        if (j >= MAXFRAGB*FRAGBLK) {
518 +                f->nfrags = j--;        /* stop list growth */
519 +                if (bi->nrd <= f->fi[j].nrd)
520 +                        return(0);      /* new one no better than discard */
521 +        }
522 + #endif
523 +        if (j % FRAGBLK == 0) {         /* more (or less) free list space */
524 +                register BEAMI  *newp;
525 +                if (f->fi == NULL)
526 +                        newp = (BEAMI *)malloc((j+FRAGBLK)*sizeof(BEAMI));
527 +                else
528 +                        newp = (BEAMI *)realloc((char *)f->fi,
529 +                                        (j+FRAGBLK)*sizeof(BEAMI));
530 +                if (newp == NULL) {
531 +                        f->nfrags--;    /* graceful failure */
532 +                        return(0);
533 +                }
534 +                f->fi = newp;
535 +        }
536 +        for ( ; ; j--) {                /* insert in descending list */
537 +                if (!j || bi->fo < f->fi[j-1].fo) {
538 +                        f->fi[j].fo = bi->fo;
539 +                        f->fi[j].nrd = bi->nrd;
540 +                        break;
541 +                }
542 +                copystruct(f->fi+j, f->fi+(j-1));
543 +        }
544 +                                        /* coalesce adjacent fragments */
545 +                                                /* successors never empty */
546 +        if (j && f->fi[j-1].fo == f->fi[j].fo + f->fi[j].nrd*sizeof(RAYVAL)) {
547 +                f->fi[j].nrd += f->fi[j-1].nrd;
548 +                f->fi[j-1].nrd = 0;
549 +        }
550 +        for (k = j+1; k < f->nfrags; k++)       /* get non-empty predecessor */
551 +                if (f->fi[k].nrd) {
552 +                        if (f->fi[j].fo == f->fi[k].fo +
553 +                                        f->fi[k].nrd*sizeof(RAYVAL)) {
554 +                                f->fi[k].nrd += f->fi[j].nrd;
555 +                                f->fi[j].nrd = 0;
556 +                        }
557 +                        break;
558 +                }
559 +        biglob(hp)->nrd -= bi->nrd;             /* tell fragment it's free */
560 +        bi->nrd = 0;
561 +        bi->fo = 0L;
562 +        hdmarkdirty(hp, i);                     /* assume we'll reallocate */
563 +        return(1);
564 + }
565 +
566 +
567 + int
568 + hdfragOK(fd, listlen, listsiz)  /* get fragment list status for file */
569 + int     fd;
570 + int     *listlen;
571 + register int4   *listsiz;
572 + {
573 +        register struct fraglist        *f;
574 +        register int    i;
575 +
576 +        if (fd < 0 | fd >= nhdfragls || !(f = &hdfragl[fd])->nlinks)
577 +                return(0);              /* listless */
578 +        if (listlen != NULL)
579 +                *listlen = f->nfrags;
580 +        if (listsiz != NULL)
581 +                for (i = f->nfrags, *listsiz = 0; i--; )
582 +                        *listsiz += f->fi[i].nrd;
583 + #if MAXFRAGB
584 +        return(f->nfrags < MAXFRAGB*FRAGBLK);
585 + #else
586 +        return(1);                      /* list never fills up */
587 + #endif
588 + }
589 +
590 +
591 + long
592 + hdallocfrag(fd, nrays)          /* allocate a file fragment */
593 + int     fd;
594 + unsigned int4   nrays;
595 + {
596 +        register struct fraglist        *f;
597 +        register int    j;
598 +        long    nfo;
599 +
600 +        if (nrays == 0)
601 +                return(-1L);
602 +        DCHECK(fd < 0 | fd >= nhdfragls || !hdfragl[fd].nlinks,
603 +                        CONSISTENCY, "bad file descriptor in hdallocfrag");
604 +        f = &hdfragl[fd];
605 +        for (j = f->nfrags; j-- > 0; )  /* first fit algorithm */
606 +                if (f->fi[j].nrd >= nrays)
607 +                        break;
608 +        if (j < 0) {                    /* no fragment -- extend file */
609 +                nfo = f->flen;
610 +                f->flen += nrays*sizeof(RAYVAL);
611 +        } else {                        /* else use fragment */
612 +                nfo = f->fi[j].fo;
613 +                f->fi[j].fo += nrays*sizeof(RAYVAL);
614 +                f->fi[j].nrd -= nrays;
615 +        }
616 +        return(nfo);
617 + }
618 +
619 +
620 + int
621   hdsyncbeam(hp, i)               /* sync beam in memory with beam on disk */
622   register HOLO   *hp;
623   register int    i;
624   {
625 <        unsigned int    nrays;
626 <        long    nfo;
625 >        int     fragfreed;
626 >        unsigned int4   nrays;
627          unsigned int    n;
628 +        long    nfo;
629                                          /* check file status */
630 <        if (hdfrag[hp->fd].writerr)
630 >        if (hdfragl[hp->fd].writerr)
631                  return(-1);
632 < #ifdef DEBUG
633 <        if (i < 1 | i > nbeams(hp))
417 <                error(CONSISTENCY, "bad beam index in hdsyncbeam");
418 < #endif
632 >        DCHECK(i < 1 | i > nbeams(hp),
633 >                        CONSISTENCY, "bad beam index in hdsyncbeam");
634                                          /* is current fragment OK? */
635          if (hp->bl[i] == NULL || (nrays = hp->bl[i]->nrm) == hp->bi[i].nrd)
636                  return(0);
637 <                                        /* locate fragment */
638 <        if (hp->fd >= nhdfrags || !hdfrag[hp->fd].nlinks) /* untracked */
639 <                hp->bi[i].fo = lseek(hp->fd, 0L, 2);
640 <
426 <        else if (hp->bi[i].fo + hp->bi[i].nrd*sizeof(RAYVAL) ==
427 <                        hdfrag[hp->fd].flen)            /* EOF special case */
428 <                hdfrag[hp->fd].flen = (nfo=hp->bi[i].fo) + nrays*sizeof(RAYVAL);
429 <
430 <        else {                                          /* general case */
431 <                register struct fragment        *f = &hdfrag[hp->fd];
432 <                register int    j, k;
433 <                                        /* relinquish old fragment */
434 <                if (hp->bi[i].nrd) {
435 <                        j = f->nfrags++;
436 < #ifdef MAXFRAG
437 <                        if (j >= MAXFRAG-1)
438 <                                f->nfrags--;
439 < #endif
440 <                        if (j % FRAGBLK == 0) {         /* more frag. space */
441 <                                if (f->fi == NULL)
442 <                                        f->fi = (BEAMI *)malloc(
443 <                                                        FRAGBLK*sizeof(BEAMI));
444 <                                else
445 <                                        f->fi = (BEAMI *)realloc((char *)f->fi,
446 <                                                (j+FRAGBLK)*sizeof(BEAMI));
447 <                                if (f->fi == NULL)
448 <                                        error(SYSTEM,
449 <                                                "out of memory in hdsyncbeam");
450 <                        }
451 <                        for ( ; ; j--) {        /* insert in descending list */
452 <                                if (!j || hp->bi[i].fo < f->fi[j-1].fo) {
453 <                                        f->fi[j].fo = hp->bi[i].fo;
454 <                                        f->fi[j].nrd = hp->bi[i].nrd;
455 <                                        break;
456 <                                }
457 <                                copystruct(f->fi+j, f->fi+(j-1));
458 <                        }
459 <                                        /* coalesce adjacent fragments */
460 <                        for (j = k = 0; k < f->nfrags; j++, k++) {
461 <                                if (k > j)
462 <                                        copystruct(f->fi+j, f->fi+k);
463 <                                while (k+1 < f->nfrags && f->fi[k+1].fo +
464 <                                                f->fi[k+1].nrd*sizeof(RAYVAL)
465 <                                                        == f->fi[j].fo) {
466 <                                        f->fi[j].fo -=
467 <                                                f->fi[++k].nrd*sizeof(RAYVAL);
468 <                                        f->fi[j].nrd += f->fi[k].nrd;
469 <                                }
470 <                        }
471 <                        f->nfrags = j;
472 <                }
473 <                k = -1;                 /* find closest-sized fragment */
474 <                for (j = nrays ? f->nfrags : 0; j-- > 0; )
475 <                        if (f->fi[j].nrd >= nrays &&
476 <                                        (k < 0 || f->fi[j].nrd < f->fi[k].nrd))
477 <                                if (f->fi[k=j].nrd == nrays)
478 <                                        break;
479 <                if (k < 0) {            /* no fragment -- extend file */
480 <                        nfo = f->flen;
481 <                        f->flen += nrays*sizeof(RAYVAL);
482 <                } else {                /* else use fragment */
483 <                        nfo = f->fi[k].fo;
484 <                        if (f->fi[k].nrd == nrays) {    /* delete fragment */
485 <                                f->nfrags--;
486 <                                for (j = k; j < f->nfrags; j++)
487 <                                        copystruct(f->fi+j, f->fi+(j+1));
488 <                        } else {                        /* else shrink it */
489 <                                f->fi[k].fo += nrays*sizeof(RAYVAL);
490 <                                f->fi[k].nrd -= nrays;
491 <                        }
492 <                }
493 <        }
494 <        if (nrays) {            /* write the new fragment */
637 >                                        /* relinquish old fragment? */
638 >        fragfreed = hdfragflags&FF_WRITE && hp->bi[i].nrd && hdfreefrag(hp,i);
639 >        if (nrays) {                    /* get and write new fragment */
640 >                nfo = hdallocfrag(hp->fd, nrays);
641                  errno = 0;
642                  if (lseek(hp->fd, nfo, 0) < 0)
643                          error(SYSTEM, "cannot seek on holodeck file");
644                  n = hp->bl[i]->nrm * sizeof(RAYVAL);
645                  if (write(hp->fd, (char *)hdbray(hp->bl[i]), n) != n) {
646 <                        hdfrag[hp->fd].writerr++;
647 <                        hdsync(hp, 0);          /* sync directory */
646 >                        hdfragl[hp->fd].writerr++;
647 >                        hdsync(NULL, 0);        /* sync directories */
648                          error(SYSTEM, "write error in hdsyncbeam");
649                  }
650 <        }
650 >                hp->bi[i].fo = nfo;
651 >        } else
652 >                hp->bi[i].fo = 0L;
653          biglob(hp)->nrd += nrays - hp->bi[i].nrd;
654          hp->bi[i].nrd = nrays;
655 <        hp->bi[i].fo = nfo;
656 <        markdirty(hp);          /* section directory now out of date */
655 >        if (!fragfreed)
656 >                hdmarkdirty(hp, i);             /* need to flag dir. ent. */
657          return(1);
658   }
659  
# Line 523 | Line 671 | register int   i;
671                          nchanged += hdfreebeam(hdlist[i], 0);
672                  return(nchanged);
673          }
674 <        if (hdfrag[hp->fd].writerr)     /* check for file error */
674 >        if (hdfragl[hp->fd].writerr)    /* check for file error */
675                  return(0);
676          if (i == 0) {                   /* clear entire holodeck */
677 +                if (blglob(hp)->nrm == 0)
678 +                        return(0);              /* already clear */
679                  nchanged = 0;
680                  for (i = nbeams(hp); i > 0; i--)
681                          if (hp->bl[i] != NULL)
682                                  nchanged += hdfreebeam(hp, i);
683 +                DCHECK(blglob(hp)->nrm != 0,
684 +                                CONSISTENCY, "bad beam count in hdfreebeam");
685                  return(nchanged);
686          }
687 < #ifdef DEBUG
688 <        if (i < 1 | i > nbeams(hp))
537 <                error(CONSISTENCY, "bad beam index to hdfreebeam");
538 < #endif
687 >        DCHECK(i < 1 | i > nbeams(hp),
688 >                        CONSISTENCY, "bad beam index to hdfreebeam");
689          if (hp->bl[i] == NULL)
690                  return(0);
691                                          /* check for additions */
# Line 554 | Line 704 | hdkillbeam(hp, i)              /* delete beam from holodeck */
704   register HOLO   *hp;
705   register int    i;
706   {
557 –        static BEAM     emptybeam;
707          int     nchanged;
708  
709          if (hp == NULL) {               /* clobber all holodecks */
# Line 564 | Line 713 | register int   i;
713                  return(nchanged);
714          }
715          if (i == 0) {                   /* clobber entire holodeck */
716 +                if (biglob(hp)->nrd == 0 & blglob(hp)->nrm == 0)
717 +                        return(0);              /* already empty */
718                  nchanged = 0;
719 +                nchanged = 0;
720                  for (i = nbeams(hp); i > 0; i--)
721                          if (hp->bi[i].nrd > 0 || hp->bl[i] != NULL)
722                                  nchanged += hdkillbeam(hp, i);
723 < #ifdef DEBUG
724 <                if (biglob(hp)->nrd != 0 | blglob(hp)->nrm != 0)
573 <                        error(CONSISTENCY, "bad beam count in hdkillbeam");
574 < #endif
723 >                DCHECK(biglob(hp)->nrd != 0 | blglob(hp)->nrm != 0,
724 >                                CONSISTENCY, "bad beam count in hdkillbeam");
725                  return(nchanged);
726          }
727 < #ifdef DEBUG
728 <        if (i < 1 | i > nbeams(hp))
579 <                error(CONSISTENCY, "bad beam index to hdkillbeam");
580 < #endif
727 >        DCHECK(i < 1 | i > nbeams(hp),
728 >                        CONSISTENCY, "bad beam index to hdkillbeam");
729          if (hp->bl[i] != NULL) {        /* free memory */
730                  blglob(hp)->nrm -= nchanged = hp->bl[i]->nrm;
731                  free((char *)hp->bl[i]);
732 +                hp->bl[i] = NULL;
733          } else
734                  nchanged = hp->bi[i].nrd;
735 <        if (hp->bi[i].nrd) {            /* free file fragment */
736 <                hp->bl[i] = &emptybeam;
737 <                hdsyncbeam(hp, i);
735 >        if (hp->bi[i].nrd && !(hdfragflags&FF_KILL && hdfreefrag(hp,i))) {
736 >                biglob(hp)->nrd -= hp->bi[i].nrd;       /* free failed */
737 >                hp->bi[i].nrd = 0;
738 >                hp->bi[i].fo = 0L;
739 >                hdmarkdirty(hp, i);
740          }
590 –        hp->bl[i] = NULL;
741          return(nchanged);
742   }
743  
# Line 601 | Line 751 | register HOLO  *hp;                    /* section we're adding from */
751   {
752          register int    i, j;
753                                          /* insert each beam from hp */
754 <        for (i = nbeams(hp); i > 0; i--) {
754 >        for (i = 1; i <= nbeams(hp); i++) {
755                  if (hp->bl[i] == NULL)          /* check if loaded */
756                          continue;
757   #if 0
# Line 633 | Line 783 | register HOLO  *honly;                 /* NULL means check all */
783          int     freetarget;
784          int     n;
785          register int    i;
786 + #ifdef DEBUG
787 +        unsigned        membefore;
788 +
789 +        membefore = hdmemuse(0);
790 + #endif
791                                                  /* compute free target */
792          freetarget = (honly != NULL) ? blglob(honly)->nrm :
793                          hdmemuse(0)/sizeof(RAYVAL) ;
# Line 653 | Line 808 | register HOLO  *honly;                 /* NULL means check all */
808                          break;
809          }
810          hdsync(honly, 0);       /* synchronize directories as necessary */
811 + #ifdef DEBUG
812 +        sprintf(errmsg,
813 +        "%dK before, %dK after hdfreecache (%dK total), %d rays short\n",
814 +                membefore>>10, hdmemuse(0)>>10, hdmemuse(1)>>10, freetarget);
815 +        wputs(errmsg);
816 + #endif
817          return(-freetarget);    /* return how far past goal we went */
818   }
819  
# Line 665 | Line 826 | register HOLO  *hp;            /* NULL means clean up all */
826          if (hp == NULL) {               /* NULL means clean up everything */
827                  while (hdlist[0] != NULL)
828                          hddone(hdlist[0]);
829 +                free((char *)hdfragl);
830 +                hdfragl = NULL; nhdfragls = 0;
831                  return;
832          }
833                                          /* flush all data and free memory */

Diff Legend

– Removed lines
+ Added lines
< Changed lines
> Changed lines