version: '2'
  node-exporter:
    image: prom/node-exporter
    container_name: node-exporter
    ports:
      - 9100:9100
    restart: always
    mem_limit: 100m

version: '3'
  node-exporter:
    image: prom/node-exporter
    container_name: node-exporter
    ports:
      - 9100:9100
    restart: always
    deploy:
      resources:
        limits:
          memory: 100m

普通にup -d 行うとサポートしてないというWERNINGが出てメモリの制限できない

$ docker-compose up -d
WARNING: Some services (nginx) use the 'deploy' key, which will be ignored. Compose does not support 'deploy' configuration - use `docker stack deploy` to deploy to a swarm.

「–compatibility」を付けるとversion 3でもメモリ制限可能
ただ本番利用では、compatibilityは非推奨になっているようです。

$ docker-compose --compatibility up -d

CONTAINER           CPU %               MEM USAGE / LIMIT       MEM %               NET I/O             BLOCK I/O           PIDS
100f6005096c        0.00%               43.76 MiB / 100 MiB     43.76%              3.33 MB / 93.5 MB   0 B / 0 B           67