version: '2'
  node-exporter:
    image: prom/node-exporter
    container_name: node-exporter
    ports:
      - 9100:9100
    restart: always
    mem_limit: 100m

version: '3'

  node-exporter:
    image: prom/node-exporter
    container_name: node-exporter
    ports:
      - 9100:9100
    restart: always
    deploy:
      resources:
        limits:
          memory: 100m

普通にup -d 行うとサポートしてないというWERNINGが出てメモリの制限できない

$ docker-compose up -d
WARNING: Some services (nginx) use the 'deploy' key, which will be ignored. Compose does not support 'deploy' configuration - use `docker stack deploy` to deploy to a swarm.

「–compatibility」を付けるとversion 3でもメモリ制限可能
ただ本番利用では、compatibilityは非推奨になっているようです。

$ docker-compose --compatibility up -d